삼성전자는 냉장고 내부 카메라를 통해 식재료를 인식하는 ‘AI 비전(AI Vision)’ 기능에 제미나이를 결합해 식품 인식 성능을 크게 향상시켰다.

기존에는 식재료를 냉장고에 넣거나 뺄 때 자동으로 인식할 수 있는 식품이 신선식품 37종, 가공·포장 식품은 50종까지로 제한이 있었으나, 제미나이가 도입되면서 인식 가능한 대상이 훨씬 넓어졌다.

다양한 식품을 인식할 수 있는 것은 물론 사용자가 식품을 담은 용기에 라벨로 적어 놓은 내용까지 인식하고 자동으로 식료품 목록에 등록한다.

또 식재료 인식부터 관리, 레시피 추천, 식재료 쇼핑까지 아우르는 차별화된 식생활 경험을 제공하는 ‘AI 푸드 매니저(AI Food Manager)’ 기능을 선보인다.

‘AI 푸드 매니저’는 사용자가 냉장고를 이용하는 패턴을 분석해 ▲구매가 필요한 식재료 알림 ▲레시피 추천 ▲식재료 사용 리포트 제공 등 식재료를 한층 효율적으로 관리할 수 있는 다양한 기능을 지원한다.

삼성전자는 업그레이드된 ‘AI 비전’을 와인 냉장고에도 확대 적용한다.

장기간 체계적인 관리가 필요한 와인을 편리하게 관리할 수 있도록 스마트싱스 기반의 ‘AI 와인 매니저(AI Wine Manager)’기능을 새롭게 선보일 예정이다.

‘AI 와인 매니저’는 와인 냉장고에 와인을 넣을 때 기기 상단에 있는 내부 카메라를 통해 와인병을 인식하고 이름과 분류, 품종, 빈티지 등 세부 정보를 리스트에 자동으로 기록한다.

또 사용자가 와인을 쉽게 찾을 수 있도록 와인이 냉장고 속에 보관된 위치도 알려주고 보관 위치를 바꾸거나 꺼내면 이를 인식해 리스트를 실시간으로 업데이트한다.

삼성전자는 한층 강력해진 ‘AI 비전’ 기능을 내년에 출시 예정인 ‘비스포크 AI 패밀리허브’, ‘비스포크 AI 하이브리드’, ‘인피니트 AI 와인 냉장고’에 탑재할 계획이다.

삼성전자 DA사업부 문종승 부사장은 “삼성전자는 ‘AI 비전’ 기술로 주방 가전의 혁신을 선도해왔다”며 “이번 구글과의 협업으로 한층 진화한 ‘AI 비전’을 통해 삼성만의 차별화된 푸드 경험을 제공할 것”이라고 말했다.

▲ 가족 구성원의 목소리를 인식·구별해 사용자 맞춤 기능을 제공하는 ‘보이스 ID’로 ‘내 폰 찾기’를 하는 모습

신규 기능인 ‘보이스 ID’는 AI 음성 비서 ‘빅스비’를 기반으로 동작하며, 냉장고에 등록된 가족 구성원의 목소리를 인식∙구별해 일정, 사진, 휴대전화 위치 확인, 접근성 설정 연동 등 사용자 별 맞춤 기능을 제공한다.

보이스 ID 기능을 사용하기 위해서는 사전에 삼성계정 등록이 필요하며, 일정과 사진 등을 사전에 연동해야한다.

사용자가 냉장고 앞에서 “빅스비, 내 일정 알려줘”라고 말하면, 목소리를 인식해 해당 사용자의 일정을 보여준다. “빅스비, 내 사진 보여줘”라고 말하면 연동된 해당 사용자의 사진을 보여준다.

“빅스비, 내 폰 찾아줘”라고 말하면 해당 사용자의 휴대전화 벨소리를 울려 집 안에서의 위치를 알려주는 ‘내 폰 찾기’ 기능도 제공한다.

▲ 가족 구성원의 목소리를 인식·구별해 사용자 맞춤 기능을 제공하는 ‘보이스 ID’로 ‘내 폰 찾기’를 하는 모습

또, 사용자의 목소리를 인식하면 해당 사용자의 갤럭시 스마트폰에 설정해둔 색상 반전, 흑백 등 접근성 설정이 냉장고의 ‘AI 홈’ 스크린에 자동으로 적용된다. 시력이 좋지 않거나 고령인 소비자도 스마트폰 접근성 설정과 자동으로 동기화된 냉장고 스크린을 통해 편리하게 냉장고를 사용할 수 있다.

삼성전자는 냉장고의 빅스비 활성화 방식도 강화했다. 기존 “하이 빅스비” 호출 방식에 더해, 냉장고의 스크린 화면이 꺼져있을 때 스크린을 두 번 톡톡 치면 빅스비가 호출된다.

삼성전자는 2025년형 ‘비스포크 AI 패밀리허브’와 9형 스크린 탑재 ‘비스포크 AI 하이브리드’ 냉장고 업데이트를 시작으로 ‘보이스 ID’ 기능 적용 대상 냉장고를 확대해나갈 계획이다.

사용자는 스마트폰의 스마트싱스 앱이나 냉장고의 ‘AI 홈’ 스크린을 최신 버전으로 업데이트하면 ‘보이스 ID’ 기능을 사용할 수 있다.

▲ 가족 구성원의 목소리를 인식·구별해 사용자 맞춤 기능을 제공하는 ‘보이스 ID’ 기능으로 접근성 설정이 자동 적용된 모습

삼성전자 DA사업부 문종승 부사장은 “가족이 함께 사용하는 냉장고에서도 개인 맞춤 ‘AI 홈’ 경험을 제공하기 위해 보이스 ID 기능을 새롭게 개발했다”며 “앞으로도 사용자들이 최신 기능을 누릴 수 있도록 가전 소프트웨어 업데이트를 지속 제공할 것”이라고 말했다.