O segredo por trás de um instantâneo: Como a IA do Galaxy S21 melhora suas fotos em um piscar de olhos

A Samsung construiu um legado de inovação para as câmeras dos smartphones, que permite que as pessoas – de profissionais experientes a iniciantes – tirem a foto perfeita de forma mais simples. Clique no botão de disparo e em um instante você tem resultados impressionantes, seja em uma paisagem dos sonhos ou em um belo retrato em família. Mas muita coisa acontece por trás desse momento graças à poderosa Inteligência Artificial (IA) integrada aos dispositivos Galaxy da Samsung.

Começando com o otimizador de cena do Galaxy Note9, que usou aprendizado profundo (ou deep learning) para proporcionar as melhores fotos e efeitos de edição, a Samsung continuou a introduzir recursos de IA mais poderosos em suas câmeras Galaxy.

A linha Galaxy S21 é a mais recente a apresentar as câmeras com tecnologia de ponta que se utiliza de IA da Samsung, oferecendo aos fotógrafos de todos os níveis de habilidade ferramentas profissionais que funcionam por trás das lentes para garantir que cada momento capturado seja realmente extraordinário. Na primeira desta série de três partes, veremos em detalhes como a IA está melhorando os retratos na linha Galaxy S21.

Experiência aprimorada de selfie

Todos nós já tivemos aquele momento de pânico, em que apertamos freneticamente o botão apagar, depois de tirar uma selfie nada adequada. Mas com a câmera de selfie da linha Galaxy S21, você sempre sairá bem por conta da IA que proporciona uma aparência mais natural e detalhes aprimorados. Existem duas partes principais para a experiência aprimorada de selfie:

Original – Passo 1. Detecção de informações da face – Passo 2. Recuperação – Resultado | Imagem meramente ilustrativa

1. Detecção de informações da face: quando você tira uma foto, a câmera selfie com IA primeiro identifica os rostos na imagem, depois os segmenta do resto dos detalhes na cena e, finalmente, aplica aprimoramentos naturais aos objetos – tudo em um piscar de olhos.
   
2. Recuperação: Os aprimoramentos naturais incluem realçar os detalhes no cabelo, olhos e características faciais dos objetos e criar tons de pele com aparência mais natural em qualquer ambiente. Os resultados são fotos instantaneamente compartilháveis que não parecem excessivamente editadas e que não exigem nenhuma mudança adicional.

A Samsung também incluiu suporte para aplicativos de terceiros, para que você possa tirar fotos com sua câmera favorita ou aplicativo de mídia social, e ainda obter os benefícios da câmera de selfie com IA.

Modo retrato atualizado

A linha Galaxy S21 vai além de apenas aprimorar selfies – ela também permite que até mesmo iniciantes capturem retratos de amigos, família e animais de estimação com qualidade de estúdio. O novo modo avançado de retrato, antes conhecido como Live Focus, usa detecção 3D aprimorada para tirar fotos com mais profundidade e efeitos impressionantes.

Entrada – segmentação – matização – estimativa de profundidade – Resultado | Imagem meramente ilustrativa

Ao usar o modo Retrato, você pode selecionar uma variedade de efeitos especiais para aplicar à sua imagem final, que incluem Desfoque, Estúdio, High-key, Low-key, Pano de fundo e Ponto de Cor. Assim que você clica no botão de disparo, a IA integrada começa a segmentar, acertar e ajustar os detalhes de seus objetos. Funciona assim:

1. Mapa de segmentação: primeiro, a IA reconhece imediatamente os humanos ou animais de estimação na cena e gera um mapa de segmentação instantâneo para separar cada objeto.
2. Mapa de seeds: Com base neste mapa de segmentação, um mapa de seeds dos objetos é gerado para o qual seus efeitos selecionados serão aplicados. Em uma foto de dois amigos, por exemplo, um mapa de seeds separaria o fundo dos objetos principais.
3. Tri-map: O processamento de imagem adiciona um tri-map (mapa triplo) sobreposto ao mapa original, para identificar o objeto, o fundo e as áreas onde eles se misturam.
4. Matte map: O matting é então aplicado ao tri-map para realçar os detalhes no cabelo e nas características faciais de seus objetos.
5. Estimativa de profundidade: Enquanto isso, a IA mede simultaneamente as informações de profundidade para ajustar os detalhes de fundo e a profundidade de campo¹. 

Exemplo de segmentação de objeto humano e animal de estimação | Imagem meramente ilustrativa

Durante a segmentação, a IA que aciona o modo Retrato é capaz de discernir se você está capturando uma única pessoa, um grupo de pessoas em diferentes níveis de profundidade, um gato ou cachorro de estimação.

Refinando os detalhes

Independentemente de o foco ser um humano ou animal, a tecnologia de IA desempenha um papel importante para garantir que você os capture com o máximo de detalhes possível. Conforme observado acima, depois de segmentar seus objetos, o mapa de seeds gera um tri-map em que preto representa o fundo, branco representa o objeto e cinza representa áreas da imagem que são incertas.

Imagem de entrada | Imagem meramente ilustrativa

Durante o processamento da imagem, quando o fundo fica desfocado no modo Retrato, este mapa garante que o desfoque não se sobreponha ao objeto. O matte map é gerado para ajustar os detalhes nas áreas cinzas desconhecidas da cena e para melhorar a resolução da imagem. Ao mesmo tempo em que ocorre esse processo, a IA usa o mapa de seeds para refinar os detalhes das partes internas do objeto. Os mapas são então combinados e redimensionados para produzir um retrato final de alta resolução onde seus objetos realmente se destacam do fundo. Embora pareça um processo bastante extenso, tudo acontece em apenas 3 segundos². 

¹ Os ajustes de profundidade de campo são aplicados apenas ao usar o efeito Desfoque em retratos de pessoas e animais. Se a câmera mede um objeto na mesma profundidade de uma pessoa, o efeito não é aplicado e a imagem é salva com sua profundidade de campo natural.

² Os tempos de processamento do modo retrato podem variar dependendo das condições da captura da fotografia.