[Entrevista] Tornando sua tela perfeita: especialistas explicam a engenharia da câmera abaixo da tela do Galaxy Z Fold4 5G

As câmeras de selfie são uma parte vital de qualquer smartphone – mas encontrar o lugar perfeito para posicionar a câmera frontal pode ser um obstáculo para uma experiência de tela imersiva. No entanto, graças à câmera abaixo da tela (UDC, ou Under Display Camera, em inglês), as pessoas podem dizer adeus ao pequeno ponto preto na frente das telas. A Samsung Electronics atualizou a UDC no recém-lançado Galaxy Z Fold4 5G^{1 2}, oferecendo aos usuários uma experiência de tela cheia ainda mais imersiva e ininterrupta.

Como tantas grandes inovações, a UDC mais recente foi um esforço em grupo – impulsionado pelos especialistas da Samsung e pelo feedback valioso dos consumidores. Para saber mais sobre a câmera abaixo da tela aprimorada para o Galaxy Z Fold4 5G, a Newsroom da Samsung conversou com especialistas da Samsung Research que colaboraram na tecnologia.

Leia a entrevista abaixo para entender como John Seok-Jun Lee, Líder da parte de Câmeras Computacionais da Samsung Research America (SRA), e Alok Shukla, Líder da parte de Soluções de Visão de IA do Samsung R&D Institute India-Bangalore (SRI-B), têm a dizer sobre suas colaborações por trás da tecnologia aprimorada do UDC.

O que é a câmera abaixo da tela (UDC)?

[Seok-Jun] A câmera abaixo da tela (UDC) é uma solução de câmera inovadora que permite uma experiência de visualização ininterrupta em um dispositivo móvel, ocultando a câmera sob a tela e dedicando a tela inteira aos usuários enquanto os aplicativos estão em execução. Não só requer inovação de hardware ao colocar uma câmera sob um painel de exibição, mas também requer inovação de algoritmo para restaurar a qualidade da imagem – um dos problemas de restauração de imagem mais complexos.

Como funciona a UDC?

[Alok] Na UDC, uma câmera frontal fica embaixo da tela. A densidade de pixels da tela é reduzida nesta área, permitindo que a tela exiba imagens sem impedimentos – mas ao mesmo tempo, não bloqueando a luz de alcançar a câmera quando estiver em uso. À medida que a câmera é colocada sob a tela, a UDC pode sofrer diminuição na qualidade de imagem causada por artefatos de difração, o que resulta em reflexos, saturação, desfoque e névoa. Portanto, embora a UDC traga uma melhor experiência de exibição, ele também afeta a qualidade da imagem da câmera e outras tarefas de visão. Essas distorções complexas e diversas tornam a restauração de imagens UDC extremamente desafiadora.

Por que a UDC é uma tecnologia importante quando se trata do Galaxy Z Fold4? Que valor ele oferece aos clientes?

[Seok-Jun] Os dobráveis ​​da Samsung foram projetados para serem novos e diferentes, combinando smartphones e experiências de visualização imersivas em um dispositivo móvel por meio de uma tecnologia de exibição inovadora. Quando dobrado, oferece uso semelhante ao de um smartphone e, quando desdobrado, a tela oferece uma experiência mais imersiva e produtiva. Nossa pesquisa com consumidores mostrou que os usuários da linha Galaxy Z Fold preferem a câmera da tela externa para capturar fotos e selfies e a tela principal imersiva para tarefas mais produtivas, como assistir a vídeos, jogar e trabalhar em documentos. Portanto, pensamos que a tecnologia UDC seria perfeita para atender às necessidades de uma tela ininterrupta e ainda ser capaz de tarefas como chamadas de vídeo. A Samsung lançou a primeira solução UDC dobrável no Galaxy Z Fold3 5G^{1 3} e melhorou ainda mais sua qualidade no Galaxy Z Fold4 5G.

[Alok] O Galaxy Z Fold4 5G mostra um mundo de tela imersiva. A tecnologia UDC está no centro da busca pela real exibição em tela cheia. Ao combinar a inovação líder em tecnologia de exibição com técnicas avançadas de IA para restauração de imagens, o Galaxy Z Fold4 5G oferece o equilíbrio perfeito entre a qualidade da tela e a qualidade da imagem da câmera.

Como a qualidade da imagem da câmera melhorou desde o Galaxy Z Fold3 5G?

[Alok] O Samsung Galaxy Z Fold3 5G apresentou a primeira UDC do mundo em um smartphone dobrável. Após o lançamento do Galaxy Z Fold3 5G no mercado, um dos principais feedbacks dos consumidores foi tornar a UDC menos visível. No Galaxy Z Fold4 5G, o arranjo de subpixels foi otimizado para ocultar ainda mais a UDC.

Como mencionado anteriormente, quando a câmera é colocada sob a tela, isso pode resultar em diminuição da qualidade de imagem causada por artefatos de difração, que causam reflexos, saturação, desfoque e névoa.

É por isso que, no Galaxy Z Fold4 5G, aproveitamos o poder da IA, apoiado no processamento de vários quadros, para desenvolver um novo fluxo de imagem computacional para restauração de imagens da UDC.

A SRI-B, juntamente com o Grupo de P&D de Visual SW da MX Business, concentrou-se no desenvolvimento de Inteligência Artificial de Restauração de Imagem para captura e visualização de fotos para compensar a difração óptica na UDC. Ao mesmo tempo, o Laboratório de Inovação de Processador Móvel (MPI) da SRA melhorou o algoritmo de fotografia computacional de vários quadros. A câmera abaixo da tela do Galaxy Z Fold4 5G resolve os principais desafios técnicos em qualidade de imagem para oferecer uma experiência única às pessoas.

Falem mais da parceria SRA-SRI. Por que suas duas equipes colaboraram?

[Seok-Jun] O laboratório da SRA MPI tem trabalhado com a SRI-B ao longo de toda a história da MPI na Samsung, desde a comercialização do Galaxy Note4 de 2014 até o Galaxy Z Fold4 5G e Z Flip4 de 2022. A SRA MPI tem liderado a pesquisa e desenvolvimento da tecnologia de processamento multiquadro (MFP) MX para UDC, Modo Noturno, Expert RAW e outras tecnologias. A SRI-B contribuiu para todos os MFPs da SRA MPI comercializados, fornecendo software incrível de incrível, ajuste de qualidade de imagem e recursos para comercialização, bem como P&D de câmeras de IA. Nossa colaboração de 3 vias com o grupo de P&D de MX, SRA MPI e SRI-B tem sido um sucesso – especialmente quando a equipe mundial usou as diferenças de fuso horário de forma eficaz para concluir objetivos dentro do prazo deste projeto tão complicado. É sempre um prazer trabalhar com eles e entregar os sucessos das câmeras dos dispositivos Galaxy juntos para atingir nosso objetivo mútuo de ser a melhor experiência de câmera de smartphone do mundo.

Por favor, explique sua função e as contribuições de sua equipe para a UDC. Como você contribuiu para desenvolver a melhor experiência possível para o usuário?

[Alok] A UDC do Samsung Galaxy Z Fold4 5G era um projeto complexo de P&D e o papel da SRI-B era pensar em termos de ponta a ponta para a melhor experiência do consumidor. Isso exigia experiência em vários domínios e colaboração profunda entre várias equipes. Especialistas do Grupo P&D de SRI-B, SRA-MPI Lab e MX Visual trabalharam perfeitamente para realizar uma experiência UDC de ponta a ponta.

A SRI-B também desempenhou um papel fundamental na utilização de uma Unidade de Processamento Neural (NPU) para executar o modelo de IA, alcançando desempenho em tempo real em visualizações e tempo de processamento de captura significativamente mais rápido do que na UDC do Samsung Galaxy Z Fold3 5G. Pré-visualizações de câmeras, gravações de vídeo e cenários de chamadas de vídeo precisam de desempenho em tempo real sem perder nenhum quadro. A restauração da UDC baseada em IA acelerada com NPU para processamento de visualização foi aplicada pela primeira vez no Samsung Galaxy Z Fold4 5G. Embora o processamento em tempo real não fosse necessário, uma vez que a captura da câmera requer uma qualidade de imagem mais alta do que uma visualização, era desejável obter melhor qualidade de imagem com menos tempo de processamento para a experiência do usuário.

Quais foram alguns desafios que você enfrentou ao desenvolver essa tecnologia e como você os superou?

[Seok-Jun] Baixa transmissão de luz e difração de luz são os principais desafios para a tecnologia de câmera abaixo da tela. Ainda assim, mais um desafio, que é diferente de um fluxo de imagem de câmera perfurada, é que a qualidade de captura da UDC é afetada não apenas pelo módulo da câmera, mas também pelo painel de exibição. O algoritmo 3D ISP baseado em IA da SRA MPI foi projetado com a flexibilidade necessária para ajustar a qualidade da imagem de saída com as diferentes características de exibição. Ter essa flexibilidade no 3D ISP ajudou a superar esses desafios.

[Alok] O foco principal da SRI-B foi desenvolver um módulo de restauração de imagem de IA para a UDC do Samsung Galaxy Z Fold4 5G. Essas restaurações são necessárias para o modo de captura de fotos e também para o modo de vídeo. Os cenários de gravação de vídeo e chamadas de vídeo têm requisitos rigorosos para o processamento em tempo real dentro das restrições de consumo de corrente.

A restauração de UDC baseada em IA foi aplicada pela primeira vez na UDC do Samsung Galaxy Z Fold4 5G para vídeo. Para obter uma experiência de qualidade de vídeo melhor do que o Galaxy Z Fold3 5G, tivemos que tornar o modelo de IA mais leve e ainda obter uma boa qualidade de restauração. Múltiplos experimentos foram conduzidos em design e treinamento de rede para obter boa qualidade em tempo real. A SRI-B utilizou extensivamente NPU e técnicas avançadas de quantização para preparar um modelo de IA mais leve e altamente otimizado que alcança desempenho em tempo real com baixo consumo de corrente.

Qual é a sua visão para futuras iterações de UDC na Samsung?

[Alok] A UDC do Samsung Galaxy Fold4 5G abriu uma nova dimensão para o formato da câmera do smartphone. As câmeras abaixo da tela do futuro permitirão colocar sensores de câmera maiores e várias câmeras em posições flexíveis sem comprometer a experiência de visualização. Outro grande desafio é a adoção em massa da tecnologia UDC em mais produtos como a câmera frontal principal. Para que isso aconteça, será necessário melhorar significativamente a qualidade da imagem da câmera, o tempo de processamento e a experiência de exibição.

[Seok-Jun] Como a UDC do Galaxy Z Fold4 5G oferece uma experiência muito melhor em termos de ocultar a câmera sob a tela e melhorar a qualidade da imagem, a direção de P&D para os próximos dispositivos principais trabalhará para tornar a UDC completamente invisível. Isso fornecerá a melhor experiência de exibição móvel imersiva ininterrupta, ao mesmo tempo em que obtém a mesma qualidade de imagem de uma câmera perfurada.

¹ Habilitado para tecnologia 5G. A velocidade real pode variar, dependendo do país, da operadora e do ambiente do usuário. Verifique com sua operadora a disponibilidade e os detalhes. As velocidades de download e streaming podem variar de acordo com o provedor de conteúdo, a conexão do servidor e outros fatores.

² É possível notar um vinco no centro da tela principal. Isso é uma característica natural do smartphone. O carregador de tomada é enviado na caixa do Z Flip4 5G e do Z Fold4 5G.

³ Conectada às questões de inovação tecnológica e consumo sustentável, a Samsung não fornece mais o carregador de tomada na caixa do produto (apenas o caso USB-C), porém, na compra dos aparelhos elegíveis, o consumidor tem direito a resgatar gratuitamente um carregador de tomada. O resgate poderá ser solicitado em até 30 dias a partir da emissão da Nota Fiscal. A entrega será feita no endereço do consumidor. Consulte o regulamento completo em www.samsungparavoce.com.br.