[Интервью] Создатели инновационных камер Galaxy Z Fold8 ①: как «Автоцентрирование» помогает не упускать любимых людей из кадра

После выхода серии Galaxy Z Fold8 одной из самых обсуждаемых среди поклонников K-pop стала функция «Автоцентрирование». Достаточно выбрать человека на видео, и функция автоматически будет отслеживать его перемещения в кадре.

Так можно легко сделать главным героем ролика любого человека – от любимого артиста на концертной записи до друзей и близких в повседневной жизни.

▲ (Слева направо) Шерри Хон, Сонхван Ким и Хванпиль Пак.

В основе функции лежит разработанная Samsung Research технология искусственного интеллекта, которая надежно отслеживает людей на видео. Благодаря тесному сотрудничеству с подразделением MX ее удалось реализовать на мобильных устройствах. Представители Samsung Newsroom поговорили о создании «Автоцентрирования» с Хванпилем Паком (Hwangpil Park) из команды Visual Technology в Samsung Research, а также Сонхваном Кимом (Sunghwan Kim) и Шерри Хон (Sherry Hong) из группы Multimedia Development подразделения MX.

Пользователь – в центре внимания

Вопрос. Как появилась идея «Автоцентрирования»?

Хон: Сначала мы задумались, как сделать так, чтобы пользователям было проще создавать видео, в центре которых находятся интересующие их люди. Съемка, монтаж и публикация контента на смартфонах давно стали привычным делом, а в социальных сетях все большую популярность набирают ролики, в которых внимание сосредоточено на конкретном артисте. Так появилась идея «Автоцентрирования» – функции, с помощью которой любой пользователь может буквально в несколько касаний создать видео с выбранным человеком в центре внимания. Вместе с Samsung Research мы воплотили эту идею в жизнь.

Технология надежного отслеживания

Какая технология позволяет «Автоцентрированию» непрерывно отслеживать человека на видео?

Пак: «Автоцентрирование» может следить за выбранным человеком даже в сложных сценах благодаря AI-модели, которая точно распознает людей. Она определяет местоположение и визуальные особенности каждого человека и запоминает их. Благодаря этому модель узнает одного и того же человека на протяжении всего видео и продолжает его отслеживать.

▲ Процесс “Автоцентрирования”.

На чем вы сосредоточились при разработке пользовательского интерфейса?

Ким: Для нас было важно сократить время ожидания при редактировании. Например, в групповом видео пользователь может захотеть переключаться между разными людьми. Если бы при каждом таком переключении приходилось заново анализировать весь ролик, это занимало бы дополнительное время. Поэтому «Автоцентрирование» анализирует сразу нескольких людей. После первоначального анализа можно мгновенно переключаться между ними и сразу видеть результат.

Мы также постарались максимально упростить сам процесс редактирования. Пользователь может легко изменить соотношение сторон с учетом конкретной сцены и получить именно такой ролик, какой ему нужен.

▲ Функция настройки соотношения сторон в “Автоцентрировании”.

Как две команды работали вместе, чтобы превратить технологию в полноценную функцию Galaxy?

Хон: Для нас было важно не просто выявлять проблемы, но и находить решения, а затем обязательно проверять результат. По мере того как концепция приобретала окончательные очертания, разработка становилась все интенсивнее. Чтобы не отставать от графика, мы перешли от еженедельных встреч к ежедневным и каждое утро сверяли прогресс.

Перед запуском новой функции необходимо проверить ее в самых разных ситуациях, поэтому в тестировании участвовали многие сотрудники. Кто-то приносил старые записи студенческих времен, например выступления танцевальных клубов. Другие снимали новые видео на смартфон – например, во время занятий скалолазанием.

▲ Хон демонстрирует личное видео, использовавшееся для тестирования.

Пак: Технология, которая отлично работала в исследовательской среде, иногда показывала другие результаты на реальных видео из-за быстрого движения или ситуаций, когда люди перекрывали друг друга в кадре. Подразделение MX передавало нам такие примеры, а Samsung Research анализировал причины и дорабатывал AI-модель и алгоритмы отслеживания. Затем мы проверяли изменения уже непосредственно на устройстве и повторяли этот процесс снова и снова, постепенно совершенствуя функцию.

▲ Пак рассказывает о разработке функции “Автоцентрирование”.

Что оказалось самым сложным при адаптации «Автоцентрирования» для мобильных устройств?

Ким: Главная задача заключалась в том, чтобы вся AI-обработка выполнялась непосредственно на устройстве, без использования отдельного сервера. Чем длиннее видео, тем больше вычислений требуется, поэтому нам необходимо было учитывать скорость обработки, энергопотребление и нагрев устройства. Samsung Research оптимизировал AI-модель, чтобы добиться нужного результата при меньшем объеме вычислений. Подразделение MX, в свою очередь, оптимизировало весь процесс – от декодирования видео и передачи данных до анализа. Это позволило снизить вычислительную нагрузку практически без ущерба для производительности.

▲ Ким рассказывает, как функция “Автоцентрирование” была оптимизирована для работы непосредственно на устройстве.

Пак: Кроме того, нужно было учесть ситуации, когда выбрать нужного человека на видео непросто. Например, на школьном выступлении или спортивном мероприятии он может появиться только в середине ролика либо какое-то время быть закрыт другими людьми. Поэтому в «Автоцентрировании» пользователь может найти момент, где нужный человек хорошо виден, и выбрать его в любой точке видео.

От любимых артистов до повседневных моментов

Как получить максимум от «Автоцентрирования»?

Ким: Я рекомендую снимать в высоком разрешении и выбирать чуть более широкий план, оставляя свободное пространство вокруг человека. А при выборе героя лучше найти кадр, где он как можно меньше перекрывается с другими людьми и хорошо видны его лицо, верхняя часть тела или фигура целиком.

«Автоцентрирование» работает и с уже снятыми видео – например, записями прошлых концертов, путешествий или детских мероприятий. Поскольку во время съемки больше не нужно постоянно держать конкретного человека в кадре, можно уделить больше внимания самому происходящему.

Например, можно установить смартфон на штатив, записать тренировку, а затем с помощью «Автоцентрирования» создать ролик, в центре которого будете вы сами. Для этого не понадобится еще один человек с камерой.

▲ “Автоцентрирование” в различных сценариях использования.

Как бы вы хотели, чтобы пользователи применяли «Автоцентрирование»?

Пак: «Автоцентрирование» работает и с видео, снятыми не на устройства Galaxy, поэтому я надеюсь, что пользователи попробуют эту функцию с самыми разными записями. Она позволяет по-новому взглянуть на старые видео и заново пережить важные моменты, сосредоточив внимание на дорогом вам человеке.

Хон: Иногда считается, что быть фанатом – значит обязательно восхищаться кумиром или знаменитостью. Но для меня это просто значит по-настоящему дорожить кем-то или чем-то – артистом, членом семьи, другом или даже самим собой. Мне хотелось бы, чтобы люди использовали «Автоцентрирование», чтобы сохранять важные для них моменты и уделять больше внимания тем, кто им дорог.

▲ Разработчики рассказывают о том, как совместная работа позволила создать функцию “Автоцентрирование”.

Идея, которая начиналась с желания сделать работу с видео удобнее, превратилась в «Автоцентрирование» – новую функцию, объединившую AI-технологии, оптимизацию для мобильных устройств и тесную командную работу. Будь то концерт или обычный день, «Автоцентрирование» помогает проще снимать и редактировать видео с моментами, которые хочется сохранить в памяти.

Во второй части этой серии Samsung Newsroom расскажет о технологии имитации объективов с широкой диафрагмой, которая позволяет передать на мобильных устройствах выразительный характер съемки профессиональной оптикой, а также о совместной работе специалистов над ее созданием.