Приложение Expert RAW было создано группой разработчиков Samsung, которые учли пожелания пользователей Galaxy.

Хамид Шейх, руководитель группы интеллектуальных изображений в Лаборатории инноваций мобильных процессоров (MPI) Samsung Research America (SRA), и Гириш Кулкарни, руководитель группы решений для камер в Институте исследований и разработок Samsung в Бангалоре (SRI-B) рассказали о том, как создавалось приложение.

Вопрос: Какие функции есть у Expert RAW? В чем преимущества этого приложения?

Хамид: Expert RAW дает возможность редактировать снимки на профессиональном уровне. Приложение генерирует RAW-данные, которые улучшают снимки с помощью таких программ, как Adobe Lightroom. Мы тесно сотрудничали с Adobe, чтобы интегрировать Expert RAW с Lightroom и дать фотографам любого уровня широкий потенциал для творчества. Например, новички могут использовать автоматические настройки камеры при съемке, а затем применять готовые шаблоны настроек в Lightroom для простого и быстрого редактирования.

Гириш: Expert RAW — это профессиональная фотостудия у вас в кармане. Приложение в полной мере раскрывает потенциал камеры серии Galaxy S22. Оно сохраняет снимки с широким динамическим диапазоном в многокадровом формате RAW — это позволяет точно редактировать изображения.

С Expert RAW каждый участок снимка лучше детализируется, включая темные зоны и яркие блики, что значительно снижает уровень шума и повышает резкость изображения. Пользователь может самостоятельно настроить уровень ISO, выдержку, баланс белого, экспозицию, фокусировку и даже выбрать, какие объективы использовать для объекта съемки и фона. Поскольку каждый снимок сохраняется в форматах JPEG и DNG, его можно сразу отредактировать в Adobe Lightroom на смартфоне или ПК.

Вопрос: Что вдохновило вас на создание Expert RAW?

Хамид: Камеры Samsung всегда использовали сложные вычислительные алгоритмы для улучшения качества фотографий. Однако стандартное приложение для съемки во многом решает за пользователя, как будет выглядеть снимок, как будут переданы цвета, тон изображения, четкость деталей и шумы. На идею создания Expert RAW нас натолкнули ограничения, которые существуют у пользователей камер смартфонов, и скачок в вычислительных возможностях мобильных процессоров. Мы задумались над тем, как сделать съемку на смартфон более творческой. Нас вдохновляли эксперты и энтузиасты в области фото, которые не согласны жертвовать творческой составляющей и стремятся сделать мобильную фотографию максимально удобной. Expert RAW призвано дать пользователям смартфонов возможности, аналогичные тем, которые есть у зеркальных камер.

Гириш: Мы получили отзывы от профессиональных фотографов, которые хотели бы снимать на телефон, как на зеркальную камеру. Наше исследование показало, что после съемки на смартфон с автоматическими настройками пользователи увлекались изучением возможностей профессиональных камер Samsung, чтобы добиться лучших снимков.

Чем больше мы общались с профессиональными фотографами и любителями, тем сильнее осознавали их потребности снимать в RAW-формате. Тогда мы решили создать приложение, основанное на съемке и редактировании снимков в RAW, чтобы открыть новые возможности для фотографов любого уровня.

Вопрос: Что делает выход Expert RAW столь важным для мобильной фотографии в целом?

Хамид: Работа с камерой — один из ключевых аспектов использования смартфона. С помощью передовых технологий Samsung всегда стремилась «перекинуть мостик» через пропасть, разделяющую профессиональных фотографов и любителей. Уверен, Expert RAW откроет новые горизонты творческого самовыражения для пользователей, которые смогут снимать именно так, как они это задумали.

Гириш: Приложение Expert RAW создано для каждого, кто хочет выйти за рамки привычного и в полной мере раскрыть возможности камеры с точной настройкой и удобным редактированием в Adobe Lightroom.

Вопрос: Какую роль сыграла Лаборатории инноваций мобильных процессоров (MPI Lab) в разработке Expert RAW?

Хамид: Каждый раз, создавая новый пользовательский интерфейс, мы сталкиваемся со множеством сложных инженерных задач. MPI Lab разработала основную концепцию, лежащую в основе приложения Expert RAW. Мы с нуля создали технологию конвейера для вычислительной фотографии, которая позволяет создавать как DNG-файлы, так и обработанные JPEG, а также технологию 3DISP на основе искусственного интеллекта для формирования RAW-данных, идентичных тем, какие предоставляет зеркальная камера. Именно на основе этих данных снимки можно детально редактировать в Adobe Lightroom.

Вопрос: Какую роль Институт исследований и разработок Samsung в Бангалоре (SRI-B) сыграл в создании Expert RAW?

Гириш: Expert RAW стал сложным научно-исследовательским проектом, и роль Института заключалась в том, чтобы предложить комплексное решение, которое выведет мобильную фотографию на профессиональный уровень. Для этого потребовалось тесное сотрудничество между несколькими командами. Мы сформировали целевую группу из талантливых многопрофильных специалистов, которые работали совместно внутри Института, а также с командами экспертов в Корее и MPI Lab. Это позволило качественно улучшить возможности Expert RAW.

Вопрос: Расскажите подробнее о вашем сотрудничестве друг с другом.

Хамид: На всем протяжении своей истории MPI Lab сотрудничала с Институтом исследований и разработок Samsung в Бангалоре. Институт обеспечил ресурсы и навыки для разработки приложения и ключевых аспектов искусственного интеллекта Expert RAW. Его сотрудники также ответственны за часть пользовательского интерфейса. С ними всегда приятно работать.

Гириш: Лаборатория инноваций мобильных процессоров обладает опытом мирового уровня в области вычислительной обработки графики и разработки процессоров изображений для флагманских устройств Samsung. MPI Lab разработала технологию многокадровой конвейерной обработки, которую мы интегрировали в приложение.

Ключевая особенность Expert RAW заключается в высоком качестве изображений при любом освещении, что достигается за счет точной настройки технологии конвейерной обработки. Экспертиза MPI Lab и Института помогли подготовить Expert RAW для коммерческого запуска.

Наши исследовательские центры эффективно использовали 12-часовую разницу во времени для совместной работы над Expert RAW. Круглосуточная разработка позволила завершить трудоемкий процесс в рекордно короткие сроки. Мы гордимся культурой Samsung, которая поощряет уважительное сотрудничество между научно-исследовательскими центрами разных стран, и нам всегда нравится работать с MPI Lab.

Вопрос: Как MPI Lab и Институт планируют использовать результаты этого сотрудничества в будущем?

Хамид: История Expert RAW только начинается. Ключевая идея нового приложения заключается в том, чтобы сфокусировать внимание на потребностях фотографа. В будущем мы планируем активно развивать и улучшать приложение, придерживаясь этой концепции.

Гириш: Последние несколько лет Лаборатория и Институт работали над созданием лучшего в мире ночного режима для флагманских смартфонов Samsung. Это сотрудничество помогло нам создать Expert RAW для Galaxy S22. В будущем мы будем улучшать возможности приложения, чтобы реализовать в полной мере профессиональный потенциал камеры этого смартфона.

Партнерство, расширяющее границы

С такими технологическими решениями, как Expert RAW, Samsung стремится обеспечить пользователям все возможности для раскрытия творческого потенциала. Компания намерена и дальше поддерживать партнерства между своими научно-исследовательскими центрами для создания решений, которые изменят то, как мы живем, работаем и творим.

[1] Приложение Expert RAW необходимо бесплатно скачать из магазина Galaxy Store. Доступность приложения в настоящее время ограничена сериями Galaxy S21 Ultra и S22. Expert RAW станет доступно на Galaxy Z Fold3 в апреле 2022 года, и позже в этом году на Galaxy S20 Ultra, Galaxy Note20 Ultra и Galaxy Z Fold2.

Исследование возможностей ИИ в области расширения низких частот и уменьшения искажения в динамиках (Исследовательский центр Samsung в Америке, SRA)

Самым читаемым докладом конференции стал доклад SRA «Применение искусственного интеллекта для нелинейного управления динамиками». В работе рассматриваются способы контроля диафрагмы динамика и уменьшения искажений звука посредством использования нейронной сети, которая позволяет сопоставлять смещение диафрагмы динамика с входным напряжением. Метод обеспечивает линеаризацию и точное управление динамиком при увеличении громкости и расширении диапазона низких частот.

Разработка метода одновременного измерения параметров нескольких динамиков (SRA)

Вторая работа SRA, вошедшая в десятку лучших —  «Деконволюция пространственного импульсного отклика при одновременном возбуждении динамиков». В работе представлен метод, позволяющий измерять параметры нескольких динамиков в пространстве одновременно, сокращая время измерения по сравнению с типичными иммерсивными аудиосистемами в десять раз.

Традиционная пространственная эквализация включает в себя возбуждение каждого динамика по очереди и деконволюцию пространственного отклика из записи. С увеличением количества динамиков и их расположений в пространстве, время измерения также увеличивается. SRA представила быстрый метод деконволюции импульсного отклика после одновременного возбуждения всех динамиков.

Оптимизация интеграции аудиосистем в тонкие телевизоры (SRA)

Одна из главных тенденций последних лет – уменьшение толщины корпусов ТВ. Чтобы преодолеть физические ограничения развития аудиотехнологий в тонких телевизорах, SRA подготовила работу «Рекомендации по разработке акустических преобразователей для тонких телевизоров».

Обусловленный отраслевыми тенденциями тонкий форм-фактор телевизора ограничивает возможности физических характеристик любого акустического преобразователя. Современные DSP (цифровые сигнальные процессоры) и усилители позволяют максимально эффективно использовать преобразователи и сохранять качество звука, но для очень тонких корпусов телевизоров таких технологий недостаточно. В работе SRA анализируются описанные физические ограничения и предлагается новая компоновка преобразователей с подвижной катушкой для применения в сверхтонких устройствах.

Лучший аудиокодек для HDR10 + (SRA)

Пока мир вступает в эру HDR10 +, SRA исследует предпочтительные для этой технологии аудиокодеки. Аудиолаборатория SRA представила доклад «Требования к битрейту аудиокодека для стереофонических, объемных и иммерсивных форматов». В работе доказывается, что кодек Opus является отличным выбором для HDR10 +. Команда провела три тестирования закодированного посредством Opus стерео, 5.1 и 7.1.4-канального контента, взятого из музыкальных, кинематографических файлов и файлов Европейского вещательного союза, закодированных с битрейтом 32, 48 и 64 кбит / с на канал. Так как инкапсуляция Opus в Ogg не поддерживает стереофоническое звучание при использовании 7.1.4 каналов, в работе предлагается новая стереофоническая схема для контента 7.1.4 в Opus с совместным стереокодированием. Результаты исследования показывают, что для чёткого стереозвучания требуется скорость передачи 64 кбит/с на канал или выше, однако 48 кбит/с на канал может быть достаточно для аудиоформатов 5.1 и 7.1.4.

Разработка 3D-аудиокодека на основе ИИ для эффекта полного погружения при просмотре OTT-контента (Центр передовых исследований и разработок Samsung, SR)

Поскольку люди все меньше смотрят традиционные телепрограммы и фильмы в кинотеатрах, отдавая предпочтение ОТТ-сервисам, работа Samsung Research «Иммерсивный аудиокодек AI 3D на основе адаптивного к контенту динамического микширования» посвящена новому трехмерному иммерсивному аудиокодеку, который может поддерживать различные пространственные аудиоформаты для использования с разными конфигурациями аудиосистем, доступных для домашнего использования с OTT-сервисами.

В отличие от традиционных технологий, которые используют фиксированный профиль микширования вне зависимости от типа и характеристик контента, Samsung Research предлагает решение, которое по-разному применяет определенный профиль микширования путем динамической классификации звуковых сцен и анализа характеристик пространственного распределения звука с использованием ИИ. Исследования показали, что предложенный метод может обеспечить лучший эффект погружения при просмотре OTT-контента, по сравнению с традиционным.

Audio Engineering Society (AES) – международное профессиональное ообщество аудиоинженеров и организация по стандартизации в области звуковой техники и технологий. Штаб-квартира AES расположена в Нью-Йорке, США. AES является организатором самой престижной международной научной конференции в области аудиотехнологий и аудиоинженерии.