Приложение Expert RAW было создано группой разработчиков Samsung, которые учли пожелания пользователей Galaxy.

Хамид Шейх, руководитель группы интеллектуальных изображений в Лаборатории инноваций мобильных процессоров (MPI) Samsung Research America (SRA), и Гириш Кулкарни, руководитель группы решений для камер в Институте исследований и разработок Samsung в Бангалоре (SRI-B) рассказали о том, как создавалось приложение.

Вопрос: Какие функции есть у Expert RAW? В чем преимущества этого приложения?

Хамид: Expert RAW дает возможность редактировать снимки на профессиональном уровне. Приложение генерирует RAW-данные, которые улучшают снимки с помощью таких программ, как Adobe Lightroom. Мы тесно сотрудничали с Adobe, чтобы интегрировать Expert RAW с Lightroom и дать фотографам любого уровня широкий потенциал для творчества. Например, новички могут использовать автоматические настройки камеры при съемке, а затем применять готовые шаблоны настроек в Lightroom для простого и быстрого редактирования.

Гириш: Expert RAW — это профессиональная фотостудия у вас в кармане. Приложение в полной мере раскрывает потенциал камеры серии Galaxy S22. Оно сохраняет снимки с широким динамическим диапазоном в многокадровом формате RAW — это позволяет точно редактировать изображения.

С Expert RAW каждый участок снимка лучше детализируется, включая темные зоны и яркие блики, что значительно снижает уровень шума и повышает резкость изображения. Пользователь может самостоятельно настроить уровень ISO, выдержку, баланс белого, экспозицию, фокусировку и даже выбрать, какие объективы использовать для объекта съемки и фона. Поскольку каждый снимок сохраняется в форматах JPEG и DNG, его можно сразу отредактировать в Adobe Lightroom на смартфоне или ПК.

Вопрос: Что вдохновило вас на создание Expert RAW?

Хамид: Камеры Samsung всегда использовали сложные вычислительные алгоритмы для улучшения качества фотографий. Однако стандартное приложение для съемки во многом решает за пользователя, как будет выглядеть снимок, как будут переданы цвета, тон изображения, четкость деталей и шумы. На идею создания Expert RAW нас натолкнули ограничения, которые существуют у пользователей камер смартфонов, и скачок в вычислительных возможностях мобильных процессоров. Мы задумались над тем, как сделать съемку на смартфон более творческой. Нас вдохновляли эксперты и энтузиасты в области фото, которые не согласны жертвовать творческой составляющей и стремятся сделать мобильную фотографию максимально удобной. Expert RAW призвано дать пользователям смартфонов возможности, аналогичные тем, которые есть у зеркальных камер.

Гириш: Мы получили отзывы от профессиональных фотографов, которые хотели бы снимать на телефон, как на зеркальную камеру. Наше исследование показало, что после съемки на смартфон с автоматическими настройками пользователи увлекались изучением возможностей профессиональных камер Samsung, чтобы добиться лучших снимков.

Чем больше мы общались с профессиональными фотографами и любителями, тем сильнее осознавали их потребности снимать в RAW-формате. Тогда мы решили создать приложение, основанное на съемке и редактировании снимков в RAW, чтобы открыть новые возможности для фотографов любого уровня.

Вопрос: Что делает выход Expert RAW столь важным для мобильной фотографии в целом?

Хамид: Работа с камерой — один из ключевых аспектов использования смартфона. С помощью передовых технологий Samsung всегда стремилась «перекинуть мостик» через пропасть, разделяющую профессиональных фотографов и любителей. Уверен, Expert RAW откроет новые горизонты творческого самовыражения для пользователей, которые смогут снимать именно так, как они это задумали.

Гириш: Приложение Expert RAW создано для каждого, кто хочет выйти за рамки привычного и в полной мере раскрыть возможности камеры с точной настройкой и удобным редактированием в Adobe Lightroom.

Вопрос: Какую роль сыграла Лаборатории инноваций мобильных процессоров (MPI Lab) в разработке Expert RAW?

Хамид: Каждый раз, создавая новый пользовательский интерфейс, мы сталкиваемся со множеством сложных инженерных задач. MPI Lab разработала основную концепцию, лежащую в основе приложения Expert RAW. Мы с нуля создали технологию конвейера для вычислительной фотографии, которая позволяет создавать как DNG-файлы, так и обработанные JPEG, а также технологию 3DISP на основе искусственного интеллекта для формирования RAW-данных, идентичных тем, какие предоставляет зеркальная камера. Именно на основе этих данных снимки можно детально редактировать в Adobe Lightroom.

Вопрос: Какую роль Институт исследований и разработок Samsung в Бангалоре (SRI-B) сыграл в создании Expert RAW?

Гириш: Expert RAW стал сложным научно-исследовательским проектом, и роль Института заключалась в том, чтобы предложить комплексное решение, которое выведет мобильную фотографию на профессиональный уровень. Для этого потребовалось тесное сотрудничество между несколькими командами. Мы сформировали целевую группу из талантливых многопрофильных специалистов, которые работали совместно внутри Института, а также с командами экспертов в Корее и MPI Lab. Это позволило качественно улучшить возможности Expert RAW.

Вопрос: Расскажите подробнее о вашем сотрудничестве друг с другом.

Хамид: На всем протяжении своей истории MPI Lab сотрудничала с Институтом исследований и разработок Samsung в Бангалоре. Институт обеспечил ресурсы и навыки для разработки приложения и ключевых аспектов искусственного интеллекта Expert RAW. Его сотрудники также ответственны за часть пользовательского интерфейса. С ними всегда приятно работать.

Гириш: Лаборатория инноваций мобильных процессоров обладает опытом мирового уровня в области вычислительной обработки графики и разработки процессоров изображений для флагманских устройств Samsung. MPI Lab разработала технологию многокадровой конвейерной обработки, которую мы интегрировали в приложение.

Ключевая особенность Expert RAW заключается в высоком качестве изображений при любом освещении, что достигается за счет точной настройки технологии конвейерной обработки. Экспертиза MPI Lab и Института помогли подготовить Expert RAW для коммерческого запуска.

Наши исследовательские центры эффективно использовали 12-часовую разницу во времени для совместной работы над Expert RAW. Круглосуточная разработка позволила завершить трудоемкий процесс в рекордно короткие сроки. Мы гордимся культурой Samsung, которая поощряет уважительное сотрудничество между научно-исследовательскими центрами разных стран, и нам всегда нравится работать с MPI Lab.

Вопрос: Как MPI Lab и Институт планируют использовать результаты этого сотрудничества в будущем?

Хамид: История Expert RAW только начинается. Ключевая идея нового приложения заключается в том, чтобы сфокусировать внимание на потребностях фотографа. В будущем мы планируем активно развивать и улучшать приложение, придерживаясь этой концепции.

Гириш: Последние несколько лет Лаборатория и Институт работали над созданием лучшего в мире ночного режима для флагманских смартфонов Samsung. Это сотрудничество помогло нам создать Expert RAW для Galaxy S22. В будущем мы будем улучшать возможности приложения, чтобы реализовать в полной мере профессиональный потенциал камеры этого смартфона.

Партнерство, расширяющее границы

С такими технологическими решениями, как Expert RAW, Samsung стремится обеспечить пользователям все возможности для раскрытия творческого потенциала. Компания намерена и дальше поддерживать партнерства между своими научно-исследовательскими центрами для создания решений, которые изменят то, как мы живем, работаем и творим.

[1] Приложение Expert RAW необходимо бесплатно скачать из магазина Galaxy Store. Доступность приложения в настоящее время ограничена сериями Galaxy S21 Ultra и S22. Expert RAW станет доступно на Galaxy Z Fold3 в апреле 2022 года, и позже в этом году на Galaxy S20 Ultra, Galaxy Note20 Ultra и Galaxy Z Fold2.

Исследование возможностей ИИ в области расширения низких частот и уменьшения искажения в динамиках (Исследовательский центр Samsung в Америке, SRA)

Самым читаемым докладом конференции стал доклад SRA «Применение искусственного интеллекта для нелинейного управления динамиками». В работе рассматриваются способы контроля диафрагмы динамика и уменьшения искажений звука посредством использования нейронной сети, которая позволяет сопоставлять смещение диафрагмы динамика с входным напряжением. Метод обеспечивает линеаризацию и точное управление динамиком при увеличении громкости и расширении диапазона низких частот.

Разработка метода одновременного измерения параметров нескольких динамиков (SRA)

Вторая работа SRA, вошедшая в десятку лучших —  «Деконволюция пространственного импульсного отклика при одновременном возбуждении динамиков». В работе представлен метод, позволяющий измерять параметры нескольких динамиков в пространстве одновременно, сокращая время измерения по сравнению с типичными иммерсивными аудиосистемами в десять раз.

Традиционная пространственная эквализация включает в себя возбуждение каждого динамика по очереди и деконволюцию пространственного отклика из записи. С увеличением количества динамиков и их расположений в пространстве, время измерения также увеличивается. SRA представила быстрый метод деконволюции импульсного отклика после одновременного возбуждения всех динамиков.

Оптимизация интеграции аудиосистем в тонкие телевизоры (SRA)

Одна из главных тенденций последних лет – уменьшение толщины корпусов ТВ. Чтобы преодолеть физические ограничения развития аудиотехнологий в тонких телевизорах, SRA подготовила работу «Рекомендации по разработке акустических преобразователей для тонких телевизоров».

Обусловленный отраслевыми тенденциями тонкий форм-фактор телевизора ограничивает возможности физических характеристик любого акустического преобразователя. Современные DSP (цифровые сигнальные процессоры) и усилители позволяют максимально эффективно использовать преобразователи и сохранять качество звука, но для очень тонких корпусов телевизоров таких технологий недостаточно. В работе SRA анализируются описанные физические ограничения и предлагается новая компоновка преобразователей с подвижной катушкой для применения в сверхтонких устройствах.

Лучший аудиокодек для HDR10 + (SRA)

Пока мир вступает в эру HDR10 +, SRA исследует предпочтительные для этой технологии аудиокодеки. Аудиолаборатория SRA представила доклад «Требования к битрейту аудиокодека для стереофонических, объемных и иммерсивных форматов». В работе доказывается, что кодек Opus является отличным выбором для HDR10 +. Команда провела три тестирования закодированного посредством Opus стерео, 5.1 и 7.1.4-канального контента, взятого из музыкальных, кинематографических файлов и файлов Европейского вещательного союза, закодированных с битрейтом 32, 48 и 64 кбит / с на канал. Так как инкапсуляция Opus в Ogg не поддерживает стереофоническое звучание при использовании 7.1.4 каналов, в работе предлагается новая стереофоническая схема для контента 7.1.4 в Opus с совместным стереокодированием. Результаты исследования показывают, что для чёткого стереозвучания требуется скорость передачи 64 кбит/с на канал или выше, однако 48 кбит/с на канал может быть достаточно для аудиоформатов 5.1 и 7.1.4.

Разработка 3D-аудиокодека на основе ИИ для эффекта полного погружения при просмотре OTT-контента (Центр передовых исследований и разработок Samsung, SR)

Поскольку люди все меньше смотрят традиционные телепрограммы и фильмы в кинотеатрах, отдавая предпочтение ОТТ-сервисам, работа Samsung Research «Иммерсивный аудиокодек AI 3D на основе адаптивного к контенту динамического микширования» посвящена новому трехмерному иммерсивному аудиокодеку, который может поддерживать различные пространственные аудиоформаты для использования с разными конфигурациями аудиосистем, доступных для домашнего использования с OTT-сервисами.

В отличие от традиционных технологий, которые используют фиксированный профиль микширования вне зависимости от типа и характеристик контента, Samsung Research предлагает решение, которое по-разному применяет определенный профиль микширования путем динамической классификации звуковых сцен и анализа характеристик пространственного распределения звука с использованием ИИ. Исследования показали, что предложенный метод может обеспечить лучший эффект погружения при просмотре OTT-контента, по сравнению с традиционным.

Audio Engineering Society (AES) – международное профессиональное ообщество аудиоинженеров и организация по стандартизации в области звуковой техники и технологий. Штаб-квартира AES расположена в Нью-Йорке, США. AES является организатором самой престижной международной научной конференции в области аудиотехнологий и аудиоинженерии.

В этом цикле материалов редакция Samsung Newsroom знакомит читателей с техническими экспертами из исследовательских центров Samsung по всему миру, а также рассказывает о работе, которую они делают, и о том, как она напрямую улучшает жизнь пользователей.

Экспертом сегодняшней серии выступает Брайан Хармс (Brian Harms), инженер-исследователь из Samsung Research America (SRA). После 8 лет изучения робототехники в Исследовательском центре Samsung в Америке, Хармс и его команда теперь используют инновационные методы для изменения конструкции роботов.

Q. Расскажите о том, над чем вы работаете в Исследовательском центре Samsung в Америке?

Помимо разработки инновационных технологий, SRA проводит исследования в различных областях, включая искусственный интеллект, технологии сетей 5G / 6G, цифрового здравоохранения, дополненной реальности и робототехники, которые найдут применение в будущих инновациях Samsung.

Когда я присоединился к SRA, меня привлекла одна из ключевых сфер деятельности моей команды –представление того, как роботы повлияют на будущее устройство наших домов и повседневной жизни. Значительная часть моей работы в SRA сосредоточена на максимально быстром создании прототипа пользовательского опыта, чтобы мы могли принимать решения о том, как определенные устройства или продукты должны, или не должны работать.

Наши проекты обычно начинаются очень органично, мы предлагаем нашим сотрудникам реализовывать свои идеи и задумки, а затем приносить их в команду, чтобы таким образом получать обратную связь и вносить свой вклад. Благодаря нашим тесным отношениям с различными подразделениями в Samsung, наша команда имеет возможность размышлять о самых разных способах улучшения жизни людей, и такая свобода и поддержка – действительно классный аспект нашей работы в аналитической группе (Think Tank Team) в SRA.

 Q. Недавно ваши достижения в области современной робототехники были отмечены наградами, над чем вы и ваша команда работаете сейчас?

В каждый момент времени у нас может быть от 10 до 20 проектов, работа над которыми ведется одновременно, но различными темпами и с привлечением разного объема ресурсов. Раньше наша команда стремилась к тому, чтобы большинство этих проектов, в случае успеха, можно было доводить до этапа производства (‘productizable’) в течение 3-5 лет с момента начала работы, но в последние годы мы сократили эти сроки до 1–3 лет – это помогает способствовать изменениям на рынке пользовательских устройств в максимально сжатые сроки.

Для этого мы работаем сразу над несколькими проектами в области практической робототехники, масштабы которых тщательно ограничены – благодаря этому мы можем сотрудничать с разными командами над трансформацией этих прототипов в законченные продукты. Наша цель – найти баланс, при котором мы обеспечиваем значительную ценность для пользователей, но при этом ограничиваем область решения задачи в реалистичных пределах. Мы также с оптимизмом относимся к поиску возможностей для инноваций, даже в отношении тех продуктов, которые на протяжении многих лет оставались практически неизменными.

В настоящее время наша команда работает над целым рядом проектов, выходящих за рамки робототехники, в том числе над созданием новых приложений, расширением функции смартфона, над сетевыми устройствами и современной бытовой техникой, предлагая пользователям новые возможности и помогая им всегда оставаться на связи.

Q. Практическая робототехника – это направление исследований, которое способствует созданию инновационного и удобного пользовательского интерфейса и призвано изменить наше представление о роботах. Не могли бы вы подробнее рассказать о них?

Я думаю, что людям важно переосмыслить свои представления о «роботах», потому что сами их определения могут трактоваться совершенно по-разному. Многие общие определения могут противоречить друг другу, а согласно некоторым из них мы даже не сможем отнести к роботам отдельные роботизированные устройства. Лично я склоняюсь к максимально универсальному определению: если машина автоматически срабатывает в ответ на некое внешнее воздействие, мы вполне можем назвать ее роботом.

Причина, по которой я считаю, что людям важно порой задумываться о том, что же такое роботы на самом деле, заключается в том, что нас повсеместно окружают так называемые «практические роботы», которые оказывают сильное влияние на нашу повседневную жизнь. Рассмотрим, к примеру, матрас с датчиками, которые измеряют качество сна или температуру, регулируют положение и температуру с помощью исполнительных механизмов. Согласно практически любому определению робота подобный матрас можно считать таковым, однако сам владелец такого матраса, возможно, об этом и не подозревает.

От автоматических дверей в универсамах до автомобилей, которые измеряют расстояние до других автомобилей и соответствующим образом регулируют скорость, и даже до кофеварок, которые заваривают вам свежий кофе утром, опираясь на данные с датчиков – все это роботы, и, если бы вы примите это определение робота, вы начнете видеть их гораздо чаще в своей повседневной жизни.

Q. В чем, по вашему мнению, будут заключаться для пользователей основные преимущества от внедрения новых возможностей роботов в технологические устройства, ориентированные на конечных пользователей?

Основное преимущество для пользователей от включения роботизированных технологий в устройство, конечно, будет зависеть от самого устройства и от той проблемы, которую оно решает для пользователя. В обобщенном виде, я думаю, что преимущества сводятся к тому, что внедрение роботизированных технологий позволяет выполнять действия быстрее, делая весь пользовательский опыт более простым, безопасным и выгодным. Автоматизация – мощный механизм, влияющий на эти четыре критерия, не важно, идет ли речь о промышленном предприятии или о чьей-то гостиной.

 Q. В вашей команде имеются уникальные специалисты с самым разным опытом и экспертизой. Не могли бы вы привести примеры те случаев, когда способность мыслить разными категориями, с междисциплинарных позиций, привела к развитию инновационного нового подхода или технологии в области робототехники?

Время от времени мы проводим мозговые штурмы, на которых у одного или двух человек в команде возникает идея, которую они хотят превратить в проект. Эти люди придумывают ряд вопросов или инструкций для участников, а затем каждый человек в комнате берет стопку стикеров, заполняет их идеями и набросками для нового проекта и размещает их на стене. Самое замечательное в этом то, что, например, когда предложения касаются потенциальных идей для промышленного дизайна, у нас в команде есть не только специалисты по промышленному дизайну, но и программисты, ученые, инженеры-электрики и многие другие специалисты, и все они по-разному реагируют на одни и те же вводные данные.

Благодаря такому междисциплинарному взаимодействию дизайнеры в нашей команде получают более глубокое понимание того, что технически возможно, а инженеры – какие ограничения хороший дизайн может добавить к проекту. В результате у нас есть целая команда специалистов, в которой имеются дизайнеры, говорящие на языке инженерии, и инженеры, понимающие дизайн. Подобное взаимодействие было критически важным для такого проекта, как Samsung Bot Chef, где эстетика и инженерные аспекты очень взаимосвязаны.

 Q. Что бы вы сейчас назвали новейшими тенденциями в робототехнике? Как вы учитываете эти тренды в своей исследовательской работе в SRA?

Автоматизация и робототехника – это две постоянно развивающиеся области, которые в настоящее время растут по экспоненте. Когда мы приступаем к работе над проектом, обычно сначала мы стараемся определить необходимость улучшения отдельных аспектов нашей повседневной жизни, или возможный способ такого улучшения, а затем рассматриваем механизмы для реализации этой идеи. Автоматизация и робототехника – эффективные инструменты, которые хорошо подходят для решения некоторых из этих проблем.

Наш футуристичный концепт Samsung Bot Chef стал как раз результатом того, что мы стараемся отслеживать новейшие тенденции. Тогдашний руководитель нашей группы обратил внимание на огромный разрыв между образцами недорогих и медленных роботов-манипуляторов, которые можно увидеть на краудфандинговых платформах, и дорогостоящими и высокопроизводительными промышленными роботизированными манипуляторами. Следуя своей интуиции, он предложил представить на потребительском рынке модель, которая бы восполнила этот пробел. Основная цель заключалась в том, чтобы свести к минимуму стоимость такого робота для конечного пользователя при максимальном увеличении его производительности и возможностей. В результате нам пришлось с нуля заняться разработкой собственных сервомеханизмов. То, что мы создали, является одним из самых красивых манипуляторов, которые я когда-либо видел на рынке, он был специально создан для взаимодействия с теми же повседневными предметами, которые мы используем у себя дома.

 Q. Каким вы представляете себе будущее, основанное на инновационных робототехнических технологиях?

Когда я думаю о будущем, я пытаюсь представить, «как мог бы выглядеть для меня обычный день». Я надеюсь, что в будущем робототехника и автоматизация позволят мне выделять больше времени для себя, чтобы я мог заниматься любимыми делами. Между поддержанием отношений, работой, хобби, поручениями, поиском времени для отдыха и неожиданными событиями в жизни я постоянно ощущаю, что мне не хватает времени или энергии, чтобы балансировать между всем этим и заниматься каждым из этих видов деятельности. На мой взгляд, автоматизация может стать одним из тех механизмов, который поможет мне сэкономить время, чтобы я мог тратить его так, как я посчитаю нужным, и чувствовать себя более удовлетворенным.

 Q. Не могли бы вы рассказать о вашем самом важном достижении в SRA? Чем вы гордитесь больше всего?

Я очень горжусь тем, что наша команда провела демонстрацию Samsung Bot Chef в Берлине, на выставке IFA 2019 в Германии. Нам потребовалось на самом деле колоссальное количество усилий, чтобы спроектировать, изготовить и вручную собрать совершенно новые версии Samsung Bot Chef с нуля. Кроме того, нам пришлось спланировать сложную демонстрацию, запрограммировать все взаимодействия и многократно всё протестировать, не говоря уже о транспортировке наших демонстрационных роботов в Германию, возведении демонстрационной кухни и построении работы с поварами-ведущими. Это был действительно сложный, но полезный опыт, который не только сблизил нашу команду, но и напомнил нам, что, когда мы объединяем усилия для достижения общей цели, мы можем добиться удивительных результатов.