Робити приголомшливі знімки вночі буває складно. Нестача освітлення й цифрові шуми можуть призвести до нечітких зернистих фото, а це геть не той формат, у якому хочеться зберегти пам’ятні миті. Та камера на основі штучного інтелекту (ШІ) у смартфонах серії Galaxy S21 дає змогу знімати неймовірні зображення в умовах слабкого освітлення всього одним натисканням.

Слабке освітлення не стане на заваді

Чи то прекрасна панорама нічного міста, чи то селфі з друзями в м’яко освітленому ресторані – хай який знімок ви намагаєтеся зробити, одне натискання на кнопку камери Galaxy S21 відразу запускає трифазний процес. Ось як це працює:

1. Фаза захоплення: камера робить кілька кадрів однієї сцени з різними рівнями експозиції.
2. Мультикадрова обробка: поєднання кількох зображень в одне й покращення яскравості.
3. Фінальне опрацювання: процесор обробки зображень на основі штучного інтелекту (AI ISP) мінімізує шуми й вдосконалює деталі. Результат – надзвичайно чіткі знімки із суттєво зменшеними шумами й розмиттям.

Переваги мультикадрової обробки

Ключ до чіткості полягає в мультикадровому розшаруванні та відновленні за допомогою ШІ. На стадії мультикадрової обробки Galaxy S21 вибирає еталонне зображення – найчіткіший кадр з усіх зроблених. Після цього ШІ сортує та реєструє решту зображень, перш ніж запропонувати фінальне фото із суттєво зменшеними шумами та покращеним тональним балансом між основним об’єктом та фоном.

Фото в тьмяному приміщенні:

Крок 1. Зйомка численних кадрів із різними рівнями експозиції (до 20 кадрів).

Крок 2. Об’єднання зображень, опрацювання й налаштування яскравості.

Крок 3. Усунення шумів і утворення фінального фото.

Завдяки мультикадровій обробці Galaxy S21 підтримує чіткі зображення з високою роздільною здатністю навіть у разі несприятливих умов, наприклад, під час зумування неонової вивіски для фотографії з високим динамічним діапазоном. Наближаючи із зумом віддалені об’єкти, Galaxy S21 здатен захопити до 20 кадрів (залежно від умов) із різними значеннями експозиції. Це дає змогу отримати чіткіше кінцеве зображення з реалістичною експозицією світла й тіней – і з чіткими літерами на масштабованій неоновій вивісці.

Під час мультикадрової обробки ШІ визначає, чи варто використовувати кожен відзнятий кадр, чи тільки найбільш вдалі. Оскільки вибірка кадрів дає більше даних, ШІ камери Galaxy S21 може утворювати яскраві чіткі зображення, навіть якщо під час зйомки недостатньо світла чи ви фотографуєте з далекої відстані.

Щоб дізнатися більше про інтелектуальні функції просунутої камери смартфонів Galaxy S21, перегляньте інші публікації Samsung Newsroom у серії «За кадром».

Іноді за допомогою просто фото чи відео не вдається сповна захопити момент. Функція «Мультикадр», що вперше з’явилася в серії Galaxy S20, успішно розв’язує цю проблему: застосовуючи штучний інтелект (ШІ), вона знімає кілька зображень і відео водночас, після чого автоматично їх редагує.

У другій частині серії «За кадром» ми уважніше розглянемо, як ШІ в основі «Мультикадру» дарує разом із серією Galaxy S21 можливість створювати фото й відео, відразу готові до поширення.

Знімайте більше

Із підтримкою штучного інтелекту Galaxy S21 гарантує, що ви ніколи не пропустите цінних митей. У цій серії розширено можливості «Мультикадру»: тривалість зйомки становить 5 – 15 секунд, протягом якої функція записує відео й робить до 10-ти фото на секунду. Після цього ШІ обробляє відзнятий контент і пропонує до 10-ти найкращих фотографій та до чотирьох відеороликів.

Щоб вибрати найкращі кадри, ШІ аналізує контент і визначає необхідні покращення. Наприклад, щоб підкреслити зображення людей чи домашніх улюбленців, ШІ може застосувати портретний режим. До подій чи пейзажів – Smart Crop, щоб відредагувати найцікавішу частину сцени, чи різноманітні фільтри на основі ШІ, щоб налаштувати колір і освітлення.

Що стосується відео, то ШІ аналізує дії та композицію в кадрі. Типово до відеороликів застосовується трикратне пришвидшення Fast Forward або новий ефект Dynamic Slow-mo, який сповільнює насичені швидкими діями чи рухами сцени. Серед інших відеоефектів є «Бумеранг» (Boomerang), «Зворотне прокручування» (Reverse), «Найкращі миті» (Highlight video) та «Освітлення сцени» (Scene Relighting, 24-годинний таймлапс). У такий спосіб «Мультикадр» миттєво досягає результату, який у інших користувачів зазвичай забирає години на редагування й експериментування з фільтрами. Тож як це працює?

Негайно отримуйте найкращі фото

Щоб надати результат якомога швидше, ШІ в «Мультикадрі» використовує низку механізмів, що працюють на основі глибинного навчання й комп’ютерного бачення, допомагають оцінити зображення та накласти на них фільтри, а також вибрати найкращі кадри.

Наприклад, естетичний механізм, натренований глибинним навчанням із використанням приблизно 300 000 ретельно підібраних професіоналами зображень, визначає загальну чіткість і якість фото, міміку тощо. У процесі ШІ видаляє кадри, на яких у людей заплющені очі чи нечітко видно лиця. Щойно вибрано найкращу мить, за допомогою все того ж глибинного навчання ШІ вирішує, які фільтри й функції варто активувати. Автоматично до зображень застосовуються найпопулярніші фільтри.

Механізм для оцінювання кутів використовує той самий процес на основі бази даних зі 100 млн зображень, визначаючи найкращий ракурс, щоб обрізати фото. І, нарешті, портретний режим сегментує фінальне фото, виділяючи зображення людей і домашніх улюбленців на фоні.

Приклад нижче демонструє, як «Мультикадр» вибирає фотографії: на вашу думку, який із цих кадрів є найкращим?

Варіант 1: найкращий кадр. Ідеальний ракурс, розплющені очі та яскраві усмішки.

Варіант 2: невдалий ракурс.

Варіант 3: заплющені очі.

Знімайте відеоролики, відразу готові до поширення

Окрім вибору фото й фільтрів, «Мультикадр» використовує кілька інтелектуальних механізмів для найскладнішого редагування й опрацювання відео на професійному рівні.

Механізм інтелектуальної зйомки аналізує сцену та застосовує високошвидкісну зйомку, що допомагає досягнути найкращої за наявного освітлення картинки. Механізм розпізнавання людей ідентифікує лиця, міміку, пози, нахили голови, підкреслюючи осіб і виділяючи їх на фоні, а інтелектуальне розпізнавання рухів визначає пікові моменти сцени. Будь-якої миті під час використання «Мультикадру» кілька інтелектуальних механізмів працюють водночас, щоб досягнути найкращого результату.

Наприклад, для основного відео «Мультикадр» застосовує інтелектуальні механізми для зйомки, розпізнавання та аналізу сцени, рухів і людей, завдяки яким вибирає найкращі моменти й миттєво об’єднує їх у відеоролики – оброблені, з накладеними фільтрами й фоновою музикою та відразу готові до поширення. Для активніших сцен за допомогою інтелектуального розпізнавання рухів «Мультикадр» аналізує сцену й застосовує відповідні ефекти (Dynamic Slow-mo, «Бумеранг» чи «Зворотне прокручування»), щоб підкреслити пікові моменти.

Також можна створювати приголомшливі таймлапси завдяки функції «Освітлення сцени» (Scene Relighting), що генерує відео з повним переходом від ранкового світла до нічної темряви на основі тільки одного фото. Використовуючи Generative Adversarial Network (GAN) ШІ створює зображення, на яких налаштовує світло відповідно до різного часу доби: ранок, вечір, захід сонця, присмерк, ніч і світанок. Після цього ШІ створює 12-секундне таймлапс-відео, плавно об’єднуючи ці кадри, щоб показати, як змінюється освітлення протягом доби.

Штучний інтелект також здатен аналізувати небо, хмари, річки, дерева й будівлі в кадрі та відновлювати їхні контури й текстури для якомога природнішого результату. «Освітлення сцени» генерує настільки реалістичні відео, що ви ніколи більше не боятиметеся пропустити неймовірно блакитне небо чи неповторний захід сонця – просто зробіть фото, а «Мультикадр» і штучний інтелект відтворять їх для вас.

Щоб дізнатися більше про інтелектуальні функції просунутої камери смартфонів Galaxy S21, не пропустіть наступних публікацій Samsung Newsroom у серії «За кадром».

Починаючи з оптимізатора сцени (Scene Optimizer) в Galaxy Note9, що застосовував глибинне навчання, забезпечуючи найкращими зображеннями й ефектами редагування, Samsung невпинно розвивала й вдосконалювала функції на основі ШІ для камер Galaxy.

Останню серію Galaxy S21 оснащено камерами на основі передових досягнень Samsung у галузі ШІ. Із цими смартфонами мобільні фотографи будь-якого рівня майстерності отримують професійні інструменти, які непомітно працюють за кадром, гарантуючи, що кожен захоплений об’єктивом момент буде по-справжньому дивовижним.

У першій частині серії публікацій ми уважніше розглянемо, як ШІ покращує портретні фото, зняті на смартфони Galaxy S21.

Вдосконалені селфі

Зробили не дуже вдале селфі й панічно натискаєте на кнопку видалення, щоб ніхто й у жодному разі цього не побачив. Знайома ситуація? Завдяки селфі-камері серії Galaxy S21 ваші фото завжди будуть на висоті, адже ШІ забезпечить природніший вигляд і покращить деталі. Цей процес складається із двох ключових частин:

1. Розпізнавання обличчя. Коли ви фотографуєтеся, селфі-камера на основі ШІ спершу ідентифікує обличчя, потім відокремлює його від інших деталей у кадрі й органічно його покращує – і все це миттєво.
2. Відновлення. Такі органічні покращення стосуються різних деталей: волосся, очей, рис обличчя; а налаштування балансу білого кольору забезпечує природний тон шкіри незалежно від навколишніх умов. Результатом є фотографії, що відразу готові до поширення – не здаються надмірно обробленими й водночас не потребують додаткового редагування.

Samsung подбала про те, щоб ці функції зберігалися в сторонніх додатках. Ви можете зробити фото через додаток улюбленої соцмережі і все ще насолодитися всіма перевагами ШІ для селфі-камери Samsung.

Оновлений портретний режим

Серія Galaxy S21 не обмежується покращенням самих тільки селфі, а й дає змогу початківцям робити портретні фото студійної якості – своїх друзів, рідних і навіть домашніх улюбленців. Оновлений портретний режим, що раніше мав назву «Живий фокус» (Live Focus), використовує покращений 3D-аналіз, щоб надати зображенням більше глибини й драматичності.

Портретний режим пропонує низку ефектів, які можна застосувати до фінального зображення: розмиття, студійний і фоновий ефекти, світлий монохром, темний монохром, Color Point. Просто клацніть кнопкою, а штучний інтелект почне сегментувати, матувати й вдосконалювати фото. Ось як це працює:

1. Карта сегментування. Насамперед ШІ розпізнає людей чи тварин у кадрі та генерує карту сегментування, щоб виокремити кожну особу.
2. Карта генерування. На основі попередньої карти створюється карта генерування для об’єктів на фото, до яких буде застосовано вибрані ефекти.
3. Потрійна карта. На попередню карту накладається потрійна карта, щоб визначити об’єкт, фон і ділянки, де вони поєднуються.
4. Карта матування. До потрійної карти застосовується матування, щоб виділити такі деталі, як волосся й риси облич.
5. Оцінка глибини. Тим часом штучний інтелект оцінює глибину зображення, щоб покращити деталі на тлі й налаштувати глибину чітко зображуваного простору¹.

Під час сегментування штучний інтелект розпізнає, чи це одна людина в кадрі, чи ціла група на різних рівнях глибини, чи навіть домашні улюбленці.

Покращення деталей

Хай кого ви фотографуєте – людину чи тварину, – матування на основі ШІ відіграє важливу роль: виокремлює якомога більше деталей. Як згадувалося вище, після сегментування й розпізнавання об’єктів генерується потрійна карта, на якій чорний колір репрезентує фон, білий – зображуваний об’єкт, а сірий – невизначені ділянки.

Під час опрацювання зображення в портретному режимі ця карта стежить за тим, щоб розмиття не зачепило головного об’єкта в кадрі. Після цього карта матування покращує деталі в сірій зоні (невизначеній ділянці) і підвищує роздільну здатність зображення. Водночас ШІ застосовує карту генерування, щоб вдосконалити деталі на визначених об’єктах. Усі карти об’єднуються, утворюючи в підсумку високоякісне портретне фото, головний герой якого суттєво виділяється на фоні. І хоча процес здається тривалим, усе це відбувається за три секунди².

Щоб дізнатися більше про інтелектуальні функції просунутої камери смартфонів Galaxy S21, не пропустіть наступних публікацій Samsung Newsroom у серії «За кадром».

¹ Налаштування глибини чітко зображуваного простору можливе тільки із використанням ефекту розмиття для портретних фото людей і тварин. Ефект не застосовується, якщо камера фіксує об’єкт на однаковій глибині з людиною; у такому разі зображення зберігається зі своєю природною глибиною.

² Час опрацювання зображення в портретному режимі може відрізнятися залежно від умов зйомки.