За кадром: як штучний інтелект у Galaxy S21 миттєво вдосконалює фото – «Мультикадр»

Не пропустіть жодної миті з «Мультикадром»

Іноді за допомогою просто фото чи відео не вдається сповна захопити момент. Функція «Мультикадр», що вперше з’явилася в серії Galaxy S20, успішно розв’язує цю проблему: застосовуючи штучний інтелект (ШІ), вона знімає кілька зображень і відео водночас, після чого автоматично їх редагує.

У другій частині серії «За кадром» ми уважніше розглянемо, як ШІ в основі «Мультикадру» дарує разом із серією Galaxy S21 можливість створювати фото й відео, відразу готові до поширення.

Знімайте більше

Із підтримкою штучного інтелекту Galaxy S21 гарантує, що ви ніколи не пропустите цінних митей. У цій серії розширено можливості «Мультикадру»: тривалість зйомки становить 5 – 15 секунд, протягом якої функція записує відео й робить до 10-ти фото на секунду. Після цього ШІ обробляє відзнятий контент і пропонує до 10-ти найкращих фотографій та до чотирьох відеороликів.

Щоб вибрати найкращі кадри, ШІ аналізує контент і визначає необхідні покращення. Наприклад, щоб підкреслити зображення людей чи домашніх улюбленців, ШІ може застосувати портретний режим. До подій чи пейзажів – Smart Crop, щоб відредагувати найцікавішу частину сцени, чи різноманітні фільтри на основі ШІ, щоб налаштувати колір і освітлення.

Що стосується відео, то ШІ аналізує дії та композицію в кадрі. Типово до відеороликів застосовується трикратне пришвидшення Fast Forward або новий ефект Dynamic Slow-mo, який сповільнює насичені швидкими діями чи рухами сцени. Серед інших відеоефектів є «Бумеранг» (Boomerang), «Зворотне прокручування» (Reverse), «Найкращі миті» (Highlight video) та «Освітлення сцени» (Scene Relighting, 24-годинний таймлапс). У такий спосіб «Мультикадр» миттєво досягає результату, який у інших користувачів зазвичай забирає години на редагування й експериментування з фільтрами. Тож як це працює?

Негайно отримуйте найкращі фото

Щоб надати результат якомога швидше, ШІ в «Мультикадрі» використовує низку механізмів, що працюють на основі глибинного навчання й комп’ютерного бачення, допомагають оцінити зображення та накласти на них фільтри, а також вибрати найкращі кадри.

Наприклад, естетичний механізм, натренований глибинним навчанням із використанням приблизно 300 000 ретельно підібраних професіоналами зображень, визначає загальну чіткість і якість фото, міміку тощо. У процесі ШІ видаляє кадри, на яких у людей заплющені очі чи нечітко видно лиця. Щойно вибрано найкращу мить, за допомогою все того ж глибинного навчання ШІ вирішує, які фільтри й функції варто активувати. Автоматично до зображень застосовуються найпопулярніші фільтри.

Механізм для оцінювання кутів використовує той самий процес на основі бази даних зі 100 млн зображень, визначаючи найкращий ракурс, щоб обрізати фото. І, нарешті, портретний режим сегментує фінальне фото, виділяючи зображення людей і домашніх улюбленців на фоні.

Приклад нижче демонструє, як «Мультикадр» вибирає фотографії: на вашу думку, який із цих кадрів є найкращим?

Варіант 1: найкращий кадр. Ідеальний ракурс, розплющені очі та яскраві усмішки.

Варіант 2: невдалий ракурс.

Варіант 3: заплющені очі.

Знімайте відеоролики, відразу готові до поширення

Окрім вибору фото й фільтрів, «Мультикадр» використовує кілька інтелектуальних механізмів для найскладнішого редагування й опрацювання відео на професійному рівні.

Механізм інтелектуальної зйомки аналізує сцену та застосовує високошвидкісну зйомку, що допомагає досягнути найкращої за наявного освітлення картинки. Механізм розпізнавання людей ідентифікує лиця, міміку, пози, нахили голови, підкреслюючи осіб і виділяючи їх на фоні, а інтелектуальне розпізнавання рухів визначає пікові моменти сцени. Будь-якої миті під час використання «Мультикадру» кілька інтелектуальних механізмів працюють водночас, щоб досягнути найкращого результату.

Наприклад, для основного відео «Мультикадр» застосовує інтелектуальні механізми для зйомки, розпізнавання та аналізу сцени, рухів і людей, завдяки яким вибирає найкращі моменти й миттєво об’єднує їх у відеоролики – оброблені, з накладеними фільтрами й фоновою музикою та відразу готові до поширення. Для активніших сцен за допомогою інтелектуального розпізнавання рухів «Мультикадр» аналізує сцену й застосовує відповідні ефекти (Dynamic Slow-mo, «Бумеранг» чи «Зворотне прокручування»), щоб підкреслити пікові моменти.

Також можна створювати приголомшливі таймлапси завдяки функції «Освітлення сцени» (Scene Relighting), що генерує відео з повним переходом від ранкового світла до нічної темряви на основі тільки одного фото. Використовуючи Generative Adversarial Network (GAN) ШІ створює зображення, на яких налаштовує світло відповідно до різного часу доби: ранок, вечір, захід сонця, присмерк, ніч і світанок. Після цього ШІ створює 12-секундне таймлапс-відео, плавно об’єднуючи ці кадри, щоб показати, як змінюється освітлення протягом доби.

Штучний інтелект також здатен аналізувати небо, хмари, річки, дерева й будівлі в кадрі та відновлювати їхні контури й текстури для якомога природнішого результату. «Освітлення сцени» генерує настільки реалістичні відео, що ви ніколи більше не боятиметеся пропустити неймовірно блакитне небо чи неповторний захід сонця – просто зробіть фото, а «Мультикадр» і штучний інтелект відтворять їх для вас.

Щоб дізнатися більше про інтелектуальні функції просунутої камери смартфонів Galaxy S21, не пропустіть наступних публікацій Samsung Newsroom у серії «За кадром».