[Відеоінтерв’ю] Дослідниця Samsung Ukraine Ольга Радивоненко про розробку електронного пера S Pen для складаних смартфонів

Цього року портфоліо високопродуктивних складаних пристроїв Samsung Electronics поповнилося новими моделями – Galaxy Z Fold3 та Galaxy Z Flip3. Окрім ширшого екрана, Galaxy Z Fold3 тепер оснащено підтримкою електронного пера S Pen – вперше серед складаних смартфонів. Із цим спеціально розробленим S Pen користувачі можуть покращити свою продуктивність і взяти максимум із кожної миті.

Це передове рішення вдалося реалізувати завдяки наполегливій праці та спільним зусиллям інженерів Samsung із усього світу. Окрім інших досягнень, їм вдалося імплементувати такі передові технології,  що базуються на штучному інтелекті щоб додати для великого екрана Galaxy Z Fold3 підтримку малювання й написання за допомогою S Pen, а також перетворення рукописного тексту, написаного різними мовами, на друкований.

У інтерв’ю із Samsung Newsroom Ольга Радивоненко із команди візуального інтелекту Samsung Research Ukraine розповіла детальніше про розробку технології для електронного пера S Pen.

Чи не могли б ви коротко описати діяльність Українського науково-дослідного інституту?

Головними напрямками досліджень нашого центру є штучний інтелект, технології комп’ютерного зору, графіки та кібер-безпеки. Мета нашої лабораторії: втілення новацій штучного інтелекту задля забезпечення дружньої та простої взаємодії користувачів з пристроями Samsung Electronics.

Підтримка S Pen тепер з’явилася на Galaxy Z Fold3, що став першим пристроєм із цією функцією серед складаних смартфонів. Яку роль ви відіграли в цьому процесі?

Основним внеском нашої лабораторії в Z Fold3 стала розробка вбудованих технологій розпізнавання рукописного контенту, що базуються на глибоких нейронних мережах й методах моделювання та обробки природної мови, а також технології зменшення затримки вхідного сигналу S Pen, що поєднують досягнення графіки та машинного навчання.

Яким є SDK (Software Development Kit, набір із засобів розробки, утиліт і документації) для S Pen? Які його переваги?

Ми надзвичайно пишаємося бути частиною міжнародної спільноти дослідників і розробників, які створили SDK для S Pen. Він надає способи для пришвидшення рендерингу, а також зменшення й оптимізації затримки вхідного сигналу при роботі з S Pen. Крім того, він містить розумні функції на основі штучного інтелекту, а саме  розпізнавання рукописного тексту кількома десятками мов, геометричних фігур і діаграм, покращення почерку.

З огляду на унікальні функції S Pen на Z Fold3, чи було якусь функцію S Pen розроблено чи пристосовано спеціально для складаного смартфона?

Оскільки новий Z Fold3 має великий унікальний дисплей, ми зосередилися на використанні нашої AI-технології для оптимізації взаємодії із S Pen та зменшення затримки вхідного сигналу. Коли ви пишете пером S Pen, необхідно не лише відтворити траекторію ваших рухів, але й спробувати передбачити наступні, щоб лінія на екрані «встигала» за пером. Наша технологія прогнозування дозволяє відтворити лінії на екрані без затримки та забезпечує найбільш реалістичний досвід написання чи малювання на екрані Z Fold3.

Скільки мов тепер підтримує S Pen? З якими труднощами ви стикалися під час розширення кількості мов, які розпізнає S Pen для Z Fold3?

Наразі S Pen підтримує загалом 88 мов, 14 із яких було нещодавно додано минулого року.

Додавання нової мови до розпізнавання рукописного тексту вимагає значних зусиль. Щоб досягнути найкращого у світі рівня якості та швидкості розпізнавання, ми розробили передову AI-технологію, а також унікальні інструменти, що суттєво прискорюють розробку.

Чи можете ви поділитися з користувачами якимись порадами щодо найбільш оптимального користування S Pen для Z Fold3?

Для тих, хто любить писати вручну, функція S Pen To Text тепер підтримує написання за допомогою S Pen безпосередньо в текстових полях будь-якого додатку, наприклад, в рядку пошуку браузера, після чого рукописний текст перетворюється на «друкований». Крім того, S Pen дає змогу редагувати будь-який друкований текст, наприклад, виправляти пробіли чи вставляти слова.

Багатьох користувачів також може зацікавити режим Neat Shape, що дозволяє розпізнавати геометричні фігури й з легкістю створювати схеми та діаграми.

Обов’язково перевірте додаток Tips, що ознайомить із найновішими функціями S Pen та способами якомога ефективнішого використання багатьох інших застосунків та функцій Samsung Galaxy.

Яким, на вашу думку, є майбутнє S Pen? Як воно може розвиватися?

Ми сподіваємося представити більше способів для покращення досвіду взаємодії з S Pen, щоб найближчим часом забезпечити ще більшу персоналізацію. Наша місія – щоб користування S Pen максимально нагадувало перо, тільки краще й розумніше.

Найбільше я хочу, щоб весь потенціал і можливості потужного й зручного пера S Pen змогло випробувати якомога більше людей. Насамперед ми розглядаємо S Pen не тільки як крутий ґаджет, а доступний та корисний інструмент. Сподіваюся побачити, як S Pen та його функції широко застосовуються під час навчання, роботи чи в повсякденному житті. Я вірю, що ми вже готові до революції в технологіях введення даних.