[Ku przyszłości dzięki badaniom Samsung ①] Samsung R&D Institute Ukraine: innowacje w dziedzinie inteligencji wizualnej, które pozwolą zaoferować użytkownikom nowe wrażenia

Czwarta rewolucja przemysłowa sprawiła, że rozwiązania nowej generacji – sztuczna inteligencja (AI), 5G, 6G czy robotyka – przyspieszają zmiany, jakie technologia wprowadza w naszym codziennym życiu w sferach takich jak transport, bankowość, a nawet fitness

Firma Samsung Electronics nie tylko od dawna dostrzega wagę tych zaawansowanych technologii, ale i sama stawia na innowacje w tych dziedzinach. Badacze-eksperci intensywnie pracują w 14 centrach badawczo‑rozwojowych i 7 centrach AI Samsung Research[1] zlokalizowanych na całym świecie, by przygotować się na przyszłość, zapewnić użytkownikom innowacje i opracować kolejną generację przełomowych technologii i usług, z których słynie Samsung Electronics.

W tej serii artykułów Samsung Newsroom przedstawia ekspertów ds. technologii z centrów R&D Samsung z całego świata, by przybliżyć czytelnikom wykonywaną przez nich pracę i jej wpływ na użytkowników.

Pierwszy prezentowany ekspert to Sergii Lytvynenko, szef zespołu ds. inteligencji wizualnej w Samsung R&D Institute Ukraine (SRK), który dołączył do tego centrum badawczo‑rozwojowego ponad dziesięć lat temu jako inżynier ds. oprogramowania. Poniżej przedstawiamy przełomową pracę, jakiej Sergii i jego zespół podejmują się w SRK.

Pyt.: Czy możesz pokrótce zapoznać nas z Samsung R&D Institute Ukraine i pracą, jaką tam wykonujecie?

Nasze centrum badawczo‑rozwojowe zlokalizowane jest w Kijowie, w samym sercu Ukrainy. Od momentu powstania w roku 2009 SRK skupia się na AI, rzeczywistości rozszerzonej (AR) / wirtualnej (VR) oraz bezpieczeństwie, ma też w tych dziedzinach rozległą wiedzę ekspercką. Centrum skupia wybitnych branżowych specjalistów, którzy pracują obecnie m.in. nad bezpieczeństwem inteligentnych rozwiązań, rozpoznawaniem obrazów i  inteligentnymi usługami kontekstowymi. Ponadto, w ramach inicjatyw wspierających kooperację branżowo‑edukacyjną, SRK aktywnie współpracuje z lokalnymi uniwersytetami i szkołami.

Pyt.: Nad czym pracuje obecnie Twój zespół ds. inteligencji wizualnej?

Obecnie prowadzimy ważne badania w zakresie AI, rozpoznawania obrazów i grafiki komputerowej. Naszym nadrzędnym celem jest przekształcenie osiągnięć badawczych w holistyczne doświadczenia użytkowników, co pozwoli podnieść jakość życia wielu osób poprzez uproszczenie wykonywanych przez nich codziennie czynności, a także zapewnienie im pozytywnych emocji i wciągających wrażeń.

Aby to osiągnąć, blisko współpracujemy z różnymi zespołami w innych krajach w ramach zaawansowanych badań w najistotniejszych dla nas dziedzinach, a także współdziałamy z jednostkami biznesowymi, którym przekazujemy nasze kluczowe technologie, aby mogły trafić do urządzeń i usług Samsung.

Pyt.: Twój zespół zajmuje się dwiema istotnymi dziedzinami technologii – rozpoznawaniem obrazów i grafiką komputerową. W jaki sposób wpływają one na innowacje w zakresie nowych wrażeń użytkowników?

W ubiegłym roku rozpoczęliśmy szeroko zakrojone prace nad rozwiązaniem Smart Trainer oferującym zupełnie nowe doświadczenia w zakresie domowych treningów. Za pomocą kamery USB połączonej do telewizora Samsung Smart system śledzi aktywność użytkownika i wykonywane przez niego ćwiczenia, oferuje także rekomendacje dotyczące formy – a wszystko to dzięki AI. Bardzo się cieszymy, że dziś użytkownicy telewizorów Samsung Smart mogą korzystać także z tej funkcji.

Pyt.: W jaki sposób wykorzystujecie kluczowe technologie z najistotniejszych dla Was dziedzin w realizowanych obecnie projektach, takich jak gogle AR?

Prowadzimy zaawansowane prace badawczo‑rozwojowe, by sprostać istotnym wyzwaniom w zakresie rozpoznawania obrazu i grafiki komputerowej w odniesieniu do gogli AR. Jeśli chodzi o tę pierwsza kwestię, czyli o rozpoznawanie obrazu, pracujemy nad rozwiązaniami koniecznymi dla AR, w tym nad symultaniczną lokalizacją i mapowaniem (SLAM – Simultaneous Localization and Mapping), szacowaniem głębi, rozumieniem otoczenia i interakcją człowiek–komputer (HCI – Human–Computer Interaction). Jeśli zaś chodzi o grafikę komputerową, prowadzimy badania nad renderowaniem o niskiej latencji w celu optymalizacji AR i gier.

△ Zespół ds. inteligencji wizualnej w Samsung R&D Institute Ukraine

Pyt.: Poza AR Twój zespół wniósł też wkład w rozwój technologii rysika S Pen. Możesz nam opowiedzieć o opracowywaniu tego rozwiązania?

Jednym z najistotniejszych dla nas zagadnień i rozwiązań, którym poświęcamy mnóstwo prac badawczo‑rozwojowych, jest technologia rozpoznawania pisma odręcznego przeznaczona na urządzenia obsługujące S Pen – rysik, który współdziała obecnie z coraz większą liczbą sprzętów Galaxy. Pracując nad rozwiązaniem rozpoznającym pismo odręczne, stworzyliśmy też bogate portfolio patentów, przyczyniając się w ten sposób do tworzenia kluczowych technologii Samsung.

Pyt.: Jak Twoim zdaniem zoptymalizowane przez Was technologie S Pen na Galaxy Z Fold3 udoskonalą wrażenia z użytkowania tego urządzenia?

Galaxy Z Fold3 to prawdziwie wyjątkowy sprzęt. Jego rozległy, składany wyświetlacz pozwala przekraczać granice i staje się dla użytkowników istotnym ułatwieniem produktywności, doskonale sprawdzającym się zarówno w pracy zawodowej, jak i podczas nauki. W tym kontekście rysik S Pen, rozpoznawanie pisma odręcznego i niska latencja stają się niezwykle ważne. Wzięliśmy to, co najlepsze w pisaniu długopisem na papierze, by te same wrażenia zaoferować na ekranie cyfrowym.

Pyt.: W jaki sposób technologie, w które Twój zespół wniósł wkład w przypadku Galaxy Z Fold3, mogą podnieść jakość życia użytkowników i uprościć ich codzienne działania?

Opracowaliśmy oparte na AI rozwiązanie predykcji punktowej, by zminimalizować latencję przy korzystaniu z rysika S Pen. Pozwoliło to zbliżyć wrażenia pisania i rysowania na ekranie do używania zwykłego długopisu i papieru. Co więcej, technologie rozpoznawania pisma odręcznego sprawiają, że cyfrowe pisanie staję się inteligentniejsze, łatwiejsze i przyjemniejsze. Pozwalają one przekształcić notatkę w cyfrowy dokument, rozpoznają odręcznie narysowane tabele czy diagramy, umożliwiają zagnieżdżanie linków, same rozwiązują zadania matematyczne… w dodatku wszystkie te funkcje są wyjątkowo intuicyjne w obsłudze. Takie doświadczenia prawdziwie zmieniają nasza codzienność.

Pyt.: Jakie Twoim zdaniem są dziś główne trendy technologiczne?

Obecnie uznaje się, że najistotniejszym trendem jest modalność wizualna: jak przekształcić notatkę czy wideo w ich inteligentny odpowiednik, a także ile przydatnych informacji kontekstowych możemy pobrać z tych procesów. W przypadku tej technologii AR otwiera całe mnóstwo możliwości, choć generuje też niemało wyzwań. Na przykład „cyfrowe oczy”, które przeprowadzałyby dla użytkownika pełne rozpoznanie otoczenia i oferowały odpowiednio zorganizowane informacje kontekstowe, mogłyby całkowicie zmienić nasze życie.

Innym ważnym dziś trendem jest HCI. Tu naszym zdaniem najistotniejsze są interakcje multimodalne. Są to interakcje pomiędzy użytkownikiem a sprzętem, które obejmują wizję, język i wiedzę. Technologia ta mogłaby pomóc urządzeniom Samsung „zrozumieć” świat, w którym się znajdują.

Pyt.: Co uznałbyś za Wasze najważniejsze jak dotąd osiągnięcie w SRK?

Czerwiec tego roku był dla nas wyjątkowy, ponieważ wygraliśmy organizowany podczas CVPR (Conference on Computer Vision and Pattern Recognition) 2021 konkurs Chart Question Answering Challenge. CVPR to największa na świecie konferencja dotycząca rozpoznawania obrazów i AI. Jesteśmy niezwykle dumni z tego osiągnięcia.

Pyt.: Technologie z dziedziny inteligencji wizualnej są ogromnie ważne dla opracowywania nowych mobilnych wrażeń dla użytkowników. W jaki sposób przyczyniają się do tego również technologie związane z językiem?

Przetwarzanie języka naturalnego (NLP – Natural Language Processing) to jedna  najtrudniejszych dziedzin badawczych. Bardzo chcielibyśmy, by każdy człowiek na świecie mógł używać i doświadczać naszych rozwiązań. Aby było to możliwe, konieczny jest wzrost liczby obsługiwanych przez urządzenia języków. Nieustannie pracujemy nad tym, by usługę rozpoznawania pisma odręcznego przez rysik S Pen oferować w coraz to nowych wersjach językowych – jest ich obecnie 80, ale liczba ta już niedługo znowu wzrośnie!

[Ku przyszłości dzięki badaniom Samsung] Ekspert ds. inteligencji wizualnej rozmawia z ekspertem z dziedziny przetwarzania języka naturalnego Witaj, Łukaszu. Nazywam się Sergii i pracuję z SRK. Technologie z dziedziny inteligencji wizualnej takie jak te, nad którymi pracuje mój zespół, są niezbędne, jeśli chcemy umożliwić większej liczbie osób cieszenie się innowacyjnymi wrażeniami mobilnymi. Wiadomo, że opracowywanie rozwiązań w dziedzinie rozpoznawania mowy jest ogromnie skomplikowane. Z jakimi wyzwaniami zetknąłeś się podczas pracy nad technologiami związanymi z językiem i jak sobie z nimi poradziłeś?

[1] Samsung Research to zaawansowany hub badawczo‑rozwojowy (R&D – research and development) działów elektroniki konsumenckiej (CE – Consumer Electronics) oraz IT i komunikacji mobilnej (IM – IT & Mobile Communications) firmy Samsung.