【與三星研究院共築未來①】烏克蘭三星研發中心：以創新智慧視覺技術打造全新用戶體驗

第四次工業革命如火如荼展開，人工智慧（AI）、5G、6G和機器人等新世代技術加速日常生活的轉型，從交通運輸、銀行金融甚至健身運動均產生變化。

三星電子洞見觀瞻，於初期便意識到上述先進技術的重要性並積極投入佈局，創新腳步從未停歇。三星研究院（Samsung Research）^（註一）旗下14間研發機構與全球7間AI中心的專家團隊孜孜矻矻，致力為未來、用戶、新世代頂尖技術與服務而努力，持續累積三星引以為傲的軟硬體成就。

於此系列專題報導中，三星新聞中心將介紹全球研發中心的技術專家，深入了解其工作內容及如何透過相關創新造福消費者。

第一位專家為烏克蘭三星研發中心（SRK）智慧視覺團隊負責人Sergii Lytvynenko。Sergii最初以軟體工程師的身分加入，迄今已服務逾十年。以下將介紹SRK團隊的重大研究突破。

問：能否簡單介紹烏克蘭三星研發中心和主要工作？

烏克蘭三星研發中心位於國家重鎮基輔（Kyiv）。自2009年創立以來，專注於AI、擴增實境（AR）／虛擬實境（VR）及資安等領域，專業實力數一數二。SRK集結業界頂尖專家，目前主要研究領域為資訊安全、電腦視覺、情境感知智慧服務等，並積極與當地多所大專院校共同發展產學合作計畫。

問：目前智慧視覺團隊執行中的任務為何？

團隊正針對AI進行電腦視覺與運算圖學等領域的基礎研究，主要任務是將研究成果轉化為完整的用戶體驗，進而簡化日常流程、提升大眾生活品質，創造令人享受且身臨其境的體驗。

為此，我們積極與其他地區的團隊密切合作，進一步研究上述主要領域，同時與三星各事業部配合，致力透過核心技術打造優質產品。

問：團隊主要負責電腦視覺與運算圖學研究，請問此技術如何創造創新的用戶體驗？

去年，團隊投入大量心力研發Smart Trainer健身功能，提供截然不同的居家健身體驗。透過連接三星智慧電視與USB相機鏡頭，搭載AI技術的系統可追蹤用戶活動、記錄運動，甚至提供動作與姿勢指導。我們很開心三星電視的用戶已經能在家中體驗上述功能。

問：團隊如何將主要研究領域的創新技術，導入如AR眼鏡等開發中的計畫？

近年團隊致力研發可應用於AR眼鏡的先進電腦視覺與圖學技術，以解決目前的關鍵挑戰。在電腦視覺方面，主要聚焦AR核心技術，例如同步定位與地圖建構（Simultaneous Localization and Mapping，SLAM）、深度預測（Depth Estimation）、環境掌握（Environmental Understanding）以及人機互動（Human Computer Interaction，HCI）。至於圖學技術則專注研究低延遲渲染，以實現AR與遊戲效能最佳化。

▲烏克蘭三星研發中心智慧視覺團隊

問：除AR外，團隊亦協助研發S Pen技術。能否介紹此技術的研發背景？

支援S Pen裝置搭載的手寫辨識技術，是團隊的重點研發領域與核心解決方案之一，目前正擴大導入至Galaxy系列產品。除手寫辨識之外，我們同步建立廣泛的專利佈局，有助於三星研發核心技術。

問：團隊為Galaxy Z Fold3研發的S Pen最佳化技術，將如何提升用戶體驗？

Galaxy Z Fold3的獨特性無庸置疑，大尺寸摺疊螢幕突破既有界限，開啟全新使用可能，無論是日常工作還是學習皆事半功倍。因此，支援Galaxy Z Fold3的S Pen，具備手寫辨識與低延遲技術更加重要。我們汲取傳統紙筆的優勢，讓使用者在數位螢幕上也能擁有同樣順暢的手寫體驗。

問：團隊研發的技術將如何提升Galaxy Z Fold3用戶的生活品質，在使用上更加輕鬆便利？

團隊針對S Pen導入AI技術，預測下筆位置（AI Based Point Prediction），並將輸入延遲降至最低，打造更接近真實紙筆的書寫與繪畫體驗，手寫辨識技術將數位書寫變得更加智慧簡單，令人愛不釋手。如今用戶可輕鬆地將手寫筆記轉換為印刷文件，還能快速辨識圖表、插入連結、算數等。上述體驗皆為用戶的生活品質創造令人驚艷的改變。

問：您認為當前主流的技術趨勢為何？

我們認為視覺模式（Visual Modality）為下一個關鍵技術，包括如何將筆記與影片智慧化，以及從過程中能擷取多少實用情境資訊等。AR技術可為此領域創造無窮可能，並揭開尚待克服的挑戰。例如以「數位視覺」（Digital Eyes）為用戶進行全方位環境偵測，並提供統整後的情境資訊，大幅提升日常生活。

另一個主流趨勢為人機互動，團隊特別關注扮演關鍵角色的多模式互動（Multi-Modal Interaction）技術。多模式人機互動整合視覺、語言與知識，可供三星裝置充分掌握所處環境。

問：您在SRK這些年來，最難忘的成就是什麼？

2021年6月對團隊來說相當特別，因為我們贏得2021年國際電腦視覺與圖型識別會議（Conference on Computer Vision and Pattern Recognition，CVPR）的圖表問答挑戰（Chart Question Answering Challenge）。CVPR是全球規模最大的電腦視覺與人工智慧會議，能獲此殊榮我們深感驕傲。

問：若要開創全新的行動裝置使用體驗，智慧視覺技術至關重要。語言相關技術在其中扮演什麼關鍵角色？

自然語言處理（Natural Language Processing，NLP）是極具挑戰的研究領域，團隊期盼世界上每個人都能親自體驗我們的解決方案。為實現此願景，擴大語言選項以及支援性相當重要。團隊正致力增加S Pen手寫辨識技術支援的語言種類，目前解決方案支援約80多種語言，未來仍會持續增加。

下一篇文章將帶領讀者一窺Sergii與波蘭三星研究院自然語言處理專家Lukasz的專訪。

註一：三星研究院為三星消費性電子事業部（CE）以及資訊與行動通訊事業部（IM）旗下的先進研發中心。