Samsung prezentuje porównywarkę TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark) opracowaną przez dział Samsung Research w celu prowadzenia ocen produktywności sztucznej inteligencji.

Porównywarka zawiera kompleksowy zestaw wskaźników do analizy sprawności dużych modeli językowych (LLM) w rzeczywistych zastosowaniach służących poprawie produktywności w miejscu pracy. Uwzględnia ona różne scenariusze dialogowe i warunki wielojęzyczne, by wydać rzetelną ocenę.

Opierając się na wykorzystaniu sztucznej inteligencji w samej firmie Samsung w celu zwiększania wydajności, TRUEBench ocenia typowe zadania realizowane w firmach, takie jak generowanie treści, analiza danych, streszczanie i tłumaczenie tekstów, w podziale na 10 kategorii i 46 podkategorii. Porównywarka prezentuje wiarygodną punktację dzięki automatycznej ocenie opartej na sztucznej inteligencji z kryteriami opracowanymi i doskonalonymi wspólnie przez AI i zespół specjalistów.

– “Samsung Research wnosi do przedsięwzięcia przewagę konkurencyjną wynikającą z głębokiej wiedzy specjalistycznej i praktycznego doświadczenia w sztucznej inteligencji” – powiedział Paul (Kyungwhoon) Cheun, Dyrektor ds. Technologii w dziale Digital Experience spółki Samsung Electronics i Dyrektor Samsung Research. – “Oczekujemy, że TRUEBench ustanowi standardy oceny produktywności sztucznej inteligencji i umocni pozycję Samsung jako lidera technologicznego”.

Wraz z rosnącą popularnością wykorzystania AI w przedsiębiorstwach wzrosło zapotrzebowanie na narzędzia do pomiaru produktywności dużych modeli językowych. Istniejące porównywarki mierzą jednak głównie ogólną wydajność, są w większości skoncentrowane na języku angielskim i ograniczają się do odpowiedzi na pojedyncze pytania, nie uwzględniając wcześniejszego kontekstu. Ogranicza to ich zdolność do uwzględniania rzeczywistych warunków środowisk pracy.

By zaradzić tym ograniczeniom, do porównywarki TRUEBench zaimplementowano łącznie 2485 zestawów testowych w 10 kategoriach i 12 językach[1], z uwzględnieniem scenariuszy wielojęzycznych. Zestawy testowe sprawdzają, jakie rozwiązania modele AI mogą faktycznie zaproponować, a dział Samsung Research zastosował zestawy testowe o długości od 8 do ponad 20 tysięcy znaków, odzwierciedlające zadania od prostych zapytań po streszczenia długich dokumentów.

Przy ewaluacji wydajności modeli AI ważne jest posiadanie jasnych kryteriów oceny poprawności odpowiedzi. W rzeczywistych sytuacjach nie wszystkie intencje użytkowników mogą być wyraźnie opisane w instrukcjach. Porównywarka TRUEBench została zaprojektowana tak, by umożliwić realistyczną ocenę, biorąc pod uwagę nie tylko precyzję odpowiedzi, ale także szczegółowe warunki, za którymi kryją się potrzeby użytkowników. Dział Samsung Research zweryfikował elementy oceny w trybie interakcji między ludźmi a sztuczną inteligencją. Początkowe kryteria opracowywane są przez zespół specjalistów, a następnie sztuczna inteligencja weryfikuje je pod kątem błędów, sprzeczności i nadmiernych ograniczeń. Potem kryteria są ponownie udoskonalane, a cykl ten powtarza się, prowadząc do coraz bardziej precyzyjnych standardów oceny. Na podstawie sprawdzonych kryteriów przeprowadzana jest automatyczna ocena modeli AI, co minimalizuje subiektywne uprzedzenia i zapewnia spójność. Dodatkowo model musi spełnić wszystkie warunki, by pomyślnie zaliczył test. Umożliwia to bardziej szczegółową i precyzyjną ocenę realizacji wszystkich zadań.

Próbki danych i tabele wyników z porównywarki są dostępne na globalnej platformie open source o nazwie „Hugging Face”, która pozwala użytkownikom kompleksowo porównać sprawność do pięciu modeli i zobaczyć wyniki na łatwych do zinterpretowania wykresach. Ponadto publikowane są dane o średniej długości odpowiedzi, co umożliwia jednoczesne porównanie zarówno efektywności, jak i sprawności procesu przetwarzania informacji. Szczegółowe wyjaśnienia można znaleźć na stronie TRUEBench Hugging Face: https://huggingface.co/spaces/SamsungResearch/TRUEBench.

[1] Języki angielski, chiński, francuski, hiszpański, japoński, koreański, niemiecki, polski, portugalski, rosyjski, wietnamski i włoski.

Zaprezentowane zostało kompleksowe łącze bezprzewodowe 140 GHz. Szczytowa szybkość transmisji danych w tym standardzie może osiągnąć wartość 50 razy wyższą niż w przypadku 5G. To rozwiązanie mogłoby więc potencjalnie pozwolić na spełnienie wymogów sieci 6G. Udoskonalenia mają umożliwić m.in. wprowadzenie usług hiperłączności 6G i najwyższej jakości multimediów, takich jak rozszerzona rzeczywistość­ (XR) czy wierny mobilny hologram.

– Samsung pozostaje liderem innowacji technologicznych, jak również standaryzacji 5G i 6G. Jesteśmy przekonani, że nowe możliwości w zakresie częstotliwości terahercowych staną się siłą napędową tej technologii. Ta prezentacja może być kamieniem milowym w badaniu możliwości wykorzystania pasma THz w komunikacji bezprzewodowej 6G – mówi Sunghyun Choi, Senior Vice President, członek IEEE i Head of the Advanced Communication Research Center w Samsung Research.

△16-kanałowy moduł 140 GHz (w środku), dwukanałowe obwody RFIC 140 GHz (po lewej), 128-elementowy układ anten (po prawej)

Kompleksowy system prototypowy, który zademonstrowali naukowcy, składa się z 16-kanałowych modułów nadajnika i odbiornika z układem fazowym napędzanym przez RFIC (Radio Frequency Integrated Circuits), CMOS (Complementary metal-oxide-semiconductor), jak również jednostki pasma podstawowego do przetwarzania sygnałów o szerokości pasma 2 GHz i szybkiego adaptacyjnego kształtowania wiązki. W teście transmisji bezprzewodowej system osiągnął przepustowość w czasie rzeczywistym na poziomie 6,2 Gb/s na odległość 15 metrów z możliwością adaptacyjnego sterowania wiązką przy częstotliwości terahercowej.

Naukowcy Samsung i UCSB ściśle współpracują, prowadząc prace badawczo-rozwojowe nad modułem stanowiącym klucz do pomyślnego przejścia testu.

△Naukowcy firmy Samsung: Wonsuk Choi, Shadi Abu-Surra i Gary Xu z systemem weryfikacji koncepcji THz

– Dzięki współpracy z UCSB byliśmy w stanie opracować nowy system weryfikacji koncepcji THz w celu zbadania przypadków użycia 6G i scenariuszy wdrażania – wyjaśnia Charlie Zhang, Senior Vice President, członek IEEE i Head of the Standards and Mobility Innovations Team w Samsung Research America. – Naukowcy firmy Samsung i UCSB nie zaprzestaną przekraczania granic technologicznych, by komunikacja 6G i THz stała się bardziej realna do urzeczywistnienia.

△ Prof. Mark Rodwell z Uniwersytetu Kalifornijskiego w Santa Barbara (UCSB)

Grupa UCSB, kierowana przez profesora inżynierii elektrycznej i komputerowej Marka Rodwella, nadajnik i odbiornik RFIC 140 GHz opracowała po raz pierwszy już w 2017 r. w ramach programu sponsorowanego przez National Science Foundation (NSF) w USA.

– Dzielimy się naszą wiedzą w dziedzinie zaawansowanych technologii mmWave, w szczególności pasma THz powyżej 100 GHz, skupiając się na urządzeniach i układach scalonych. Natomiast Samsung zapewnia swoją ekspertyzę w zakresie systemów bezprzewodowych i sieci komórkowych – mówi prof. Mark Rodwell, członek IEEE oraz laureat nagród IEEE Sarnoff Award i IEEE Marconi Prize Paper Award.

Samsung opublikował w lipcu 2020 r. oficjalny dokument zatytułowany „Kolejny etap hiperłączności dla wszystkich”. Nakreślił w nim swoją wizję 6G, w ramach której hiperłączność wzbogaci każdy aspekt naszego życia. Aby przyspieszyć badania nad 6G, Samsung Research, zaawansowane centrum badania i rozwoju produktów końcowych wchodzące w skład Samsung Electronics, w maju 2019 r. uruchomiło Centrum Zaawansowanych Badań Komunikacyjnych.