Компания Samsung Electronics представила TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark) — собственную методику, разработанную Samsung Research для оценки продуктивности искусственного интеллекта.

TRUEBench включает комплексный набор показателей, позволяющих измерять, как большие языковые модели (LLM) справляются с реальными задачами по повышению продуктивности на рабочем месте. Для максимальной объективности TRUEBench учитывает разнообразные сценарии диалогов и поддержку нескольких языков.

Опираясь на собственный опыт компании Samsung по использовании ИИ для повышения продуктивности, TRUEBench оценивает наиболее распространенные корпоративные задачи — такие как генерация контента, анализ данных, суммаризация и перевод — в рамках 10 категорий и 46 подкатегорий. Для обеспечения объективности результатов используется автоматическая оценка на базе ИИ, основанная на критериях, которые разрабатываются и уточняются совместно с человеком и искусственным интеллектом.

«Samsung Research обладает глубокими знаниями и конкурентными преимуществами благодаря опыту применения ИИ в реальных условиях», — отметил Пол Чон (Paul Kyungwhoon Cheun), технический директор DX Division и руководитель Samsung Research. — «Мы ожидаем, что TRUEBench станет новым стандартом оценки продуктивности в индустрии и поможет Samsung Electronics укрепить свое технологическое лидерство». 

С ростом применения ИИ для рабочих задач все больше компаний проявляют интерес к измерению продуктивности LLM–моделей, однако существующие бенчмарки в основном ориентированы на оценку общей производительности, сосредоточены преимущественно на английском языке и ограничиваются структурой «вопрос–ответ». Это мешает им полноценно отражать реальные рабочие ситуации. 

Чтобы преодолеть эти ограничения, TRUEBench включает 2485 тестовых наборов по 10 категориям и 12 языкам^[1], а также поддерживает кросс-лингвистические сценарии. Такие тесты помогают понять, какие задачи действительно по силам ИИ–моделям — от коротких запросов длиной 8 символов до обработки больших текстов более 20000 символов, включая создание кратких изложений документов.

Для оценки работы моделей ИИ важно иметь четкие критерии оценивания правильности ответов. В реальных условиях не все намерения пользователей формулируются напрямую. TRUEBench обеспечивает более реалистичную проверку, учитывая не только точность ответа, но и соответствие скрытым ожиданиям пользователя.

В Samsung Research критерии оценки формируются в результате совместной работы человека и ИИ. Сначала их задают специалисты-аннотаторы, затем ИИ проверяет на наличие ошибок, противоречий или лишних ограничений. После этого критерии снова дорабатываются человеком. Так процесс повторяется до достижения максимальной точности. На основе таких перекрестно проверенных критериев проводится автоматическая проверка ИИ–моделей, что минимизирует субъективность и обеспечивает надежность результатов. Более того, для успешного прохождения теста модель должна выполнить все условия — это делает оценку более детализированной и точной.

Образцы данных и рейтинги TRUEBench размещены на глобальной open-source платформе Hugging Face. Пользователи могут сравнивать до пяти моделей одновременно и быстро получать комплексное представление об их производительности. Также публикуются данные о средней длине ответов, что позволяет одновременно оценивать и качество, и эффективность работы моделей. Подробная информация доступна на странице TRUEBench в Hugging Face.
 
^[1] Китайский, английский, французский, немецкий, итальянский, японский, корейский, польский, португальский, русский, испанский и вьетнамский.

В конце ноября Samsung Electronics провела конференцию Samsung Developer Conference Korea 2024 (SDC24 Korea) — онлайн-мероприятие, на котором были представлены последние инновации компании в области программного обеспечения и ее видение будущего.

С 2014 года Samsung Electronics проводит ежегодное мероприятие для привлечения и сотрудничества с разработчиками программного обеспечения, конференция SDC24 Korea стала 11-й по счету. В этом году в рамках SDC24 были представлены исследования, связанные со встроенным в продукты программным обеспечением, такими как генеративный ИИ, программные платформы, IoT, здравоохранение, коммуникации и данные. Конференция также была посвящена культуре разработки с открытым исходным кодом. 
 
Во время основного доклада компания представила Samsung Gauss2, второе поколение своей собственной модели ИИ. Была отмечена улучшенная производительность, эффективность и различные возможности применения.
 
 
«Samsung Electronics занимается разработкой новейшего программного обеспечения, включая ИИ и аналитику данных, для улучшения пользовательского опыта», — говорит Пол Кюнгвун Чун, президент, технический директор департамента Device eXperience (DX) и глава Samsung Research. «Samsung Gauss2, представленный тремя различными моделями, уже повышает нашу внутреннюю производительность, и мы планируем интегрировать его и в другие продукты, чтобы обеспечить более высокий уровень комфорта и персонализации».
 

Samsung Gauss2: Мультимодальная языковая модель, отвечающая различным потребностям

Samsung Gauss2 — это усовершенствованная модель генеративного ИИ, представленная компанией в прошлом году. Она отличается повышенной производительностью и эффективностью при одновременной обработке различных типов данных, поскольку представляет собой мультимодальную модель, объединяющую язык, код и изображения. Она доступна в трех различных моделях, предназначенных для разных целей: Compact, Balanced и Supreme.
 
Модель Compact — это компактная модель, специально разработанная для эффективной работы даже в ограниченных условиях вычислительной среды. Она обеспечивает оптимизированную производительность при работе с устройством, максимально используя его вычислительные ресурсы. Модель Balanced нацелена на достижение баланса между производительностью, скоростью и эффективностью, обеспечивая стабильную работу при выполнении различных задач. Наконец, модель Supreme нацелена на достижение высокой производительности за счет использования технологии Mixture of Experts^[1] в модели Balanced, что позволяет значительно сократить вычислительные затраты в процессе обучения и формирования выводов и сохранить при этом высокий уровень производительности и эффективности.
 
 

Samsung Gauss2 поддерживает от 9 до 14 языков, а также различные языки программирования, в зависимости от модели. Samsung разработала и внедрила собственные методы обработки больших языковых моделей (LLM) и создала собственный токенизатор^[2], чтобы обеспечить максимальную эффективность для поддерживаемых языков.
 
Модели Balanced и Supreme обладают равной или превосходящей производительностью по таким ключевым параметрам, как генерация ответов на различных языках, включая английский и корейский, и возможности кодирования в сравнении с ведущими моделями генеративного ИИ с открытым исходным кодом, доступными в настоящее время. Кроме того, скорость обработки данных в час в 1,5-3 раза выше. Это позволяет быстрее генерировать ответы ИИ, сократить время ожидания пользователей и повысить эффективность обработки задач.
 

Гибкая настройка для решения различных задач, связанных с производительностью и разработкой продуктов

Наличие внутренней генеративной модели ИИ позволяет легче настраивать систему, чтобы достичь оптимальной производительности для конкретных целей. Samsung Gauss уже применяется для решения различных задач сотрудниками Samsung, которые используют его гибкие возможности разработки.
 
С Samsung Gauss разработчикам ПО помогает собственный ассистент кодирования «code.i». В настоящее время он обновлен до Samsung Gauss2 и используется подразделениями подразделения Device eXperience (DX) и зарубежными исследовательскими институтами.
 
С момента запуска в декабре прошлого года ежемесячное использование code.i возросло в четыре раза, и теперь им пользуются около 60% всех разработчиков программного обеспечения в подразделении Device eXperience (DX). Кроме того, Samsung Gauss Portal — это сервис искусственного интеллекта на базе Samsung Gauss, который помогает сотрудникам подразделения Device eXperience (DX) решать различные офисные задачи, такие как обобщение документов, перевод и составление электронных писем. В апреле эта услуга была расширена на зарубежные филиалы. Кроме того, начиная с августа, Samsung применяет Samsung Gauss для сотрудников колл-центров, чтобы автоматически классифицировать и обобщать звонки клиентов.
 
 

В дальнейшем компания Samsung стремится непрерывно повышать производительность труда в компании, применяя Samsung Gauss2 для повышения производительности сервиса code.i, улучшения функции вопрос-ответов на естественном языке в Samsung Gauss Portal и поддержки мультимодальных функций, таких как обработка таблиц и графиков и создание изображений. 
 
Кроме того, в соответствии с концепцией «ИИ для всех» компания Samsung продолжит расширять сферу применения своих сервисов на основе ИИ во всех продуктовых линейках, чтобы пользователи могли наслаждаться более удобной и приятной повседневной жизнью. Благодаря интеграции технологии графа знаний с ИИ компания Samsung планирует предоставлять ещё более расширенные персонализированные услуги.
 

Презентации про программные платформы, IoT, здравоохранение, коммуникации и данные

После анонса Samsung Gauss2 состоялись презентации, посвященные опыту работы клиентов с платформами Samsung, в том числе использованию SmartThings и усовершенствованию различных программных платформ.
Затем было проведено 29 разнообразных технических сессий, включая следующие:
 

• Будущее здравоохранения и стратегия Samsung в области экосистемы здравоохранения
• Улучшение опыта SmartThings Customer VOC с помощью генеративного ИИ
• code.i: Понимание помощника Samsung Electronics по кодированию ИИ
• Контентный центр на базе телевизора для обогащения вашего повседневного опыта
• ИИ-решение для бытовой техники Samsung с помощью технологии искусственного зрения и использования данных
  

Ознакомиться с подробной информацией можно на сайте о SDC24 Korea.

 
^[1]Подход, при котором для решения конкретных задач подбираются и активизируются наиболее подходящие экспертные модели, что позволяет повысить эффективность работы за счет экономии вычислительных ресурсов.
^[2]Инструмент, преобразующий вводные данные, такие как письма, в форматы данных, которые могут обрабатываться компьютерами.