Das von Dr. Kim geleitete Language Understanding Lab erlangte erst kürzlich Aufmerksamkeit, als es bei einem von Microsoft und der University of Washington veranstalteten, weltweiten Leseverständniswettbewerb für maschinelles Lesen eine Top-Platzierung erreichte. Der Samsung Newsroom besuchte das Samsung Research AI Center in Seocho-gu, Korea, um mit Dr. Kim ein Interview zur Performance von KI in solchen Wettbewerben zum maschinellen Lesen zu führen und über die Zukunft von KI-Algorithmen zu sprechen.

Jihier Kim, Head of Language Understanding Lab bei Samsung Research.

Erzählen Sie uns von den Wettbewerben MS MARCO und TriviaQA von Microsoft und der University of Washington, bei denen ihr Team jeweils den ersten Platz erreicht hat.

Es gab in letzter Zeit einige Leseverständniswettbewerbe für maschinelles Lesen, bei denen künstliche Intelligenz Lösungsmöglichkeiten für bestimmte Probleme aufzeigen sollte. MS MARCO und TriviaQA gehören zu den Top Fünf der Leseverständniswettbewerbe für maschinelles Lesen. Bei diesen Veranstaltungen werden KI-Algorithmen getestet, ob sie in der Lage sind Fragen zu verstehen, zu analysieren und passende Antworten formulieren zu können. Diese Tests basieren auf Suchanfragen von Internetnutzern und den entsprechenden Suchergebnissen.

Was war der Schlüssel zum Sieg bei diesen Wettbewerben, die ja durchaus ein sehr hohes Level an technischem Knowhow erfordern?

Der ConZNet Algorithmus, der vom Language Understanding Lab bei Samsung Research entwickelt wurde, überzeugt mit einer verbesserten Intelligenz: Er bezieht natürliche Sprachformen und reale Benutzerumgebungen in seine Berechnungen ein und berücksichtigt zum Beispiel, wie Menschen im Kontext des Internets Fragen stellen und beantworten. Das ist einer der Gründe, warum wir die Wettbewerbe gewinnen konnten. Bei diesen geht es um KI-Fähigkeiten in realen Anwendungsumgebungen. Tatsächlich war unser Algorithmus in Tests, bei denen ein Absatz analysiert, oder eine Frage beantwortet werden musste, nicht so weit wie die Algorithmen unserer Mitstreiter. Da solche Funktionen bei KI-Technologien, die sich auf reale Anwendungsumgebungen beziehen, aber eine untergeordnete Rolle spielen, setzen wir auf andere Tests, wie etwa MS Marco, und entwickeln uns in diesem Feld stetig weiter.

Werden die Algorithmen, die bei den Wettbewerben gewinnen konnten, tatsächlich auch in Lösungen für Endkunden zum Einsatz kommen?

Erst neulich gab es ein Open Lab Event, um die Labore von Samsung Research anderen Abteilungen bei Samsung Electronics vorzustellen. Bei dieser Veranstaltung hatten wir Gespräche zu KI-Algorithmen mit Ingenieuren aus den Bereichen Hausgeräte und Mobile. Auch andere Abteilungen, die mit Kundenservice zu tun haben, zeigten Interesse an unserer Arbeit, da KI-basierte Kundenservices, wie etwa Chatbots, ein aktuelles Thema sind. Natürlich hoffen wir, dass unsere Technologien von Samsung Electronics übernommen werden und in die Produkte einfließen.

Dr. Kim und die Entwickler des Language Understanding Lab bei Samsung Research treffen sich zur gemeinsamen Ideenfindung.

Wie sieht Ihr Plan für die Weiterentwicklung von KI-Technologien mit Bezug auf Sprachverständnis aus?

ConZNet ist ein Akronym für „Context Zoom-in Network“. Der Name verdeutlicht, dass es enorm wichtig ist, den Kontext einer Aussage zu verstehen. Wir müssen die KI-Technologie dahingehend weiterentwickeln, dass sie kurze Sätze verstehen und analysieren kann. KI-Algorithmen müssen aktuelle Nachrichten analysieren können, anstatt nur bestehende Datensätze in ihre Berechnungen einzubeziehen. So können wir sie dazu bringen, passendere Antworten auf Fragen zu geben. Außerdem arbeiten wir daran, dass ein KI-Algorithmus selbständig Aussagen wie „es gibt leider keine passende Antwort auf Deine Frage“ treffen kann. Das sogenannte „Abweisungs-Problem“ ist jedoch eine KI-Technologie, die große technische Schwierigkeiten mit sich bringt.

Was ist Ihr übergeordnetes Ziel bei der Weiterentwicklung von KI-Technologie?

Die Stärken von Samsung im Bereich der künstlichen Intelligenz sind die vielfältigen Erfahrungen, das Unternehmen hier vorweisen kann. Das sind zum einen die Erfahrungen mit Hinsicht auf die Verbindung zwischen Maschinen und Anwendungen. Zum anderen sind es die vielfältigen Kundenanforderungen im Internet der Dinge (IoT), das auf der vielfältigen Produktpalette von Samsung Electronics basiert. Diese Erfahrungen sowie die Zusammenarbeit mit globalen Partnern aus der Industrie werden dabei helfen, das Ziel der Entwicklung eines anwenderorientierten KI-Systems zu erreichen. Samsung Electronics hat erst kürzlich damit begonnen, globale KI-Zentren einzurichten. Wir werden die Arbeit mit den KI-Experten in den neuen Zentren leiten.

Samsung Research, das Forschungs- und Entwicklungszentrum der Endgerätegesparte von Samsung Electronics hat gleich zwei erste Plätze bei weltweiten Leseverständniswettbewerben für maschinelles Lesen durch künstliche Intelligenz (KI) belegt. Kürzlich erreichte Samsung Research den ersten Platz im MAchine Reading COmprehension-Wettbewerb (MS MARCO) von Microsoft. Auch beim Wettbewerb „TriviaQA“ ¹ , der von der University of Washington ausgerichtet wurde, konnte Samsung Research die Leistungsfähigkeit seines KI-Algorithmus durch eine hervorragende Leistung unter Beweis stellen.

MS MARCO und TriviaQA gehören zusammen mit SQuAD der Stanford University und NarrativeQA von DeepMind zu den wichtigsten Wettbewerben für maschinelles Leseverständnis. Renommierte Universitäten auf der ganzen Welt und globale Unternehmen im KI-Bereich wie Samsung messen sich bei diesen Wettkämpfen miteinander.

Der Begriff „maschinelles Leseverständnis“ beschreibt den Prozess, wenn ein KI-Algorithmus, Daten analysiert und aus eigener Kraft eine optimale Antwort auf eine Frage findet. Für MS MARCO und TriviaQA werden KI-Algorithmen auf ihre Fähigkeit getestet, Sprache bei menschlichen Fragen und Antworten zu verarbeiten und schriftlichen Text in verschiedenen Dokumenttypen bereitzustellen, wie etwa bei Nachrichtenartikeln und Blogbeiträgen.

Beim MS MARCO-Wettbewerb beispielsweise werden zehn Web-Dokumente für eine bestimmte Anfrage zusammengestellt, für die ein KI-Algorithmus eine optimale Antwort finden soll. Die Anfragen werden zufällig aus einer Million Nutzeranfragen auf Bing, der Microsoft-Suchmaschine, ausgewählt. Die Antworten der KIs werden statistisch ausgewertet, indem geschätzt wird, wie nahe sie einer menschlichen Antwort kommen. Dieser Test wurde speziell für die Frage entwickelt, wie gut ein KI-Algorithmus reale Probleme löst.

Samsung Research beteiligte sich mit ConZNet an den Wettbewerben. ConZNet ist ein vom AI Center (KI-Zentrum) des Unternehmens entwickelter KI-Algorithmus, der die Reinforcement-Learning-Technik ² (bestärkendes Lernen) unterstützt, dem derzeit fortschrittlichsten Algorithmus im Bereich maschinelles Lernen. Bestärkendes Lernen fördert die maschinelle Intelligenz, indem es bestimmte Verhaltensweisen belohnt und so Anreize zur selbständigen Weiterentwicklung der KI liefert.

Da der weltweite Wettbewerb bei der Entwicklung von KI-Technologien immer mehr anzieht, sind Wettkämpfe in den Bereichen Computer Vision (Technologien zur Analyse von Zeichen und Bildern) und visuelle Fragen und Antworten zur Lösung von Problemen mit Hilfe von Bildern von Zeichen sowie maschinelles Leseverständnis weit verbreitet. Die Pekinger Niederlassung von Samsung Research gewann im März die International Conference on Document Analysis and Recognition (ICDAR), die von der International Association of Pattern Recognition (IAPR) veranstaltet wurde und gehört damit zu einer Spitzengruppe für globale Computer Vision Tests. Der ICDAR ist der einflussreichste Wettbewerb im Bereich der Optical Character Recognition (OCR) Technologien.

„Wir entwickeln einen KI-Algorithmus, um Nutzern im Alltag einfacher und bequemer Antworten auf ihre Anfragen zu geben“, sagt Jihie Kim, Head of Language Understanding Lab bei Samsung Research. „Bei Samsung wird aktiv darüber diskutiert, den ConZNet KI-Algorithmus bei Produkten, Diensten, beim Kundenservice und der Entwicklung neuer Technologien einzusetzen.“

¹ Bei Wettbewerben wie MS MARCO und TriviaQA ist es Teilnehmern erlaubt zu jeder Zeit teilzunehmen. Die Ergebnisse variieren hierbei aufgrund von verschiedenen Echtzeit-Testergebnissen.

² Die Reinforcement-Learning-Technik ist der derzeit fortschrittlichste KI-Algorithmus in Bezug auf maschinellem Lernen. Fortschrittliche KI-Technologie, wie etwa AlphaGo, verbessert das maschinelle Lernen mithilfe dieser Technologie.