Het Language Understanding Lab stond laatst wereldwijd in de belangstelling na het winnen van twee belangrijke wedstrijden op het gebied van begrijpend lezen door machines. De challenges werden georganiseerd door Microsoft en de Universiteit van Washington. Samsung Newsroom ging naar het Samsung Research AI Center in Seocho-gu in Korea voor een interview met Jihie Kim.

Jihie Kim, Hoofd van het Language Understanding Lab van Samsung Research

Vertel eens over MS MARCO en TriviaQA.

Begrijpend lezen door machines is een belangrijk gebied binnen AI. De laatste tijd zijn er wereldwijd veel wedstrijden waarin dit onderwerp wordt uitgelicht. De twee wedstrijden die we vorige maand wonnen, MS MARCO en TriviaQA, behoren wereldwijd tot de top vijf. Het gaat er bij deze wedstrijden om dat AI-algoritmes menselijke vragen zo goed begrijpen en analyseren dat ze tot het juiste antwoord komen. De tests gebruiken zoektermen van internetgebruikers, evenals zoekresultaten.

Waarom won juist het algoritme ConZNet van Samsung Research deze AI-competities, ondanks de grote concurrentie?

We ontwikkelden ConZNet met real user environments in gedachten. Het algoritme houdt rekening met hoe mensen in het echt online vragen en antwoorden invoeren. Dat is precies de essentie van MS MARCO en TriviaQA. In die wedstrijden gaat het om de toepassing van AI in real user environments. Om eerlijk te zijn deed ons algoritme het iets minder goed als er geen levensechte omgevingen werden nagebootst. Zoals bij testen waar het algoritme een korte paragraaf moest lezen om vervolgens een simpel antwoord te geven. Maar ja, zulke technologieën zijn niet bijzonder relevant in het echt. Bij ons ligt de focus erop dat we met onze AI-oplossingen een bijdrage leveren aan het veraangenamen van het dagelijks leven.

Zijn de winnende algoritmes al verwerkt in services?

Onlangs was ik op een event waar Samsung Research werd voorgesteld aan andere afdelingen van Samsung Electronics. Tijdens dat evenement hadden we direct al interessante gesprekken met engineers van smartphones en huishoudelijke apparatuur. Ook afdelingen die te maken hebben met customer services toonden veel interesse in wat we doen. Niet verwonderlijk natuurlijk, want op AI-gebaseerde customer services, zoals chatbots, worden steeds belangrijker. We hopen en verwachten dat de technologieën die we bij Samsung Research ontwikkelen binnenkort hun weg vinden naar producten en services van Samsung Electronics.

Jihie Kim met de ontwikkelaars van het Language Understanding Lab van Samsung Research

Wat zijn de plannen voor de toekomst?

ConZNet is een acroniem van “Context Zoom-in Network”. De naam impliceert dat begrip van de context van menselijke taal essentieel is. Het is zaak AI-technologieën zo te optimaliseren dat het begrip van korte zinnen verbetert. Ook moeten we AI-algoritmes verder ontwikkelen om in real-time te leren reageren op gebruikersvragen in plaats van alleen bestaande data te reproduceren. Verder zijn we bezig met een AI-algoritme dat verder gaat dan “Er zijn geen juiste antwoorden op uw verzoek”, maar juist actief op zoek kan naar de juiste antwoorden. Het zogenaamde “rejection problem” is technisch gezien een enorme uitdaging.

Wat is het ultieme doel bij de ontwikkeling van AI-technieken?

De kracht van Samsung in de AI-industrie ligt bij het kunnen bouwen van een kennissysteem met verbindingen tussen machines en applicaties, gericht op de eisen van mensen in de Internet of Things (IoT) -omgeving. Doel is om een user-oriented AI-systeem te ontwikkelen, waarbij we wereldwijd samenwerken met partners in de industrie. Er komen wereldwijd steeds meer Samsung AI-centers en zo komt de realisatie van dit doel steeds dichterbij.

Samsung Research, het geavanceerde R&D-centrum van Samsung, komt binnen één maand twee keer als beste uit de bus bij wereldwijde artificial intelligence (AI) wedstrijden op het gebied van Machine Reading Comprehension. Oftewel, hoe goed begrijpt een machine een geschreven tekst. In juni won Samsung Research de MAchine Reading COmprehension (MS MARCO) Competition van Microsoft (MS) en TriviaQA van de Universiteit van Washington.

Wedstrijden zoals MS MARCO winnen wereldwijd enorm aan populariteit. Tal van vooraanstaande universiteiten en baanbrekende AI-bedrijven doen mee aan deze challenges. Naast die van SQuAD van Stanford University en NarrativeQA van DeepMind behoren MS MARCO en TriviaQA wereldwijd tot de best aangeschreven wedstrijden.

Bij de challenges moet een AI-algoritme na de analyse van data uit zichzelf met een optimaal antwoord op een vraag komen. Bij de door Samsung Research gewonnen wedstrijden, MS MARCO en TriviaQA, is het ook belangrijk in hoeverre de antwoorden in natuurlijke, menselijke taal gegeven worden. Bij MS MARCO krijgt het algoritme bij een bepaalde vraag tien webdocumenten aangeboden en moet vervolgens het beste antwoord geven. De vragen zijn random gekozen uit een miljoen zoektermen die door gebruikers van Bing (MS search engine) zijn ingevoerd. Statistische evaluatie bepaalt vervolgens hoe dicht de oplossingen van het algoritme alledaagse menselijke antwoorden benaderen. De test is speciaal zo ontworpen om real-life situaties na te bootsen. Samsung Research nam met het algoritme ConZNet deel aan de wedstrijden. De kracht van dit algoritme is de inzet van Reinforcement Learning, een techniek die zo goed werkt doordat de machine leert van zijn fouten.

De toename van de wereldwijde AI-challenges vindt plaats op tal van gebieden. Machine Reading Comprehension is een belangrijke tak, maar ook Computer Vision (analyse van karakters en beelden) en Visual Q&A (problemen oplossen met herkende beelden en karakters) zijn sterk in opkomst. De afdeling van Samsung Research in Beijing won in maart de International Conference on Document Analysis and Recognition (ICDAR), een competitie die was georganiseerd door de International Association of Pattern Recognition (IAPR). De ICDAR is de meest invloedrijke competitie wat betreft Optical Character Recognition (OCR).

“Wij ontwikkelen een AI-algoritme om in het dagelijks leven op een eenvoudige en praktische manier antwoorden te geven op gebruikersvragen,” zegt Jihie Kim, hoofd van het Language Understanding Lab bij Samsung Research. “Momenteel onderzoeken we de mogelijkheden om het winnende algoritme ConZNet in producten en services van Samsung te gaan verwerken.”