Samsung AI-Algoritme wint ’s werelds meest prestigieuze machine reading comprehension wedstrijden

Beste in MAchine Reading COmprehension van Microsoft en TriviaQA van Universiteit van Washington

Samsung Research, het geavanceerde R&D-centrum van Samsung, komt binnen één maand twee keer als beste uit de bus bij wereldwijde artificial intelligence (AI) wedstrijden op het gebied van Machine Reading Comprehension. Oftewel, hoe goed begrijpt een machine een geschreven tekst. In juni won Samsung Research de MAchine Reading COmprehension (MS MARCO) Competition van Microsoft (MS) en TriviaQA van de Universiteit van Washington.

Wedstrijden zoals MS MARCO winnen wereldwijd enorm aan populariteit. Tal van vooraanstaande universiteiten en baanbrekende AI-bedrijven doen mee aan deze challenges. Naast die van SQuAD van Stanford University en NarrativeQA van DeepMind behoren MS MARCO en TriviaQA wereldwijd tot de best aangeschreven wedstrijden.

Bij de challenges moet een AI-algoritme na de analyse van data uit zichzelf met een optimaal antwoord op een vraag komen. Bij de door Samsung Research gewonnen wedstrijden, MS MARCO en TriviaQA, is het ook belangrijk in hoeverre de antwoorden in natuurlijke, menselijke taal gegeven worden. Bij MS MARCO krijgt het algoritme bij een bepaalde vraag tien webdocumenten aangeboden en moet vervolgens het beste antwoord geven. De vragen zijn random gekozen uit een miljoen zoektermen die door gebruikers van Bing (MS search engine) zijn ingevoerd. Statistische evaluatie bepaalt vervolgens hoe dicht de oplossingen van het algoritme alledaagse menselijke antwoorden benaderen. De test is speciaal zo ontworpen om real-life situaties na te bootsen. Samsung Research nam met het algoritme ConZNet deel aan de wedstrijden. De kracht van dit algoritme is de inzet van Reinforcement Learning, een techniek die zo goed werkt doordat de machine leert van zijn fouten.

De toename van de wereldwijde AI-challenges vindt plaats op tal van gebieden. Machine Reading Comprehension is een belangrijke tak, maar ook Computer Vision (analyse van karakters en beelden) en Visual Q&A (problemen oplossen met herkende beelden en karakters) zijn sterk in opkomst. De afdeling van Samsung Research in Beijing won in maart de International Conference on Document Analysis and Recognition (ICDAR), een competitie die was georganiseerd door de International Association of Pattern Recognition (IAPR). De ICDAR is de meest invloedrijke competitie wat betreft Optical Character Recognition (OCR).

“Wij ontwikkelen een AI-algoritme om in het dagelijks leven op een eenvoudige en praktische manier antwoorden te geven op gebruikersvragen,” zegt Jihie Kim, hoofd van het Language Understanding Lab bij Samsung Research. “Momenteel onderzoeken we de mogelijkheden om het winnende algoritme ConZNet in producten en services van Samsung te gaan verwerken.”