Қиғаштап оқыту, 2 бөлім: Әр түрлі диалектер үшін ЖИ қалай жасауға болады

Таяу Шығыстан оның сансыз аспектілерімен бірге араб тілі үшін ЖИ құралдарын жасаудың қиыншылықтары туралы хикаясы

Galaxy AI-да енді 16 тіл қолданыста, бұл өз кезегінде құрылғыдағы аудармашы көмегімен көптеген адамның тілдік тосқауылды іс жүзінде  еңсеруіне көмектеседі. Samsung компаниясы мобильді ЖИ жаңа дәуірін ашты, және біз Galaxy AI  қалай пайда болды және оны жасау кезінде қандай кедергілерді жеңуге тура келгендігін білу үшін Samsung-тың бүкіл дүние жүзі бойынша  зерттеу институттарына барып қайттық. Мақаланың бірінші бөлімінде қажетті мәліеттерді анықтау процесі қарастырылады, ал аталған бөлім диалектерді ескеруге арналады.

ЖИ үлгісі үшін тілді үйрету- әсіресе онда көптеген диалект бар болған кезде, күрделене түсетін процесс. Samsung R&D Institute Jordan (SRJO) командасы дәл осындай мәселеге тап болды. «Араб тілі» Galaxy AI функцияларына арналған тіл пакетіне қосылды, және командаға  Таяу Шығыста және Солтүстік Африкада таралған әрқайсысы айтылуы, сөздік қоры және грамматикасы бойынша ерекшеленетін әртүрлі араб диалектерін ескеруге тура келді.

Әлемнің ең таралған алты тілінің құрамына енетін араб тілін күн сайын 400 миллионнан аса адам қолданады. Тіл екі түрге бөлінеді: Фушха (қазіргі стандартты араб тілі) және аммиа (араб тілінің диалектілері). Қоғамдық және ресми іс-шараларда және жаңалықтар хабарларында Фусха қолданылады, ал Аммия күнделікті әңгімелерде жиі қолданылады. Араб тілі 20-дан астам елде кең таралған және қазіргі уақытта аймақта 30-ға жуық диалект бар.

Жазылмаған заңдылықтар

Араб диалектілерінің әртүрлілігін есепке ала отырып, SRJO командасы олардың әрқайсысына тән бірегей лингвистикалық ерекшеліктерді анықтау және өңдеу үшін бірқатар тәсілдерді қолданды. Мұндай тәсілдеме Galaxy AI аймақтық ерекшелікті түсіне және әрекет ете алу үшін аса маңызды болды.

Араб тіліндегі мәтінді сөйлеуге айналдыру тобының (TTS) жетекшісі Мохаммад Хавелех, араб тілінің басқа тілдерден айырмашылығы, араб тілінде объект айтылымы сөйлемдегі субъект пен етістікке байланысты екенін атап өтті. Команданың мақсаты барлық диалектілерді түсінетін және стандартты араб тілінде жауап беретін модель жасау болды.

Text – To-Speech (TTS) – бұл Galaxy AI-дың Live Translate функциясының құрамдас бөлігі, ол пайдаланушыларға ауызша сөйлеуді аудару және оны жазбаша мәтінге айналдыру, содан кейін оны вокалды түрде естірту арқылы әр түрлі тілде сөйлейтіндермен өзара әрекеттесуге мүмкіндік береді. TTS командасы араб тілінің ерекшеліктерінен туындаған ерекше мәселеге тап болды.

Араб тілінде қолданылатын дәйекші таңбалар кейбір контексттерде, мысалы, діни мәтіндерде, поэзияда және тіл үйренуге арналған кітаптарда сөздерді айтуға нұсқаулық ретінде қызмет етеді. Олар ана тілінде сөйлейтіндер арасында кең таралған, бірақ күнделікті жазуда жоқ. Бұл бастапқы мәтінді фонемаларға- сөйлеу құрылатын негізгі дыбыстық бірліктерге айналдыруды қиындатады.

Хавелехтің айтуы бойынша, дәйекші таңбаларды дұрыс қолдану үшін сапалы және сенімді деректер жиынтығы жетіспейді, Команда жетіспейтін дәйекші таңбаны жоғары дәлдікпен алдын ала болжай және қалпына келтіре алатын нейрондық модель жасауы керек еді.

Нейрондық модельдер адам миына ұқсас жұмыс істейді. Дәйекші таңбаларды болжау үшін модель көптеген араб мәтіндерін зерттеп, тіл ережелерін үйреніп, сөздердің әртүрлі контексте қалай қолданылатынын түсінуі керек. Мысалы, сөздің айтылуы сипатталған әрекетке немесе тегіне байланысты әр түрлі болуы мүмкін. Команданың қарқынды оқуы араб TTS моделінің дәлдігін жақсартуға ықпал етті.

Жақсартылған түсіну

SRJO командасы сонымен қатар бірегей дыбыстарды, сөздерді және сөз тіркестерін белгілеу арқылы мағынасын ашуды қажет ететін әртүрлі көздерден диалектілердің аудио жазбаларын жинауға мәжбүр болды. «Олардың өзгешеліктері мен ерекшеліктерін жақсы білетін диалект спикерлерінің тобы жиналды», – дейді оның командасы мәліметтер базасын құруға жауапты болған Айя Хасан (Ayah Hasan), «Жазбаларды тыңдай отырып, олар айтылған сөздерді мәтінге қолмен түрлендірді».

Осылайша, Galaxy AI әр түрлі араб диалектілерін ажырата алатындай,  сөйлеуді автоматты түрде тану процесін (automatic Speech Recognition) жетілдіру бойынша өте маңызды жұмыс жүргізілді. ASR нақты уақыт режимінде түсіну және жауап қайтару үшін Galaxy AI мүмкіндіктерін қамтамасыз етуде шешуші рөл атқарады. «Бір модельде бірнеше диалектілерді қолдайтын ASR жүйесін құру қиын», – дейді ASR жобасының жетекшісі Мұхаммед Хамдан (Mohammad Hamdan). «Бұл тілдің қыр-сырын терең түсінуді, деректерді мұқият таңдауды және модельдеудің озық әдістерін қажет етеді».

Жаңартпаның шарықтауы

Бірнеше айлық жоспарлау, дайындау және тестілеуден кейін команда араб тілін Galaxy AI үшін тілдік опция ретінде шығаруға дайын болды, ол едәуір көп адамның шексіз араласуына мүмкіндік берді. Олардың арқасында Galaxy AI-дың сервистері араб тілін білетіндер үшін қолжетімді болғандықтан, бұл – бүкіл әлемдегі адамдар арасындағы тілдік және мәдени кедергілерді азайтты. Сонымен қатар, олар жасаған жаңа озық тәжірибелерді бүкіл әлемге таратуға болады. Команда мұнымен тоқтап қалмайды, олар өз модельдерін жетілдіруді және Galaxy AI тілдік мүмкіндіктерінің сапасын арттыруды жалғастыруда.

Келесі жолы біз тілдік деректердің қалай жетілдіріліп жатқанын білу үшін Вьетнамға аттанамыз. Сондай-ақ ЖИ тиімді үлгісін оқу үшін не қажет?

Араб тілі – Galaxy AI қолдайтын және «Баптаулар» қосымшасында жүктеп алуға қол жетімді көптеген тіл мен диалектінің бірі. LIVE Translator және Interpreter сияқты Galaxy AI тілдік мүмкіндіктері Samsung² компаниясының One UI 6.1 жаңартуымен Galaxy құрылғыларында бар.

¹ ЮНЕСКО, ЮНЕСКО, Дүниежүзілік араб тілі күні 2023, https://www.unesco.org/en/world-arabic-language-day
² One UI 6.1 алдымен Galaxy S24 сериялы құрылғыларында шығарылды, содан кейін басқа Galaxy құрылғыларына шығарылды, соның ішінде S23 сериялары, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 және Tab S8.