ЖИ үлгісі үшін тілді үйрету- әсіресе онда көптеген диалект бар болған кезде, күрделене түсетін процесс. Samsung R&D Institute Jordan (SRJO) командасы дәл осындай мәселеге тап болды. «Араб тілі» Galaxy AI функцияларына арналған тіл пакетіне қосылды, және командаға  Таяу Шығыста және Солтүстік Африкада таралған әрқайсысы айтылуы, сөздік қоры және грамматикасы бойынша ерекшеленетін әртүрлі араб диалектерін ескеруге тура келді.

Әлемнің ең таралған алты тілінің құрамына енетін араб тілін күн сайын 400 миллионнан аса адам қолданады. Тіл екі түрге бөлінеді: Фушха (қазіргі стандартты араб тілі) және аммиа (араб тілінің диалектілері). Қоғамдық және ресми іс-шараларда және жаңалықтар хабарларында Фусха қолданылады, ал Аммия күнделікті әңгімелерде жиі қолданылады. Араб тілі 20-дан астам елде кең таралған және қазіргі уақытта аймақта 30-ға жуық диалект бар.

Жазылмаған заңдылықтар

Араб диалектілерінің әртүрлілігін есепке ала отырып, SRJO командасы олардың әрқайсысына тән бірегей лингвистикалық ерекшеліктерді анықтау және өңдеу үшін бірқатар тәсілдерді қолданды. Мұндай тәсілдеме Galaxy AI аймақтық ерекшелікті түсіне және әрекет ете алу үшін аса маңызды болды.

Араб тіліндегі мәтінді сөйлеуге айналдыру тобының (TTS) жетекшісі Мохаммад Хавелех, араб тілінің басқа тілдерден айырмашылығы, араб тілінде объект айтылымы сөйлемдегі субъект пен етістікке байланысты екенін атап өтті. Команданың мақсаты барлық диалектілерді түсінетін және стандартты араб тілінде жауап беретін модель жасау болды.

Text – To-Speech (TTS) – бұл Galaxy AI-дың Live Translate функциясының құрамдас бөлігі, ол пайдаланушыларға ауызша сөйлеуді аудару және оны жазбаша мәтінге айналдыру, содан кейін оны вокалды түрде естірту арқылы әр түрлі тілде сөйлейтіндермен өзара әрекеттесуге мүмкіндік береді. TTS командасы араб тілінің ерекшеліктерінен туындаған ерекше мәселеге тап болды.

Араб тілінде қолданылатын дәйекші таңбалар кейбір контексттерде, мысалы, діни мәтіндерде, поэзияда және тіл үйренуге арналған кітаптарда сөздерді айтуға нұсқаулық ретінде қызмет етеді. Олар ана тілінде сөйлейтіндер арасында кең таралған, бірақ күнделікті жазуда жоқ. Бұл бастапқы мәтінді фонемаларға- сөйлеу құрылатын негізгі дыбыстық бірліктерге айналдыруды қиындатады.

Хавелехтің айтуы бойынша, дәйекші таңбаларды дұрыс қолдану үшін сапалы және сенімді деректер жиынтығы жетіспейді, Команда жетіспейтін дәйекші таңбаны жоғары дәлдікпен алдын ала болжай және қалпына келтіре алатын нейрондық модель жасауы керек еді.

Нейрондық модельдер адам миына ұқсас жұмыс істейді. Дәйекші таңбаларды болжау үшін модель көптеген араб мәтіндерін зерттеп, тіл ережелерін үйреніп, сөздердің әртүрлі контексте қалай қолданылатынын түсінуі керек. Мысалы, сөздің айтылуы сипатталған әрекетке немесе тегіне байланысты әр түрлі болуы мүмкін. Команданың қарқынды оқуы араб TTS моделінің дәлдігін жақсартуға ықпал етті.

Жақсартылған түсіну

SRJO командасы сонымен қатар бірегей дыбыстарды, сөздерді және сөз тіркестерін белгілеу арқылы мағынасын ашуды қажет ететін әртүрлі көздерден диалектілердің аудио жазбаларын жинауға мәжбүр болды. «Олардың өзгешеліктері мен ерекшеліктерін жақсы білетін диалект спикерлерінің тобы жиналды», – дейді оның командасы мәліметтер базасын құруға жауапты болған Айя Хасан (Ayah Hasan), «Жазбаларды тыңдай отырып, олар айтылған сөздерді мәтінге қолмен түрлендірді».

Осылайша, Galaxy AI әр түрлі араб диалектілерін ажырата алатындай,  сөйлеуді автоматты түрде тану процесін (automatic Speech Recognition) жетілдіру бойынша өте маңызды жұмыс жүргізілді. ASR нақты уақыт режимінде түсіну және жауап қайтару үшін Galaxy AI мүмкіндіктерін қамтамасыз етуде шешуші рөл атқарады. «Бір модельде бірнеше диалектілерді қолдайтын ASR жүйесін құру қиын», – дейді ASR жобасының жетекшісі Мұхаммед Хамдан (Mohammad Hamdan). «Бұл тілдің қыр-сырын терең түсінуді, деректерді мұқият таңдауды және модельдеудің озық әдістерін қажет етеді».

Жаңартпаның шарықтауы

Бірнеше айлық жоспарлау, дайындау және тестілеуден кейін команда араб тілін Galaxy AI үшін тілдік опция ретінде шығаруға дайын болды, ол едәуір көп адамның шексіз араласуына мүмкіндік берді. Олардың арқасында Galaxy AI-дың сервистері араб тілін білетіндер үшін қолжетімді болғандықтан, бұл – бүкіл әлемдегі адамдар арасындағы тілдік және мәдени кедергілерді азайтты. Сонымен қатар, олар жасаған жаңа озық тәжірибелерді бүкіл әлемге таратуға болады. Команда мұнымен тоқтап қалмайды, олар өз модельдерін жетілдіруді және Galaxy AI тілдік мүмкіндіктерінің сапасын арттыруды жалғастыруда.

Келесі жолы біз тілдік деректердің қалай жетілдіріліп жатқанын білу үшін Вьетнамға аттанамыз. Сондай-ақ ЖИ тиімді үлгісін оқу үшін не қажет?

Араб тілі – Galaxy AI қолдайтын және «Баптаулар» қосымшасында жүктеп алуға қол жетімді көптеген тіл мен диалектінің бірі. LIVE Translator және Interpreter сияқты Galaxy AI тілдік мүмкіндіктері Samsung² компаниясының One UI 6.1 жаңартуымен Galaxy құрылғыларында бар.

¹ ЮНЕСКО, ЮНЕСКО, Дүниежүзілік араб тілі күні 2023, https://www.unesco.org/en/world-arabic-language-day
² One UI 6.1 алдымен Galaxy S24 сериялы құрылғыларында шығарылды, содан кейін басқа Galaxy құрылғыларына шығарылды, соның ішінде S23 сериялары, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 және Tab S8.

Samsung жасанды интеллектпен бірге бірінші дәрежелі мобильдік құрылғыларды жасап шығаруды жалғастырып жатқан уақытта, біз Samsung-тың барлық әлем бойынша зерттеу орталықтарына Galaxy AI тұтынушылардың көптеген бөлігіне өзінің қабылетін кеңінен ашуға мүмкіндік беріп жатқанын білу үшін барамыз. Galaxy AI -да енді 16 тіл қолданыста, сондықтан енді бұрынғыға қарағанда көп адам өзінің тілдік мүмкіндіктерінің аясын құрылғыдағы Live Translate, Interpreter, Note Assist және Browsing Assist секілді функциялардың арқасында аударманы автономды тәртіпте кеңейте алады. Бірақ ЖИ тілін дайындауға тағы не кіреді? Бұл серияда біз мобильді ЖИ жұмыс істеуіндегі қиындықтарды және оларды шешу әдістерін қарастыратын боламыз. Алдымен біз ЖИ жаңа тілге оқыту неден басталатынын білу үшін Индонезияға аттанамыз.

Samsung R&D Institute Indonesia (SRIN) командасының пікірі бойынша, алғашқы қадам-мақсаттарды айқындау. «Өте жақсы ЖИ сапалы және орынды мәліметтерден басталады. Әр тіл өзінің жеке өңдеуін талап етеді, сондықтан біз тілдік ортаға біздің елдің тілдік қажеттіліктерін және бірегей шарттарын  түсіну үшін тереңінен енеміз», – Джунайдилла Фадлил (Junaidillah Fadlil), SRIN ЖИ бөлімінің басшысы, оның командасы жақында Galaxy AI -ға индонезия тілін қолдауды қосты. «Жергілікті тілдерді дамыту түйсік және ғылымның басшылығмен орын алуы тиіс, сол себепті Galaxy AI-ға тілдерді қосудың әр процесі, қандай ақпарат бізге керек және қайсысын біз заңды және этикалық жолмен ала аламыз деген жоспарлаудан басталады».

Galaxy AI -дың Live Translate секілді функциялары, негізгі үш процесті: сөйлеуді автоматты тануды (ASR), нейромашиналық аударманы (NMT) және мәтінді сөйлеуге түрлендіруді (TTS) орындайды. Әр процесс ақпаратты бөлек теруді талап етеді.

ASR, мысалы, олардың әрқайсысы мәтіннің нақты транскрипциясымен жүретін әртүрлі жағдайлардағы сөйлеудің кең жазбаларын талап етеді. Фондық шу деңгейін вариациялау қоршаған ортаның әртүрлі жағдайларын ескеруге мүмкіндік береді. «Жазбаларға шуларды қоса салу жеткіліксіз», – деп түсіндіреді  ASR тобының басшысы Мучлисин Ади Сапутра (Muchlisin Adi Saputra). «Авторландырылған бөгде тараптардан біз алатын тілдік мәліметтерге қосымша, бізге өз дауыстарымызды жазу үшін кофеханалар және жұмыс орындарына шығуға тура келеді. Бұл бізге мысалы, адамдардың дауыстары немесе пернетақтаның тарсылы секілді, нақты өмірдегі бірегей дыбыстарды дәлме-дәл жеткізуге мүмкіндік береді».

Сонымен бірге тілдердің үнемі өзгеріп отыратын табиғатын ескеру қажет. Сапутра: «Біз жаңа сленг және оның қалай қолданылатындығы туралы хабардар болуымыз керек, және біз оны көбінесе әлеуметтік желілерден табамыз!»,- деп қосып қойды.

Бұдан әрі NMT аудармаға оқыту үшін мәліметтер керек болады. «Индонезия тіліне аудару- күрделі тапсырма», дейді NMT тобының басшысы Мухамад Файсал (Muhamad Faisal). «Ол әлеуметтік және жағдаяттық еске түсірулерге сүйене отырып, контекстік және айқын емес мағыналарды кең қолданады, сол себепті бізге оларда ЖИ жаңа, шет тілдерін, меншіктік зат есімдерін және идиомаларды- ЖИ мән мәтінді және тілдесу тәртібін түсінуге көмектесетін, кез-келген ақпаратты  іздей алатын көптеген аударылған мәтіндер қажет».

TTS үшін сөздердің бөліктері әртүрлі жағдайларда естілетіндігі туралы қосалқы мән мәтінмен,  дауыстар және үндер диапазонын қамтитын жазбалар талап етіледі. «Дауыстың жақсы жазбасы жұмыстың жарты бөлігін жасай алады және ЖИ үлгісі үшін барлық қажетті фонемаларды (сөз сөйлеудегі дыбыс бірлігі) жаба алады», – TTS  тобының басшысы Харитс Абдуррохман (Harits Abdurrohman). «Егер дыбыстау актері алдыңғы кезеңдегі өз жұмысын жақсы орындаған болса, нақты сөздердің анық айтылуы үшін ЖИ үлгісін жетілдіруге назар аударылады».

Бірге күштірек

Мәліметтердің үлкен көлемін жоспарлау үшін орасан зор ресурстар талап етіледі, сондықтан SRIN лингвистика саласындағы сарапшылармен тығыз жұмыс істеп келеді. «Бұл мәселе шығармашылық тәсілдемені, өнертапқыштықты және индонезия тілі саласында да және сондай-ақ машиналық оқыту саласында да білімді талап етеді», –деп ойлайды Фадлил. «Samsung-тың ашық серіктестік философиясы, және біздің қызметтің ауқымы және ЖИ даму тарихы секілді қойылған мақсатқа жетуде үлкен рөл атқарды».

Бар әлем бойынша Samsung компаниясының басқа зерттеу орталықтарымен жұмыс істей отыра, SRIN командасы үздік тәжірибені жылдам үйрене алды және мақсатты мәліметтерді жасаумен байланысты қиыншылықарды жеңе алды. Одан бөлек, серіктестік технологияның ғана емес және мәдениеттің дамуына жағдай жасады. SRIN командасы Бангалор, Үндістандағы өздерінің әріптестеріне қосылған кезде, тереңірек байланыстарды жасай отыра және өздерінің әртүрлі мәдениеттер туралы түсінігін кеңейте отыра, олар жергілікті ғибадаттық салттарды бақылады.

Команда үшін Galaxy AI тілін кеңейту бойынша жоба жаңа мағынаға ие болды. «Бұл біздің ЖИ саласындағы алғашқы жобамыз болғандықтан, біз өзіміздің жетістіктерімізді ерекше мақтан етеміз, және біз өзіміздің үлгілерді жетілдіруді және нәтижелердің сапаларын жақсартуды жалғастыратын болғандықтан, бұл соңғы болып қалмайды», – деп Фадлил қорытындылады. «Бұл кеңейту біздің ашықтық құндылықтарымызды көрсетіп қана қоймай, сонымен бірге тіл арқылы біздің мәдениеттік өзіндік ерекшелігімізді құрметтейді және ескереді».

The Learning Curve бағдарламасының келесі шығарылымында біз араб тілін зерттеу бойынша Galaxy AI жобасын басқаратын командамен әңгімелесу үшін Иорданиядағы Samsung-тың ғылыми-зерттеу институтына аттанамыз. Әртүрлі диалектерден тұратын тіл үшін ЖИ үлгісін жасау және үйретудің қиындылықтары туралы білетін боламыз.