Oʻrganish sikli, 2-qism: AI’ga turli xil dialektlarni qanday oʻrgatish mumkin?

Serqirra arab tili uchun AI vositalarini yaratish murakkabligi haqida Oʻrta Sharq tilidan soʻzlangan ertaklar

Galaxy AI endi 16 ta tilni qoʻllab-quvvatlaydi, bu yanada koʻproq odamlarga jonli ravishda va qurilma ichida internetsiz tarjima qilish orqali til toʻsiqlarini kamaytirishga yordam beradi. Samsung mobil AI davri eshigini ochdi, shu boisdan biz Galaxy AI qanday paydo boʻlganligi va sunʼiy intellektni rivojlantirishdagi toʻsiqlarni yengishda nima zarurligini bilish uchun butun dunyo boʻylab Samsung tadqiqot markazlariga tashrif buyurmoqdamiz. Mazkur maqolalar toʻplamining birinchi sonida qanday maʼlumotlar kerakligini aniqlash vazifasi haqida soʻz ketgan edi, bu sonida esa dialektlarni hisobga olish kabi murakkab vazifani koʻrib chiqamiz.

Odam tilini sunʼiy intellekt modeliga oʻrgatish murakkab jarayon, ammo bu umumlashgan til emas, balki turli dialektlar toʻplamidan tashkil topgan til boʻlsa-chi? Samsung Iordaniya ilmiy-tadqiqot instituti (SRJO) jamoasi shu muammoga duch keldi. Jonli Tarjima (Live Translate) kabi Galaxy AI funksiyalari uchun arab tili qoʻshilgan boʻlsa-da, jamoa Oʻrta Sharq va Shimoliy Afrikani qamrab oluvchi, har biri talaffuz, lugʻat va grammatika jihatdan bir-biridan farq qiladigan arab dialektlarini hisobga olishi kerak edi.

Arab tili dunyodagi eng keng tarqalgan oltita tildan biri boʻlib, har kuni 400 million kishi bu tilda gaplashadi.[1] Bu til ikkita shaklga boʻlingan: Fusʼha (zamonaviy standartlashgan arab tili) va Ammiya (arabcha dialektlar). Fusʼha odatda ommaviy va rasmiy tadbirlarda, shuningdek, yangiliklarda ishlatiladi, Ammiya esa koʻproq kundalik suhbatlarda ishlatiladi. 20 dan ortiq mamlakatlar arab tilidan foydalanadi va hozirda mintaqada 30 ga yaqin dialekt mavjud.

Yozilmagan qoidalar

Ushbu dialektlar tufayli tilning oʻzgaruvchanligi muqarrarligini anglagan holda, SRJO jamoasi har bir dialektga xos boʻlgan noyob lingvistik xususiyatlarni aniqlash va maʼlumotlarni qayta ishlash uchun bir qator usullardan foydalandi. Ushbu yondashuv Galaxy AI mintaqaviy nyuanslarni toʻgʻri aks ettiradigan tarzda tilni tushunishi va javob yaratishini taʼminlashda juda muhim edi.

“Boshqa tillardan farqli oʻlaroq, toʻldiruvchining arab tilidagi talaffuzi gapdagi ega va feʼlga qarab oʻzgaradi, — deydi arab tilini rivojlantirish guruhi loyiha rahbari Muhammad Hamdan. — Bizning maqsadimiz — barcha dialektlarni tushunadigan va standart arab tilida javob beradigan modelni ishlab chiqishdir”.

TTS funksiyasi Galaxy AI Jonli Tarjima (Live Translate) funksiyasining tarkibiy qismi boʻlib, u foydalanuvchilarga ogʻzaki nutqni yozma matnga oʻgirib tarjima qilish va uni ovoz chiqarib oʻqitish orqali turli til sohiblari oʻrtasida muloqotni yoʻlga qoʻyish imkonini beradi. TTS jamoasi arab tili bilan ishlashdagi oʻzgacha ish tartibi tufayli oʻziga xos muammolarga duch keldi.

Arab tilida baʼzi kontekstlarda diniy matnlar, sheʼrlar va til oʻrganuvchilar uchun kitoblarda soʻzlarni talaffuz qilishda diakritiklardan foydalaniladi. Diakritika til sohiblari tomonidan keng tushuniladi, ammo kundalik yozuvlarda uchramaydi. Bu esa model uchun birlamchi matnni fonemalarga — nutqning quruvchi bloklari boʻlgan asosiy tovush birliklariga aylantirishni qiyinlashtiradi.

“Diakritika toʻgʻri qoʻllanilishini aniq koʻrsatadigan yuqori sifatli va ishonchli maʼlumotlar toʻplamining yetishmasligi muammoga aylanmoqda”, deydi Xavile. “Biz ushbu qolib ketgan diakritiklarni yuqori aniqlik bilan taxmin qila oladigan va tiklay oladigan neyron modelni ishlab chiqishimiz kerak edi”.

Neyron modellari inson miyasiga oʻxshaydi. Diakritikani taxmin qilish uchun model koʻplab arab matnlarini, til qoidalarini oʻrganishi va soʻzlarning turli kontekstlarda qanday ishlatilishini tushunishi kerak. Misol uchun, soʻzning talaffuzi soʻz tasvirlaydigan harakat yoki jinsga qarab keskin farq qilishi mumkin. Jamoaning keng qamrovli mashgʻulotlari arab TTS modelining aniqligini oshirishning kalit qismiga aylandi.

Chuqurroq tushunchaga erishish

Shuningdek, SRJO jamoasi turli manbalardan dialektlarning turli xil audio yozuvlarini transkripsiya qilish uchun toʻplashi kerak edi. Ayniqsa, noyob tovushlar, soʻzlar va iboralar muhim materiallar hisoblangandi. “Biz nyuanslar va dialektdagi farqlarni yaxshi biladigan til sohiblari guruhini yigʻdik”, deydi maʼlumotlar bazasini yaratish uchun masʼul boʻlgan Ayah Hasan. “Ular yozib olingan ovozlarni tinglashdi va eshitgan soʻzlarini qoʻlda matnga koʻchirishdi”.

Bu ish Galaxy AI uchun chuqur adabiy merosga boy arab dialektlarida avtomatik nutqni aniqlash (ASR) jarayonini yaxshilashda juda muhim edi. ASR Galaxy AI’ning jonli ravishda nutqni tushunish va javob berish imkoniyatlari uchun kalit qism hisoblanadi.

“Yagona modelda bir nechta dialektlarni qoʻllab-quvvatlaydigan ASR tizimini yaratish murakkab vazifadir”, deydi loyiha rahbari Mohammad Hamdan. “Bu tilning nozik jihatlarini, diqqat bilan maʼlumotlarni tanlash va ilgʻor modellashtirish usullarini bilishni talab qiladi”.

Innovatsiyaning kulminatsion nuqtasi

Bir necha oy davomida rejalashtirish, tuzish va sinovdan oʻtkazish ishlaridan soʻng jamoa nihoyat arab tilini Galaxy AI uchun til varianti sifatida chiqarishga muvofiq boʻldi. Bu koʻplab odamlarga chegaralarni oshib oʻtib, odamlar bilan muloqot qilish imkonini beradi. Bu birgina jamoa butun arab dunyosidagi odamlar uchun Galaxy AI xizmatlarini ochiq qilib, odamlar oʻrtasidagi til va madaniy toʻsiqlarni kamaytiradi. Xizmat global miqyosda tatbiq etilishi sabab jamoa eng yangi va eng yaxshi amaliyotlardan foydalanishdilar. Bu muvaffaqiyat faqat boshlanishi: jamoa oʻz modellarini takomillashtirishda va Galaxy AI til imkoniyatlari sifatini oshirishda toʻxtashgani yoʻq.

Maqolaning keyingi sonida biz til maʼlumotlarini qanday yaxshilashini kuzatish uchun Vyetnamga yoʻl olamiz. Shu oʻrinda yana bir savol: samarali AI modelini oʻrgatish uchun nima kerak?

Arab tili Galaxy AI tomonidan qoʻllab-quvvatlanadigan yangi tillar va dialektlar orasidan joy olgan bir tildir va uni sozlamalardan yuklab olish mumkin. Galaxy AI’ning Jonli Tarjima (Live Translate) va Og’zaki Tarjimа (Interpreter) kabi til funksiyalari Samsung One UI 6.1 ga ega Galaxy qurilmalarida mavjud.[2]

[1] YUNESKO, 2023-yilgi Jahon arab tili kuni, https://www.unesco.org/en/world-arabic-language-day

[2] One UI 6.1 ilk bor Galaxy S24 modellari uchun chiqarildi va boshqa Galaxy qurilmalariga tarqatildi. Jumladan S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 va Tab S8 modellari uchun.