Samsung premium mobil AI sohasining kashfiyotchisidir. Galaxy AI foydalanuvchilar salohiyatini qanday oshirayotganini bilish uchun biz butun dunyo boʻylab Samsung tadqiqot markazlariga tashrif buyurmoqdamiz. Hozirda 16 ta tilni qoʻllab-quvvatlaydigan Galaxy AI Live Translate Jonli Tarjima), Interpreter (Og’zaki Tarjima), Note Assist (Eslatma Yordami) va Browsing Assist (Ko’rib chiqish yordami) kabi funksiyalarning qurilma ichida tarjima qilish imkoni tufayli koʻplab odamlar hatto oflayn rejimda ham til toʻsiqlarini yengib oʻtmoqda. Biz yaqinda Iordaniyaga tashrif buyurib, koʻplab dialektlarga ega boʻlgan arab tili uchun sunʼiy intellekt modelini ishlab chiqish qanchalik murakkab ekanligini tushundik. Bu safar biz AI modellarini oʻqitishda foydalaniladigan maʼlumotlar qanday tayyorlanishini oʻrganish uchun Vyetnamga yoʻl olamiz.

Vyetnam tilida arvoh, qabr va ona soʻzlari oʻrtasida qanchalik farq bor? Dunyo boʻylab 97 million kishi foydalanadigan til sifatida deyarli hech qancha. Har bir soʻz mos ravishda “ma”, “mả” va “má” deb yoziladi va faqat ohanglar bilan farqlanishi mumkin. Bu esa sunʼiy intellekt modellari uchun til oʻrganish qanchalik qiyin ekanligini koʻrsatadi, chunki ular suhbatlardagi kontekst, his-tuygʻular va niyatlarni bevosita aniqlay olmaydi.

Samsung R&D Institute Vietnam (SRV) oʻzining sunʼiy intellekt modeliga tildagi eng nozik farqlarni ham toʻgʻri aniqlay olishi uchun uchun puxta qayta ishlangan maʼlumotlardan foydalangan.

Ishlatiladigan maʼlumotlar sifati nutqni avtomatik aniqlash (ASR), neyron mashina tarjimasi (NMT) va matndan nutqqa oʻgirish (TTS) funksiyalari aniqligiga bevosita taʼsir qiladi. Oʻz oʻrnida bular til toʻsiqlarini yengishga yordam beruvchi Live Translate, Interpreter, Chat Assist va Browsing kabi Galaxy AI funksiyalarning tashkiliy qismlaridir.

Toʻfondek qiyinchiliklarni yengib

“Vyetnam tili murakkab va serqirra til boʻlib, u turli ifodalarga boydir. Ularning koʻpini ilgʻay olish qiyin”, deydi Ngô Hồng Thái, SRV’dagi NMT rahbari. Galaxy AI qoʻllab-quvvatlaydigan 16 ta tildan Vyetnam tilini ishlab chiqish eng qiyini edi.

“Shaxsan, Vyetnamliklar uchun sunʼiy intellekt modelini yaratish mamlakatimizdagi tayfunlardan-da tahlikali edi!”, deya yaratish jarayonida duch kelgan toʻsiqlarni tushuntirishdan oldin qoʻshimcha qilib.

Vyetnam tili — olti xil ohangga ega tonal tildir. Yuqoridagi “ma” misolida koʻrinib turganidek, vokalizatsiyadagi kichik nyuanslar soʻzlarning maʼnosini keskin oʻzgartirib yuborishi mumkin. Shuning uchun bunga ehtiyotkorlik va puxta yondashuv zarur edi.

“Oʻxshash tovushli soʻzlar boʻlaklarga boʻlinganda, bir soʻz bir nechta qisqa boʻlaklardan yoki ‘freymlar toʻplamidan’ iborat boʻladi”, deydi SRV’dagi ASR rahbari Bui Ngoc Tung. “AI modeli maʼlum bir ketma-ket freymlar toʻplamiga qaysi soʻzlar mos kelishini aniqlash uchun taxminan 20 millisekundlik qisqa audio boʻlaklarni farqlaydi. Shu sababli sunʼiy intellektni oʻrgatish jarayonining dastlabki bosqichlarida katta kuch sarflash juda muhim”.

Bundan tashqari, omofonlar va omonimlar vyetnam tilida keng tarqalgan. Odamlar odatda bir xil tovushli yoki yozilishi bir xil, ammo turli maʼnoga ega boʻlgan soʻzlarni farqlash uchun suhbatlarda kontekst va noverbal elementlarga tayanishi mumkin. Biroq AI modellariga ohanglar va shunga oʻxshash soʻzlarni yuqori aniqlik bilan tanish va farqlashni oʻrgatish kerak.

“Bu oddiy vazifa emas”, deb tushuntiradi Thái. “Maʼlumot miqdoridan tashqari, vyetnam tilida mavjud boʻlgan lingvistik nyuanslarni farqlay olishi uchun maʼlumot aniq va sifatli ham boʻlishi kerak”.

Qattiq tayyorgarlik

Maʼlumotlarni qayta ishlash jarayoni uch bosqichdan iborat. Avvalo AI modelini oʻrgatish uchun ishlatiladigan audio va matnni koʻrib chiqish va tuzatish kerak. Soʻng ushbu maʼlumotlar toʻplami umumiy sifat tekshiruvi uchun turli xil testlardan oʻtadi. Nihoyat maʼlumotlar toʻplamini oʻrgatishda foydalanishdan oldin u normallashtiriladi va tozalanadi.

“Biz maʼlumotlar toʻplamining qanchalik aniqligini tekshirish uchun uni bir qator sinovlardan oʻtkazdik”, deydi maʼlumotlar omborini yaratishni nazorat qiluvchi SRV’dagi TTS rahbari Nguyen Manh Duy. “Biz bir qator kutilmagan muammolarga duch keldik. Jumladan, skriptdagi imloviy xato yozilgan soʻzlar, fon shovqini yoki audio yozuvlar paytidagi notoʻgʻri talaffuzlar. Biz oʻquv maʼlumotlarimizni toʻgʻrilab chiqish va takomillashtirishga koʻp vaqt sarfladik”.

Vyetnam tilidagi noyob lingvistik masalalarga qoʻshimcha sifatida, keng tarqalgan tillarga qaraganda unda foydalanish uchun ochiq universal manbalarning yetishmasligi toʻsiq boʻlib turardi. “Mana nega maʼlumotlarni toʻgʻrilab chiqish bosqichi juda muhim hisoblanadi”, deya qoʻshimcha qiladi u. “Bizda manbalar cheklanganligi tufayli har bir maʼlumot toʻliq ishonchli boʻlishi kerak edi. Xato qilishga haqqimiz yoʻq edi”.

Bundan tashqari, vyetnam tili uchun AI modeli ham tonal, ham mintaqaviy farqlarni hisobga olishi kerak. AI modelining aniqligini oshirish uchun jamoa tilning shimoliy, markaziy va janubiy aksentlari bilan katta hajmdagi maʼlumotlarni toʻpladi. Natijada tekshirib, toʻgʻrilab chiqish kerak boʻlgan maʼlumotlar hajmi o‘ta ulkan bo‘lib ketdi.

Uzluksiz takomillashtirish

SRV ishlab chiquvchilari bir necha oylik mashaqqatli mehnatdan soʻng loyihani yakunladilar va vyetnam tili Galaxy AI tomonidan dastlab qoʻllab-quvvatlanadigan tillardan biriga aylandi. Ushbu muvaffaqiyatga qaramay, jamoa Galaxy AI’dagi vyetnam tilini takomillashtirish ustida tinimsiz ishlamoqda.

“Biz foydalanuvchilarning Galaxy AI’dagi soʻz va iboralarning qanchalik toʻgʻri ekanligi haqidagi fikr-mulohazalarini hisobga olgan holda sunʼiy intellekt modelini takomillashtirishda davom etmoqdamiz”, deydi SRV’dagi AI tilini rivojlantirish loyihasi rahbari Tran Tuan Minh. “Biz bu yangi AI dunyosiga endigina birinchi qadamni tashladik va birgalikda bu dunyoni oʻrganish chogʻida koʻplab yangi ilmlarni kashf etishga ishonchimiz komil”.

“Oʻrganish sikli” toʻplamining navbatdagi sonida biz AI modellari qanday oʻqitilishi va sozlanishi bilan tanishish uchun Xitoyga tashrif buyuramiz.

Galaxy AI endi 16 ta tilni qoʻllab-quvvatlaydi, bu yanada koʻproq odamlarga jonli ravishda va qurilma ichida internetsiz tarjima qilish orqali til toʻsiqlarini kamaytirishga yordam beradi. Samsung mobil AI davri eshigini ochdi, shu boisdan biz Galaxy AI qanday paydo boʻlganligi va sunʼiy intellektni rivojlantirishdagi toʻsiqlarni yengishda nima zarurligini bilish uchun butun dunyo boʻylab Samsung tadqiqot markazlariga tashrif buyurmoqdamiz. Mazkur maqolalar toʻplamining birinchi sonida qanday maʼlumotlar kerakligini aniqlash vazifasi haqida soʻz ketgan edi, bu sonida esa dialektlarni hisobga olish kabi murakkab vazifani koʻrib chiqamiz.

Odam tilini sunʼiy intellekt modeliga oʻrgatish murakkab jarayon, ammo bu umumlashgan til emas, balki turli dialektlar toʻplamidan tashkil topgan til boʻlsa-chi? Samsung Iordaniya ilmiy-tadqiqot instituti (SRJO) jamoasi shu muammoga duch keldi. Jonli Tarjima (Live Translate) kabi Galaxy AI funksiyalari uchun arab tili qoʻshilgan boʻlsa-da, jamoa Oʻrta Sharq va Shimoliy Afrikani qamrab oluvchi, har biri talaffuz, lugʻat va grammatika jihatdan bir-biridan farq qiladigan arab dialektlarini hisobga olishi kerak edi.

Arab tili dunyodagi eng keng tarqalgan oltita tildan biri boʻlib, har kuni 400 million kishi bu tilda gaplashadi.[1] Bu til ikkita shaklga boʻlingan: Fusʼha (zamonaviy standartlashgan arab tili) va Ammiya (arabcha dialektlar). Fusʼha odatda ommaviy va rasmiy tadbirlarda, shuningdek, yangiliklarda ishlatiladi, Ammiya esa koʻproq kundalik suhbatlarda ishlatiladi. 20 dan ortiq mamlakatlar arab tilidan foydalanadi va hozirda mintaqada 30 ga yaqin dialekt mavjud.

Yozilmagan qoidalar

Ushbu dialektlar tufayli tilning oʻzgaruvchanligi muqarrarligini anglagan holda, SRJO jamoasi har bir dialektga xos boʻlgan noyob lingvistik xususiyatlarni aniqlash va maʼlumotlarni qayta ishlash uchun bir qator usullardan foydalandi. Ushbu yondashuv Galaxy AI mintaqaviy nyuanslarni toʻgʻri aks ettiradigan tarzda tilni tushunishi va javob yaratishini taʼminlashda juda muhim edi.

“Boshqa tillardan farqli oʻlaroq, toʻldiruvchining arab tilidagi talaffuzi gapdagi ega va feʼlga qarab oʻzgaradi, — deydi arab tilini rivojlantirish guruhi loyiha rahbari Muhammad Hamdan. — Bizning maqsadimiz — barcha dialektlarni tushunadigan va standart arab tilida javob beradigan modelni ishlab chiqishdir”.

TTS funksiyasi Galaxy AI Jonli Tarjima (Live Translate) funksiyasining tarkibiy qismi boʻlib, u foydalanuvchilarga ogʻzaki nutqni yozma matnga oʻgirib tarjima qilish va uni ovoz chiqarib oʻqitish orqali turli til sohiblari oʻrtasida muloqotni yoʻlga qoʻyish imkonini beradi. TTS jamoasi arab tili bilan ishlashdagi oʻzgacha ish tartibi tufayli oʻziga xos muammolarga duch keldi.

Arab tilida baʼzi kontekstlarda diniy matnlar, sheʼrlar va til oʻrganuvchilar uchun kitoblarda soʻzlarni talaffuz qilishda diakritiklardan foydalaniladi. Diakritika til sohiblari tomonidan keng tushuniladi, ammo kundalik yozuvlarda uchramaydi. Bu esa model uchun birlamchi matnni fonemalarga — nutqning quruvchi bloklari boʻlgan asosiy tovush birliklariga aylantirishni qiyinlashtiradi.

“Diakritika toʻgʻri qoʻllanilishini aniq koʻrsatadigan yuqori sifatli va ishonchli maʼlumotlar toʻplamining yetishmasligi muammoga aylanmoqda”, deydi Xavile. “Biz ushbu qolib ketgan diakritiklarni yuqori aniqlik bilan taxmin qila oladigan va tiklay oladigan neyron modelni ishlab chiqishimiz kerak edi”.

Neyron modellari inson miyasiga oʻxshaydi. Diakritikani taxmin qilish uchun model koʻplab arab matnlarini, til qoidalarini oʻrganishi va soʻzlarning turli kontekstlarda qanday ishlatilishini tushunishi kerak. Misol uchun, soʻzning talaffuzi soʻz tasvirlaydigan harakat yoki jinsga qarab keskin farq qilishi mumkin. Jamoaning keng qamrovli mashgʻulotlari arab TTS modelining aniqligini oshirishning kalit qismiga aylandi.

Chuqurroq tushunchaga erishish

Shuningdek, SRJO jamoasi turli manbalardan dialektlarning turli xil audio yozuvlarini transkripsiya qilish uchun toʻplashi kerak edi. Ayniqsa, noyob tovushlar, soʻzlar va iboralar muhim materiallar hisoblangandi. “Biz nyuanslar va dialektdagi farqlarni yaxshi biladigan til sohiblari guruhini yigʻdik”, deydi maʼlumotlar bazasini yaratish uchun masʼul boʻlgan Ayah Hasan. “Ular yozib olingan ovozlarni tinglashdi va eshitgan soʻzlarini qoʻlda matnga koʻchirishdi”.

Bu ish Galaxy AI uchun chuqur adabiy merosga boy arab dialektlarida avtomatik nutqni aniqlash (ASR) jarayonini yaxshilashda juda muhim edi. ASR Galaxy AI’ning jonli ravishda nutqni tushunish va javob berish imkoniyatlari uchun kalit qism hisoblanadi.

“Yagona modelda bir nechta dialektlarni qoʻllab-quvvatlaydigan ASR tizimini yaratish murakkab vazifadir”, deydi loyiha rahbari Mohammad Hamdan. “Bu tilning nozik jihatlarini, diqqat bilan maʼlumotlarni tanlash va ilgʻor modellashtirish usullarini bilishni talab qiladi”.

Innovatsiyaning kulminatsion nuqtasi

Bir necha oy davomida rejalashtirish, tuzish va sinovdan oʻtkazish ishlaridan soʻng jamoa nihoyat arab tilini Galaxy AI uchun til varianti sifatida chiqarishga muvofiq boʻldi. Bu koʻplab odamlarga chegaralarni oshib oʻtib, odamlar bilan muloqot qilish imkonini beradi. Bu birgina jamoa butun arab dunyosidagi odamlar uchun Galaxy AI xizmatlarini ochiq qilib, odamlar oʻrtasidagi til va madaniy toʻsiqlarni kamaytiradi. Xizmat global miqyosda tatbiq etilishi sabab jamoa eng yangi va eng yaxshi amaliyotlardan foydalanishdilar. Bu muvaffaqiyat faqat boshlanishi: jamoa oʻz modellarini takomillashtirishda va Galaxy AI til imkoniyatlari sifatini oshirishda toʻxtashgani yoʻq.

Maqolaning keyingi sonida biz til maʼlumotlarini qanday yaxshilashini kuzatish uchun Vyetnamga yoʻl olamiz. Shu oʻrinda yana bir savol: samarali AI modelini oʻrgatish uchun nima kerak?

Arab tili Galaxy AI tomonidan qoʻllab-quvvatlanadigan yangi tillar va dialektlar orasidan joy olgan bir tildir va uni sozlamalardan yuklab olish mumkin. Galaxy AI’ning Jonli Tarjima (Live Translate) va Og’zaki Tarjimа (Interpreter) kabi til funksiyalari Samsung One UI 6.1 ga ega Galaxy qurilmalarida mavjud.[2]

[1] YUNESKO, 2023-yilgi Jahon arab tili kuni, https://www.unesco.org/en/world-arabic-language-day

[2] One UI 6.1 ilk bor Galaxy S24 modellari uchun chiqarildi va boshqa Galaxy qurilmalariga tarqatildi. Jumladan S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 va Tab S8 modellari uchun.

Samsung yuqori darajadagi mobil AI tajribasini yaratishda davom etar ekan, biz Galaxy AI yanada koʻproq foydalanuvchilarga oʻz imkoniyatlarini maksimal darajada oshirish imkonini berayotganini bilish uchun butun dunyo boʻylab Samsung tadqiqot markazlariga tashrif buyurdik. Galaxy AI endi 16 ta tilni qoʻllab-quvvatlaydi, bu esa Live Translate (Jonli Tarjima), Interpreter (Og’zaki Tarjima), Note Assist (Eslatma Yordami) va Browsing Assist (Ko’rib chiqish yordami) kabi funksiyalarning qurilma ichidagina amal qilish imkoniyati tufayli hatto oflayn holatda ham til imkoniyatlarini kengaytira oladi. Ammo AI tilni oʻzi qanday oʻrganadi? Ushbu maqolalar toʻplami mobil AI bilan ishlashdagi qiyinchiliklarni va ularni qanday yengib oʻtganimizni yoritadi. Avvalo AI’ga yangi tilni oʻrgatish qaysi bosqichdan boshlanishini oʻrganish uchun biz Indoneziyaga tashrif buyurdik.

Samsung Indoneziya tadqiqot va texnologik ishlanmalar instituti (SRIN) guruhi aytishicha, birinchi qadam maqsadlarni belgilashdir. “Zoʻr sunʼiy intellektni yaratish sifatli va mavzuga oid maʼlumotlarni yigʻishdan boshlanadi. Har bir til maʼlumotlarni qayta ishlashning oʻzgacha usulini talab qiladi, shuning uchun biz til ehtiyojlari va mamlakatimizning oʻziga xos sharoitlarini tushunish uchun ishga har tomonlama kirishdik”, deydi yaqinda Bahasa Indoneziyani (Indoneziya tili) Galaxy AI’ga qoʻshgan SRIN AI rahbari Junaidilla Fadlil. “Mahalliy tilni rivojlantirish insaytlar va ilm-fan tomonidan boshqarilishi kerak, shuning uchun Galaxy AI’ga tillarni qoʻshishning har bir jarayoni kerakli maʼlumotlarni yigʻishdan boshlanadi. Bu qonuniy va axloqiy jihatdan yigʻishga ruxsat berilgan maʼlumot boʻlishi ham kerakdir.”

Live Translate kabi Galaxy AI funksiyalari uchta asosiy jarayonni amalga oshiradi: avtomatik nutqni aniqlash (ASR), neyron mashina tarjimasi (NMT) va matndan ogʻzaki nutqqa oʻgirish (TTS). Har bir jarayon alohida maʼlumotlar toʻplamini talab qiladi.

Masalan, ASR turli muhitlarda yozib olingan koʻplab ogʻzaki nutqlarni talab qiladi va har bir yozib olingan nutq aniqlik bilan ishlangan matn transkripsiyasi bilan kelgan boʻlishi lozim. Turli xil fon shovqin darajalari turli muhitlardagi nutqni aniqlay olishga yordam beradi. “Yozib olingan nutqqa shovqin qoʻshishning oʻzi yetarli emas”, deb tushuntirdi jamoaning ASR rahbari Muchlisin Adi Saputra. “Vakolatli uchinchi shaxs hamkorlaridan olgan til maʼlumotlariga qoʻshimcha ravishda biz oʻz ovozimizni yozib olish uchun qahvaxonalar yoki ish muhitiga borishimiz kerak. Bu bizga odamlarning telefon qoʻngʻiroqlari yoki klaviaturalarning taqillashi kabi hayotdan olingan noyob tovushlarni yozib olish imkonini beradi.

Tillarning doimiy oʻzgaruvchan tabiatini ham hisobga olish kerak. “Biz eng soʻnggi slenglar va ular qanday qoʻllanishidan xabardor boʻlishimiz kerak. Ularni esa asosan ijtimoiy tarmoqlardan topamiz!”, deya qoʻshimcha qildi Saputra.

Navbatda NMT boʻlib, u tarjima treyning maʼlumotlarini talab qiladi. “Bahasa Indoneziya tilini tarjima qilish juda qiyin”, deydi jamoaning NMT rahbari Muhammad Faysal. “Uning kontekstli va yashirin maʼnoli soʻzlardan keng qoʻllanishi ijtimoiy tushunchalar va vaziyatga tayanadi, shuning uchun biz boshqa tilga tarjima qilingan yangi soʻzlar, xorijiy soʻzlar, toʻgʻri otlar va idiomalarga muhtojmiz. AI’ga kontekst va muloqot qoidalarni tushunishga yordam beradigan har qanday maʼlumot biz uchun muhimdir”.

Soʻng TTS turli xil sharoitlarda soʻz turkumlari qanday jaranglashiga oid qoʻshimcha kontekst bilan bir qator tovushlar va ohanglarni qamrab oluvchi yozib olingan nutqlarni talab qiladi. “Yozib olingan sifatli nutqlar ishning yarmini bajarishi va AI modeli uchun barcha kerakli fonemalarni (nutqdagi tovush birliklari) qamrab olishi mumkin”, deya qoʻshimcha qildi TTS rahbari Harits Abdurrohman. “Agar ovoz aktyori dastlabki bosqichda sifatli ish qilgan boʻlsa, diqqat muayyan soʻzlarni aniq talaffuz qilish uchun AI modelini takomillashtirishga qaratiladi”.

Birgalikda kuchliroqmiz

Koʻp maʼlumotlarni taxlash uchun katta resurslar kerak boʻlar ekan, SRIN tilshunoslik boʻyicha mutaxassislar bilan yaqindan hamkorlik qildi. “Ushbu qiyinchilik Bahasa Indoneziya tilida ham, mashina oʻrganishida ham ijodkorlik, zukkolik va katta tajribani talab qiladi”, deydi Fadlil. “Samsung’ning ochiq hamkorlik falsafasi ham, AI’ni rivojlantirish tarixi va bizning operatsiyalarimiz koʻlami ham bunda katta rol oʻynadi”.

SRIN jamoasi butun dunyo boʻylab boshqa Samsung tadqiqot markazlari bilan hamkorlik qilib, sinalgan eng yaxshi amaliyotlarni tezda oʻzlashtira oldi va maqsadli maʼlumotlarni belgilashdagi murakkabliklarni yengib oʻtdi. Bundan tashqari, hamkorlik nafaqat texnologiya, balki madaniyatni rivojlantirish uchun ham ancha qoʻl keldi. SRIN jamoasi Hindistonning Bangalor shahridagi hamkasblariga qoʻshildi va ularning mahalliy roʻza tutish urf-odatlarini kuzatib, ular bilan chuqurroq aloqalarni oʻrnatdilar va turli madaniyatlar haqidagi tushunchalarini kengaytirdilar.

Jamoa uchun Galaxy AI’ning tilni kengaytirish loyihasi yangi ahamiyat kasb etdi. “Biz bu yerda erishgan yutuqlarimiz bilan faxrlanamiz, chunki bu bizning birinchi AI loyihamiz edi. Ammo bu modellarimizni takomillashtirish, mahsulot sifatini yaxshilashdagi oxirgi harakatimiz boʻlib qoladi degani emas”, deya xulosa qildi Fadlil. “Ushbu kengayish nafaqat bizning ochiqlik qadriyatlarimizni aks ettiradi, balki til orqali turli madaniyatlarning oʻziga xosliklarini hurmat qilishimizni ham anglatadi”.

“Oʻrganish sikli” maqolalar toʻplamining navbatdagi sonida biz Galaxy AI’ning arab tili loyihasini boshqargan jamoa bilan suhbatlashish uchun Samsung R&D Institute Jordan’ga tashrif buyuramiz. Turli dialektlarga ega til uchun sunʼiy intellekt modelini yaratish va oʻrgatishning murakkabliklarini bilish uchun keyingi maqolamizni kutib qoling.