Oʻrganish sikli, 1-qism: nega AI’ga yangi tillarni oʻrgatish maʼlumotlar yigʻishdan boshlanadi?

Indoneziyadagi Samsung Research kompaniyasi mobil AI’ni demokratlashtirish ortidagi odamlar va innovatsiyalarning bir qismidir

Samsung yuqori darajadagi mobil AI tajribasini yaratishda davom etar ekan, biz Galaxy AI yanada koʻproq foydalanuvchilarga oʻz imkoniyatlarini maksimal darajada oshirish imkonini berayotganini bilish uchun butun dunyo boʻylab Samsung tadqiqot markazlariga tashrif buyurdik. Galaxy AI endi 16 ta tilni qoʻllab-quvvatlaydi, bu esa Live Translate (Jonli Tarjima), Interpreter (Og’zaki Tarjima), Note Assist (Eslatma Yordami) va Browsing Assist (Ko’rib chiqish yordami) kabi funksiyalarning qurilma ichidagina amal qilish imkoniyati tufayli hatto oflayn holatda ham til imkoniyatlarini kengaytira oladi. Ammo AI tilni oʻzi qanday oʻrganadi? Ushbu maqolalar toʻplami mobil AI bilan ishlashdagi qiyinchiliklarni va ularni qanday yengib oʻtganimizni yoritadi. Avvalo AI’ga yangi tilni oʻrgatish qaysi bosqichdan boshlanishini oʻrganish uchun biz Indoneziyaga tashrif buyurdik.

Samsung Indoneziya tadqiqot va texnologik ishlanmalar instituti (SRIN) guruhi aytishicha, birinchi qadam maqsadlarni belgilashdir. “Zoʻr sunʼiy intellektni yaratish sifatli va mavzuga oid maʼlumotlarni yigʻishdan boshlanadi. Har bir til maʼlumotlarni qayta ishlashning oʻzgacha usulini talab qiladi, shuning uchun biz til ehtiyojlari va mamlakatimizning oʻziga xos sharoitlarini tushunish uchun ishga har tomonlama kirishdik”, deydi yaqinda Bahasa Indoneziyani (Indoneziya tili) Galaxy AI’ga qoʻshgan SRIN AI rahbari Junaidilla Fadlil. “Mahalliy tilni rivojlantirish insaytlar va ilm-fan tomonidan boshqarilishi kerak, shuning uchun Galaxy AI’ga tillarni qoʻshishning har bir jarayoni kerakli maʼlumotlarni yigʻishdan boshlanadi. Bu qonuniy va axloqiy jihatdan yigʻishga ruxsat berilgan maʼlumot boʻlishi ham kerakdir.”

Live Translate kabi Galaxy AI funksiyalari uchta asosiy jarayonni amalga oshiradi: avtomatik nutqni aniqlash (ASR), neyron mashina tarjimasi (NMT) va matndan ogʻzaki nutqqa oʻgirish (TTS). Har bir jarayon alohida maʼlumotlar toʻplamini talab qiladi.

Masalan, ASR turli muhitlarda yozib olingan koʻplab ogʻzaki nutqlarni talab qiladi va har bir yozib olingan nutq aniqlik bilan ishlangan matn transkripsiyasi bilan kelgan boʻlishi lozim. Turli xil fon shovqin darajalari turli muhitlardagi nutqni aniqlay olishga yordam beradi. “Yozib olingan nutqqa shovqin qoʻshishning oʻzi yetarli emas”, deb tushuntirdi jamoaning ASR rahbari Muchlisin Adi Saputra. “Vakolatli uchinchi shaxs hamkorlaridan olgan til maʼlumotlariga qoʻshimcha ravishda biz oʻz ovozimizni yozib olish uchun qahvaxonalar yoki ish muhitiga borishimiz kerak. Bu bizga odamlarning telefon qoʻngʻiroqlari yoki klaviaturalarning taqillashi kabi hayotdan olingan noyob tovushlarni yozib olish imkonini beradi.

Tillarning doimiy oʻzgaruvchan tabiatini ham hisobga olish kerak. “Biz eng soʻnggi slenglar va ular qanday qoʻllanishidan xabardor boʻlishimiz kerak. Ularni esa asosan ijtimoiy tarmoqlardan topamiz!”, deya qoʻshimcha qildi Saputra.

Navbatda NMT boʻlib, u tarjima treyning maʼlumotlarini talab qiladi. “Bahasa Indoneziya tilini tarjima qilish juda qiyin”, deydi jamoaning NMT rahbari Muhammad Faysal. “Uning kontekstli va yashirin maʼnoli soʻzlardan keng qoʻllanishi ijtimoiy tushunchalar va vaziyatga tayanadi, shuning uchun biz boshqa tilga tarjima qilingan yangi soʻzlar, xorijiy soʻzlar, toʻgʻri otlar va idiomalarga muhtojmiz. AI’ga kontekst va muloqot qoidalarni tushunishga yordam beradigan har qanday maʼlumot biz uchun muhimdir”.

Soʻng TTS turli xil sharoitlarda soʻz turkumlari qanday jaranglashiga oid qoʻshimcha kontekst bilan bir qator tovushlar va ohanglarni qamrab oluvchi yozib olingan nutqlarni talab qiladi. “Yozib olingan sifatli nutqlar ishning yarmini bajarishi va AI modeli uchun barcha kerakli fonemalarni (nutqdagi tovush birliklari) qamrab olishi mumkin”, deya qoʻshimcha qildi TTS rahbari Harits Abdurrohman. “Agar ovoz aktyori dastlabki bosqichda sifatli ish qilgan boʻlsa, diqqat muayyan soʻzlarni aniq talaffuz qilish uchun AI modelini takomillashtirishga qaratiladi”.

Birgalikda kuchliroqmiz

Koʻp maʼlumotlarni taxlash uchun katta resurslar kerak boʻlar ekan, SRIN tilshunoslik boʻyicha mutaxassislar bilan yaqindan hamkorlik qildi. “Ushbu qiyinchilik Bahasa Indoneziya tilida ham, mashina oʻrganishida ham ijodkorlik, zukkolik va katta tajribani talab qiladi”, deydi Fadlil. “Samsung’ning ochiq hamkorlik falsafasi ham, AI’ni rivojlantirish tarixi va bizning operatsiyalarimiz koʻlami ham bunda katta rol oʻynadi”.

SRIN jamoasi butun dunyo boʻylab boshqa Samsung tadqiqot markazlari bilan hamkorlik qilib, sinalgan eng yaxshi amaliyotlarni tezda oʻzlashtira oldi va maqsadli maʼlumotlarni belgilashdagi murakkabliklarni yengib oʻtdi. Bundan tashqari, hamkorlik nafaqat texnologiya, balki madaniyatni rivojlantirish uchun ham ancha qoʻl keldi. SRIN jamoasi Hindistonning Bangalor shahridagi hamkasblariga qoʻshildi va ularning mahalliy roʻza tutish urf-odatlarini kuzatib, ular bilan chuqurroq aloqalarni oʻrnatdilar va turli madaniyatlar haqidagi tushunchalarini kengaytirdilar.

Jamoa uchun Galaxy AI’ning tilni kengaytirish loyihasi yangi ahamiyat kasb etdi. “Biz bu yerda erishgan yutuqlarimiz bilan faxrlanamiz, chunki bu bizning birinchi AI loyihamiz edi. Ammo bu modellarimizni takomillashtirish, mahsulot sifatini yaxshilashdagi oxirgi harakatimiz boʻlib qoladi degani emas”, deya xulosa qildi Fadlil. “Ushbu kengayish nafaqat bizning ochiqlik qadriyatlarimizni aks ettiradi, balki til orqali turli madaniyatlarning oʻziga xosliklarini hurmat qilishimizni ham anglatadi”.

“Oʻrganish sikli” maqolalar toʻplamining navbatdagi sonida biz Galaxy AI’ning arab tili loyihasini boshqargan jamoa bilan suhbatlashish uchun Samsung R&D Institute Jordan’ga tashrif buyuramiz. Turli dialektlarga ega til uchun sunʼiy intellekt modelini yaratish va oʻrgatishning murakkabliklarini bilish uchun keyingi maqolamizni kutib qoling.