Begini Proses Membangun AI untuk Berbagai Dialek

Kisah dari Timur Tengah tentang kompleksitas dalam menciptakan alat bantu AI untuk bahasa Arab, bahasa yang memiliki banyak variasi

Galaxy AI kini mendukung 16 bahasa, membantu lebih banyak orang untuk mengurangi hambatan bahasa berkat penerjemahan secara real-time dan on-device. Samsung membuka jalan menuju era baru mobile AI, jadi kami mengunjungi pusat Samsung Research di seluruh dunia untuk mempelajari kelahiran Galaxy AI dan apa saja yang diperlukan untuk mengatasi tantangan pengembangan AI. Bagian pertama dari seri ini membahas proses menentukan data apa yang dibutuhkan, dan bagian kedua ini membahas kompleksitas saat mempertimbangkan dialek.

Mengajarkan sebuah bahasa ke model AI adalah proses yang kompleks, tetapi bagaimana jika bahasa yang diajarkan bukanlah bahasa tunggal, melainkan kumpulan dialek yang beragam? Itulah tantangan yang dihadapi oleh tim di Samsung R&D Institute Jordan (SRJO). Ketika “Bahasa Arab” ditambahkan sebagai pilihan bahasa untuk fitur Galaxy AI seperti Live Translate, tim harus mencakup berbagai dialek Arab yang tersebar di Timur Tengah dan Afrika Utara, yang masing-masing memiliki pelafalan, kosakata, dan tata bahasa yang berbeda-beda.

Bahasa Arab adalah salah satu dari enam bahasa lisan yang paling banyak digunakan di seluruh dunia, yang digunakan setiap hari oleh lebih dari 400 juta orang^[1]. Bahasa ini dikategorikan ke dalam dua bentuk: Fus’ha (Bahasa Arab Standar Modern) dan Ammiya (dialek-dialek bahasa Arab). Fus’ha biasanya digunakan di acara-acara publik dan resmi, serta dalam siaran berita, sedangkan Ammiya lebih sering digunakan untuk percakapan sehari-hari. Lebih dari 20 negara menggunakan bahasa Arab, dan saat ini terdapat sekitar 30 dialek di wilayah tersebut.

Aturan Tidak Tertulis

Dengan adanya berbagai variasi pada dialek-dialek ini, tim di SRJO menggunakan berbagai teknik untuk membedakan dan memproses fitur-fitur linguistik khas yang ada pada masing-masing dialek. Pendekatan ini sangat penting untuk memastikan bahwa Galaxy AI dapat memahami dan merespons dengan cara yang mencerminkan nuansa regional secara akurat.

“Tidak seperti bahasa lain, pelafalan objek dalam bahasa Arab bervariasi tergantung pada subjek dan kata kerja dalam sebuah kalimat,” kata Mohammad Hamdan, project leader pada tim pengembangan bahasa Arab. “Kami ingin mengembangkan sebuah model yang memahami semua dialek ini dan dapat menjawab dalam bahasa Arab standar.”

TTS adalah komponen dari fitur Live Translate di Galaxy AI yang membantu pengguna berinteraksi dengan penutur bahasa yang berbeda dengan menerjemahkan kata-kata yang diucapkan ke dalam teks tertulis, dan kemudian mereproduksinya secara lisan. Tim TTS menghadapi tantangan yang tidak biasa, yang disebabkan kebiasaan bekerja menggunakan bahasa Arab.

Bahasa Arab menggunakan diakritik, yang merupakan panduan pengucapan kata-kata dalam beberapa konteks, seperti teks religius, puisi, dan buku-buku untuk orang yang mempelajari bahasa. Diakritik dipahami secara luas oleh penutur asli tetapi tidak ada dalam tulisan sehari-hari. Hal ini menyulitkan mesin untuk mengubah teks mentah menjadi fonem, unit dasar suara yang menjadi dasar untuk pengucapan.

“Ada kekurangan dataset berkualitas tinggi dan reliabel yang secara akurat merepresentasikan penggunaan diakritik dengan benar,” jelas Haweeleh. “Kami harus merancang model neural yang dapat memprediksi dan mengembalikan diakritik yang hilang dengan akurasi tinggi.”

Cara kerja model neural mirip seperti otak manusia. Untuk memprediksi diakritik, sebuah model perlu mempelajari banyak teks bahasa Arab, mempelajari aturan-aturan bahasa ini, dan memahami bagaimana kata-kata digunakan dalam konteks yang berbeda. Sebagai contoh, pengucapan sebuah kata dapat sangat bervariasi tergantung pada tindakan atau gender yang digambarkan. Pelatihan ekstensif dari tim adalah kunci untuk meningkatkan akurasi model TTS Bahasa Arab.

Meningkatkan Pemahaman

Tim SRJO juga harus mengumpulkan beragam rekaman audio dialek dari berbagai sumber, yang harus ditranskripsikan, dan berfokus pada suara, kata, dan frasa yang unik. “Kami membentuk sebuah tim yang terdiri dari penutur asli dialek-dialek tersebut yang sangat memahami nuansa dan variasinya,” kata Ayah Hasan, yang bertanggung jawab atas pembuatan database. “Mereka mendengarkan hasil rekaman dan secara manual mengubah kata-kata yang diucapkan menjadi teks.”

Upaya ini sangat penting untuk mendukung proses Automatic Speech Recognition (ASR) sehingga Galaxy AI dapat memahami kekayaan nuansa bermacam dialek Arab. ASR sangat penting dalam mengaktifkan kemampuan pemahaman dan respons real-time Galaxy AI.

“Mengembangkan sistem ASR yang mendukung berbagai dialek dalam satu model merupakan hal yang kompleks,” ujar Mohammad Hamdan, ASR lead untuk proyek ini. “Hal ini menuntut pemahaman menyeluruh tentang seluk-beluk bahasa, pemilihan data yang cermat, dan teknik pemodelan yang canggih.”

Puncak Inovasi

Setelah berbulan-bulan melakukan perencanaan, pengerjaan, dan pengujian, tim ini siap untuk merilis bahasa Arab sebagai pilihan bahasa untuk Galaxy AI, memudahkan lebih banyak orang untuk berkomunikasi lintas batas. Tim ini telah mempermudah akses layanan Galaxy AI bagi penutur bahasa Arab, mengurangi hambatan bahasa dan budaya di antara mereka dan orang-orang di seluruh dunia. Dengan demikian, mereka telah menciptakan best practice baru yang dapat dijalankan secara global. Keberhasilan ini hanyalah permulaan: tim ini terus menyempurnakan model mereka dan meningkatkan kualitas kemampuan bahasa Galaxy AI.

Dalam episode berikutnya, kita akan pergi ke Vietnam untuk melihat bagaimana tim mereka memperbaiki data bahasa. Selain itu, apa saja yang diperlukan untuk melatih model AI yang efektif?

^[1]UNESCO, World Arabic Language Day 2023, https://www.unesco.org/en/world-arabic-language-day