Proses Ubah Data AI, Dari Bagus Jadi Luar Biasa

Kisah Samsung Research di Vietnam merupakan bagian dari seri tentang orang-orang dan inovasi yang memampukan mobile AI untuk mendukung hidup lebih banyak orang.

Samsung menjadi pelopor pengalaman mobile AI premium. Untuk mempelajari bagaimana Galaxy AI memaksimalkan potensi penggunanya, kami mengunjungi berbagai lokasi Samsung Research di seluruh dunia. Kini mendukung 16 bahasa, Galaxy AI membantu lebih banyak orang untuk memperluas kemampuan bahasa mereka, bahkan saat offline, berkat penerjemahan on-device dalam fitur-fitur seperti Live Translate, Interpreter, Note Assist, dan Browsing Assist. Baru-baru ini kami mengunjungi Yordania untuk mempelajari kompleksnya pengembangan model AI untuk bahasa Arab, sebuah bahasa yang memiliki banyak dialek. Kali ini, kami akan pergi ke Vietnam untuk mengeksplorasi bagaimana data disiapkan untuk melatih model-model AI.

Apa perbedaan antara hantu, kuburan dan ibu dalam bahasa Vietnam? Untuk bahasa yang digunakan oleh 97 juta orang di seluruh dunia, perbedaannya sangat sedikit. Ketiga kata tersebut diterjemahkan menjadi “ma”, “mả” dan “má”, dan hanya dapat dibedakan dengan nada. Hal ini menggambarkan tingkat kesulitan yang dihadapi model AI untuk mempelajari suatu bahasa, mengingat model tersebut tidak dapat mengenali secara langsung konteks dan emosi percakapan atau maksud dari orang yang mengucapkan kata-kata tersebut.

Samsung R&D Institute Vietnam (SRV) menggunakan data yang telah disempurnakan untuk membantu model AI mereka mengidentifikasi dengan tepat, bahkan perbedaan nuansa bahasa yang paling halus sekalipun.

Kualitas data yang digunakan secara langsung mempengaruhi keakuratan pengenalan suara otomatis (automatic speech recognition / ASR), neural machine translation (NMT), dan text-to-speech (TTS) – proses yang membantu fitur-fitur Galaxy AI seperti Live Translate, Interpreter, Chat Assist, dan Browsing Assist untuk mengatasi hambatan bahasa.

Badai Tantangan

“Bahasa Vietnam adalah bahasa yang kompleks dan beragam dengan ekspresi yang kaya, yang kebanyakan cukup menantang untuk dipahami,” ujar Ngô Hồng Thái, NMT lead di SRV. Dari 16 bahasa yang didukung Galaxy AI, bahasa Vietnam cukup sulit untuk dikembangkan.

“Secara pribadi, membuat model AI untuk Bahasa Vietnam lebih menantang daripada angin topan!” tambahnya sebelum menjelaskan rintangan yang dihadapi selama proses pengembangan.

Bahasa Vietnam adalah bahasa tonal dengan enam nada yang berbeda. Seperti yang terlihat pada contoh “ma” di atas, perbedaan nuansa kecil dalam pengucapan bisa mengubah makna kata secara drastis. Oleh karena itu, diperlukan pendekatan yang cermat dan terperinci.

“Saat menguraikan kata-kata yang terdengar mirip, satu kata terdiri dari beberapa segmen pendek, atau ‘frame set’,” kata Bui Ngoc Tung, ASR lead di SRV. “Model AI membedakan antara frame audio pendek sekitar 20 milidetik untuk mengenali kata mana yang cocok dengan rangkaian frame dengan urutan tertentu. Oleh karena itu, sangat penting untuk mengerahkan upaya besar pada tahap awal proses pembelajaran AI.”

Selain itu, homofon dan homonim adalah hal yang umum dalam bahasa Vietnam. Orang biasanya dapat mengandalkan konteks dan elemen nonverbal dalam percakapan untuk membedakan kata-kata yang terdengar sama atau ditulis sama tetapi memiliki arti yang berbeda. Namun, model AI perlu diajari agar dapat mengidentifikasi dan membedakan secara akurat antara nada dan kata-kata yang mirip.

“Ini bukanlah tugas yang sederhana,” jelas Thái. “Terlepas dari jumlahnya, datanya harus akurat untuk memastikan bahwa AI mampu mengidentifikasi nuansa linguistik yang ada dalam bahasa Vietnam.”

Persiapan yang Terperinci

Proses penyempurnaan data terdiri dari tiga langkah. Pertama, audio dan teks yang digunakan untuk melatih model AI harus ditinjau dan diperbaiki. Kemudian, dataset ini menjalani pemeriksaan acak untuk menjaga kualitas secara keseluruhan. Terakhir, dataset dinormalisasi dan dibersihkan sebelum digunakan dalam pelatihan.

“Kami melakukan serangkaian tes secara menyeluruh untuk memeriksa keakuratan dataset kami,” kata Nguyen Manh Duy, TTS lead di SRV yang mengawasi pembuatan database. “Kami menghadapi sejumlah masalah yang tidak terduga termasuk kata-kata yang salah eja dalam skrip dan noise di latar belakang atau pengucapan yang salah selama rekaman audio. Kami menghabiskan banyak waktu untuk menyempurnakan dan meningkatkan data pelatihan kami.”

Bagian penting dari proses penyempurnaan data dan perjalanan membawa data AI dari yang bagus menjadi luar biasa adalah hasil karya tim Software Quality Engineering (SQE). Tim ini memainkan peran penting dalam menguji dan meningkatkan kualitas data bahasa AI dan mereka bekerja sama dengan tim proyek pengembangan bahasa AI untuk mewujudkannya.

Selain tantangan linguistik yang unik dalam bahasa Vietnam, ada kekurangan data yang dapat diakses secara universal dibandingkan dengan bahasa-bahasa lain yang digunakan secara luas. “Ini adalah alasan lain mengapa tahap penyempurnaan data sangat penting,” tambahnya. “Karena kami memiliki sumber yang terbatas, setiap bagian dari data harus reliabel sepenuhnya. Tidak boleh ada celah untuk kesalahan.”

Selain itu, model AI untuk bahasa Vietnam harus mempertimbangkan perbedaan tonal dan regional. Untuk meningkatkan akurasi model AI, tim tersebut mengumpulkan sejumlah besar data dengan aksen Vietnam utara, tengah, dan selatan – menghasilkan banyak sekali informasi untuk disempurnakan dan diverifikasi.

Peningkatan Lebih Lanjut

Para developer di SRV menyelesaikan proyek ini setelah kerja keras selama berbulan-bulan, dan bahasa Vietnam menjadi salah satu bahasa pertama yang didukung oleh Galaxy AI. Terlepas dari keberhasilan ini, tim terus berupaya untuk meningkatkan pengalaman bahasa Vietnam di Galaxy AI.

“Kami terus menyempurnakan model AI dengan melibatkan masukan dari pengguna mengenai relevansi kata dan frasa dalam Galaxy AI,” ujar Tran Tuan Minh, pemimpin proyek pengembangan bahasa AI di SRV. “Kami baru saja mengambil langkah pertama menuju dunia yang lebih terbuka – dan masih banyak hal yang harus kami jelajahi bersama.”

Dalam episode The Learning Curve berikutnya, kita akan pergi ke China untuk mempelajari bagaimana model AI dilatih dan disempurnakan.