Samsung R&D Institute Japan (SRJ) didirikan sebagai pusat penelitian dan pengembangan yang berfokus pada hardware seperti home appliances dan layar. Seiring dengan meningkatnya permintaan akan inovasi AI secara global, SRJ di Yokohama juga telah mengoperasikan laboratorium pengembangan software untuk menciptakan Live Translate Galaxy AI, yang secara otomatis menerjemahkan panggilan suara secara real time, sejak akhir tahun lalu.

“Live Translate sangat efisien untuk digunakan saat traveling seperti yang dialami pengunjung Olimpiade di Paris tahun ini,” kata Takayuki Akasako, Head of Artificial Intelligence di SRJ. “Saat ini kami sedang mengembangkan program pengenalan suara untuk orang-orang yang sedang berwisata dan menonton Olimpiade Paris; dengan melatih program pengenalan suara untuk mempelajari pertandingan dan lokasi stadion untuk Paris 2024.”

Memahami Konteks dalam Pengenalan Suara

Bagi mereka yang sudah menggunakan fitur terjemahan Galaxy AI, fitur tersebut mungkin tampak sangat berguna. Tetapi bagi para pengembang yang telah menciptakan fitur-fitur tersebut, mereka tahu bahwa dapat berkomunikasi saat bepergian ke luar negeri bukanlah hal yang sepele.

Satu hal yang diperhatikan oleh tim peneliti adalah bahwa ada lebih banyak homonim dalam bahasa Jepang dibandingkan bahasa lainnya. Misalnya, ‘sumpit’ (Hashi, 箸) dan ‘jembatan’ (Hashi, 橋) relatif mudah dibedakan karena perbedaan intonasi, tetapi kata-kata seperti ‘tamasya’ (Kankō, 観光), ‘adat istiadat’ (Kankō, 慣行), ‘publik’ (Kōkyō, 公共), dan ‘kemakmuran’ (Kōkyō, 好況) harus dilihat dari konteksnya.

“Penilaian menjadi lebih sulit ketika konteksnya ambigu, seperti nama tempat dan orang, kata benda yang tepat, dialek, dan angka,” kata Akasako. “Jadi untuk meningkatkan akurasi pengenalan suara, dibutuhkan banyak data.”

“Kami selalu mencari cara untuk menyempurnakan model AI untuk acara dan momen penting secara tepat waktu,” lanjut Akasako. “Dengan banyaknya kombinasi baru dari nama tempat dan aktivitas, penting untuk memastikan bahwa konteksnya tetap jelas saat orang menggunakan Galaxy AI.”

Tantangan dalam Mengumpulkan Data yang Efisien

Meskipun mengenali jenis data yang dibutuhkan juga penting, mengumpulkan data juga menjadi tantangan tersendiri.

Sebelumnya, tim SRJ menggunakan data yang direkam oleh manusia untuk melatih mesin pengenal suara pada Live Translate, namun tidak menghasilkan pengumpulan data yang memadai.

Samsung Gauss, Large Language Model (LLM) dari Samsung, menggunakan skrip untuk menyusun kalimat dengan kata atau frasa yang relevan dengan setiap skenario. Data yang dikumpulkan melalui Samsung Gauss tidak hanya direkam oleh manusia, tetapi juga dihasilkan oleh data sintesis text-to-speech (TTS), di mana kualitas akhirnya akan dicek oleh manusia. Dengan menggunakan metode ini, tim melihat adanya peningkatan yang dramatis dalam efisiensi pengumpulan data.

“Setiap kali sebuah masalah diidentifikasi dan dipecahkan, akurasi pengenalan suara meningkat secara signifikan,” kata Akasako. “Di mana pun orang berada, tujuan kami adalah menghubungkan mereka satu sama lain, dan tools yang didukung oleh Galaxy AI akan memastikan komunikasi yang lebih menyenangkan dan efisien.”

Tersembunyi di Vellore Institute of Technology  di Chennai, India, terdapat sebuah laboratorium yang dipenuhi dengan peralatan audio futuristik. Kita akan menemukan manekin – yang dikenal di industri ini sebagai head and torso simulator – serta mikrofon binaural dan perangkat pendengaran. Semua peralatan ini disimpan di ruang khusus yang dilengkapi dengan sistem penyerapan suara yang canggih, menjadikan laboratorium ini yang pertama dari kelasnya di India. Bayangkan fasilitas seperti ini digunakan untuk mengembangkan peralatan high fidelity (Hi-Fi) kelas atas yang mutakhir.

Di sinilah, Vellore Institute of Technology berkolaborasi dengan Samsung untuk menghasilkan dan mengembangkan data serta insight yang mendukung model AI terbaru untuk pengembangan kemampuan bahasa Galaxy AI. Fasilitas ini dikembangkan sebagai bagian dari Samsung SEED (Students Ecosystem for Engineered Data) Labs – sebuah inisiatif yang mendukung staf universitas, mahasiswa, dan anak magang di India untuk mengerjakan proyek-proyek yang diminta oleh Samsung sejak tahun 2021. Ini hanyalah salah satu dari beberapa program universitas yang didanai oleh Samsung di mana para mahasiswa berkesempatan untuk mengerjakan proyek dengan para ahli teknologi dari perusahaan.

“Sebagai mahasiswa, saya senang bisa mengerjakan berbagai proyek dengan perusahaan yang ternama dan dihormati seperti Samsung,” ujar Yashika Ilanchezhiyan, mahasiswa Samsung SEED. “Saya diberi kepercayaan diri untuk mempelajari keterampilan baru dengan cara yang nyata dan saya merasa membuat perbedaan yang signifikan pada produk yang ada saat ini dan yang akan datang.”

“Kolaborasi seperti ini merupakan situasi yang saling menguntungkan,” ujar Giridhar Jakki, Head of Language AI di Samsung R&D Institute India – Bangalore (SRI-B). “Berkat proyek-proyek kami dengan berbagai universitas, kami dapat mendapatkan tambahan ahli dan dataset khusus. Universitas yang berpartisipasi mendapatkan investasi, insentif finansial, dan mentoring ahli dari Samsung sebagai hasilnya.”

Mengurangi Hambatan Bahasa

SRI-B telah berkolaborasi dengan tim di seluruh dunia untuk mengembangkan model bahasa AI untuk bahasa Inggris Inggris, India, dan Australia, serta bahasa Thailand, Vietnam, dan Indonesia. Baru-baru ini, para engineer dari pusat Samsung Research lainnya mengunjungi Bangalore, India – di mana tim SRI-B membantu meningkatkan teknologi untuk menghadirkan bahasa Vietnam, Thailand, dan Indonesia ke Galaxy AI. Oleh karena itu, SRI-B memiliki posisi yang ideal untuk mengembangkan bahasa Hindi untuk Galaxy AI.

“Setiap bahasa pasti ada tantangannya,” kata Jakki. “Namun, ketika Anda mengingat tujuan utamanya, yaitu memberikan kemampuan kepada orang-orang untuk berkomunikasi dalam bahasa lain, semua itu sepadan dengan usaha yang dilakukan. Kami bersemangat untuk menghadirkan bahasa Hindi ke Galaxy AI.”

Mengembangkan model AI bahasa Hindi tidaklah mudah. Tim harus memerhatikan lebih dari 20 dialek regional, perbedaan nada, tanda baca, dan bahasa sehari-hari. Selain itu, penutur bahasa Hindi sering kali mencampurkan kata-kata bahasa Inggris dalam percakapan mereka. Hal ini mengharuskan tim untuk melakukan beberapa tahap pelatihan model AI dengan kombinasi data yang diterjemahkan dan dialihbahasakan.

“Bahasa Hindi memiliki struktur fonetik kompleks yang mencakup suara retrofleks – suara yang dibuat dengan cara melengkungkan lidah ke belakang di dalam mulut – yang tidak ada di banyak bahasa lain,” kata Jakki. “Untuk membangun elemen sintesis ucapan dari solusi AI, kami dengan hati-hati meninjau data dengan ahli bahasa penutur asli untuk memahami semua suara unik dan menciptakan serangkaian fenomena khusus untuk mendukung dialek bahasa tertentu.”

Kolaborasi antara Samsung dan mitra akademis berperan penting dalam mengembangkan model bahasa AI yang mencerminkan nuansa budaya daerah-daerah di India. Vellore Institute of Technology membantu mengamankan hampir satu juta baris data audio yang tersegmentasi dan terkurasi tentang percakapan, kata-kata, dan perintah. Data merupakan komponen penting untuk sebuah proses yang sangat penting seperti menggabungkan bahasa keempat yang paling banyak digunakan di dunia ke dalam Galaxy AI. Bekerja sama dengan universitas menjamin Samsung untuk menggunakan data dengan kualitas terbaik.

Koneksi Global Memberikan Dampak Besar

Proyek ini dengan sempurna merangkum filosofi Samsung tentang kolaborasi terbuka dan keyakinan perusahaan bahwa berbagi ilmu dan perspektif akan menghasilkan inovasi yang bermanfaat. Dalam kasus SRI-B, hal ini tidak hanya mencakup kerja sama dengan akademisi, tetapi juga berbagi wawasan dan praktik terbaik dengan pusat penelitian Samsung lainnya di seluruh dunia.

“Saya sangat bangga dengan apa yang telah kami capai dengan bantuan para mitra kami,” ujar Jakki. “Inovasi AI melalui kolaborasi adalah bagian besar dari apa yang kami lakukan. Kami akan terus memahami, mengumpulkan, dan menganalisis data bahasa dengan lebih baik sehingga lebih banyak orang yang dapat memiliki akses ke perangkat AI di masa depan.”

Mengajarkan sebuah bahasa ke model AI adalah proses yang kompleks, tetapi bagaimana jika bahasa yang diajarkan bukanlah bahasa tunggal, melainkan kumpulan dialek yang beragam? Itulah tantangan yang dihadapi oleh tim di Samsung R&D Institute Jordan (SRJO). Ketika “Bahasa Arab” ditambahkan sebagai pilihan bahasa untuk fitur Galaxy AI seperti Live Translate, tim harus mencakup berbagai dialek Arab yang tersebar di Timur Tengah dan Afrika Utara, yang masing-masing memiliki pelafalan, kosakata, dan tata bahasa yang berbeda-beda.

Bahasa Arab adalah salah satu dari enam bahasa lisan yang paling banyak digunakan di seluruh dunia, yang digunakan setiap hari oleh lebih dari 400 juta orang^[1]. Bahasa ini dikategorikan ke dalam dua bentuk: Fus’ha (Bahasa Arab Standar Modern) dan Ammiya (dialek-dialek bahasa Arab). Fus’ha biasanya digunakan di acara-acara publik dan resmi, serta dalam siaran berita, sedangkan Ammiya lebih sering digunakan untuk percakapan sehari-hari. Lebih dari 20 negara menggunakan bahasa Arab, dan saat ini terdapat sekitar 30 dialek di wilayah tersebut.

Aturan Tidak Tertulis

Dengan adanya berbagai variasi pada dialek-dialek ini, tim di SRJO menggunakan berbagai teknik untuk membedakan dan memproses fitur-fitur linguistik khas yang ada pada masing-masing dialek. Pendekatan ini sangat penting untuk memastikan bahwa Galaxy AI dapat memahami dan merespons dengan cara yang mencerminkan nuansa regional secara akurat.

“Tidak seperti bahasa lain, pelafalan objek dalam bahasa Arab bervariasi tergantung pada subjek dan kata kerja dalam sebuah kalimat,” kata Mohammad Hamdan, project leader pada tim pengembangan bahasa Arab. “Kami ingin mengembangkan sebuah model yang memahami semua dialek ini dan dapat menjawab dalam bahasa Arab standar.”

TTS adalah komponen dari fitur Live Translate di Galaxy AI yang membantu pengguna berinteraksi dengan penutur bahasa yang berbeda dengan menerjemahkan kata-kata yang diucapkan ke dalam teks tertulis, dan kemudian mereproduksinya secara lisan. Tim TTS menghadapi tantangan yang tidak biasa, yang disebabkan kebiasaan bekerja menggunakan bahasa Arab.

Bahasa Arab menggunakan diakritik, yang merupakan panduan pengucapan kata-kata dalam beberapa konteks, seperti teks religius, puisi, dan buku-buku untuk orang yang mempelajari bahasa. Diakritik dipahami secara luas oleh penutur asli tetapi tidak ada dalam tulisan sehari-hari. Hal ini menyulitkan mesin untuk mengubah teks mentah menjadi fonem, unit dasar suara yang menjadi dasar untuk pengucapan.

“Ada kekurangan dataset berkualitas tinggi dan reliabel yang secara akurat merepresentasikan penggunaan diakritik dengan benar,” jelas Haweeleh. “Kami harus merancang model neural yang dapat memprediksi dan mengembalikan diakritik yang hilang dengan akurasi tinggi.”

Cara kerja model neural mirip seperti otak manusia. Untuk memprediksi diakritik, sebuah model perlu mempelajari banyak teks bahasa Arab, mempelajari aturan-aturan bahasa ini, dan memahami bagaimana kata-kata digunakan dalam konteks yang berbeda. Sebagai contoh, pengucapan sebuah kata dapat sangat bervariasi tergantung pada tindakan atau gender yang digambarkan. Pelatihan ekstensif dari tim adalah kunci untuk meningkatkan akurasi model TTS Bahasa Arab.

Meningkatkan Pemahaman

Tim SRJO juga harus mengumpulkan beragam rekaman audio dialek dari berbagai sumber, yang harus ditranskripsikan, dan berfokus pada suara, kata, dan frasa yang unik. “Kami membentuk sebuah tim yang terdiri dari penutur asli dialek-dialek tersebut yang sangat memahami nuansa dan variasinya,” kata Ayah Hasan, yang bertanggung jawab atas pembuatan database. “Mereka mendengarkan hasil rekaman dan secara manual mengubah kata-kata yang diucapkan menjadi teks.”

Upaya ini sangat penting untuk mendukung proses Automatic Speech Recognition (ASR) sehingga Galaxy AI dapat memahami kekayaan nuansa bermacam dialek Arab. ASR sangat penting dalam mengaktifkan kemampuan pemahaman dan respons real-time Galaxy AI.

“Mengembangkan sistem ASR yang mendukung berbagai dialek dalam satu model merupakan hal yang kompleks,” ujar Mohammad Hamdan, ASR lead untuk proyek ini. “Hal ini menuntut pemahaman menyeluruh tentang seluk-beluk bahasa, pemilihan data yang cermat, dan teknik pemodelan yang canggih.”

Puncak Inovasi

Setelah berbulan-bulan melakukan perencanaan, pengerjaan, dan pengujian, tim ini siap untuk merilis bahasa Arab sebagai pilihan bahasa untuk Galaxy AI, memudahkan lebih banyak orang untuk berkomunikasi lintas batas. Tim ini telah mempermudah akses layanan Galaxy AI bagi penutur bahasa Arab, mengurangi hambatan bahasa dan budaya di antara mereka dan orang-orang di seluruh dunia. Dengan demikian, mereka telah menciptakan best practice baru yang dapat dijalankan secara global. Keberhasilan ini hanyalah permulaan: tim ini terus menyempurnakan model mereka dan meningkatkan kualitas kemampuan bahasa Galaxy AI.

Dalam episode berikutnya, kita akan pergi ke Vietnam untuk melihat bagaimana tim mereka memperbaiki data bahasa. Selain itu, apa saja yang diperlukan untuk melatih model AI yang efektif?

^[1]UNESCO, World Arabic Language Day 2023, https://www.unesco.org/en/world-arabic-language-day