Samsung R&D Institute Japan (SRJ) didirikan sebagai pusat penelitian dan pengembangan yang berfokus pada hardware seperti home appliances dan layar. Seiring dengan meningkatnya permintaan akan inovasi AI secara global, SRJ di Yokohama juga telah mengoperasikan laboratorium pengembangan software untuk menciptakan Live Translate Galaxy AI, yang secara otomatis menerjemahkan panggilan suara secara real time, sejak akhir tahun lalu.

“Live Translate sangat efisien untuk digunakan saat traveling seperti yang dialami pengunjung Olimpiade di Paris tahun ini,” kata Takayuki Akasako, Head of Artificial Intelligence di SRJ. “Saat ini kami sedang mengembangkan program pengenalan suara untuk orang-orang yang sedang berwisata dan menonton Olimpiade Paris; dengan melatih program pengenalan suara untuk mempelajari pertandingan dan lokasi stadion untuk Paris 2024.”

Memahami Konteks dalam Pengenalan Suara

Bagi mereka yang sudah menggunakan fitur terjemahan Galaxy AI, fitur tersebut mungkin tampak sangat berguna. Tetapi bagi para pengembang yang telah menciptakan fitur-fitur tersebut, mereka tahu bahwa dapat berkomunikasi saat bepergian ke luar negeri bukanlah hal yang sepele.

Satu hal yang diperhatikan oleh tim peneliti adalah bahwa ada lebih banyak homonim dalam bahasa Jepang dibandingkan bahasa lainnya. Misalnya, ‘sumpit’ (Hashi, 箸) dan ‘jembatan’ (Hashi, 橋) relatif mudah dibedakan karena perbedaan intonasi, tetapi kata-kata seperti ‘tamasya’ (Kankō, 観光), ‘adat istiadat’ (Kankō, 慣行), ‘publik’ (Kōkyō, 公共), dan ‘kemakmuran’ (Kōkyō, 好況) harus dilihat dari konteksnya.

“Penilaian menjadi lebih sulit ketika konteksnya ambigu, seperti nama tempat dan orang, kata benda yang tepat, dialek, dan angka,” kata Akasako. “Jadi untuk meningkatkan akurasi pengenalan suara, dibutuhkan banyak data.”

“Kami selalu mencari cara untuk menyempurnakan model AI untuk acara dan momen penting secara tepat waktu,” lanjut Akasako. “Dengan banyaknya kombinasi baru dari nama tempat dan aktivitas, penting untuk memastikan bahwa konteksnya tetap jelas saat orang menggunakan Galaxy AI.”

Tantangan dalam Mengumpulkan Data yang Efisien

Meskipun mengenali jenis data yang dibutuhkan juga penting, mengumpulkan data juga menjadi tantangan tersendiri.

Sebelumnya, tim SRJ menggunakan data yang direkam oleh manusia untuk melatih mesin pengenal suara pada Live Translate, namun tidak menghasilkan pengumpulan data yang memadai.

Samsung Gauss, Large Language Model (LLM) dari Samsung, menggunakan skrip untuk menyusun kalimat dengan kata atau frasa yang relevan dengan setiap skenario. Data yang dikumpulkan melalui Samsung Gauss tidak hanya direkam oleh manusia, tetapi juga dihasilkan oleh data sintesis text-to-speech (TTS), di mana kualitas akhirnya akan dicek oleh manusia. Dengan menggunakan metode ini, tim melihat adanya peningkatan yang dramatis dalam efisiensi pengumpulan data.

“Setiap kali sebuah masalah diidentifikasi dan dipecahkan, akurasi pengenalan suara meningkat secara signifikan,” kata Akasako. “Di mana pun orang berada, tujuan kami adalah menghubungkan mereka satu sama lain, dan tools yang didukung oleh Galaxy AI akan memastikan komunikasi yang lebih menyenangkan dan efisien.”

Ada ungkapan di Samsung R&D Institute Polandia (SRPOL): “Satu hari di SRPOL sama dengan 96 jam”. Ungkapan ini merujuk pada peran global pusat penelitian ini sebagai salah satu pusat penelitian dan pengembangan terbesar dan paling cepat berkembang di kawasan ini, yang sering kali bekerja di empat zona waktu yang berbeda. Berlokasi di jantung Eropa dan menjangkau banyak pasar Eropa dan global, SRPOL telah mengerjakan pengenalan suara otomatis, terjemahan neural machine, dan model text-to-speech untuk lebih dari 30 bahasa. Ketika harus menghadirkan 10 bahasa pada Galaxy AI, pengalaman ini berarti tim ini sangat cocok untuk memadukan perspektif budaya dengan teknologi global Samsung.

SRPOL memiliki pengalaman bertahun-tahun dalam Natural Language Processing. Yang menjadikannya unik adalah kemampuannya beradaptasi untuk bekerja pada bahasa apa pun berkat tim yang berdedikasi serta tools mereka, seperti platform crowdsourcing yang menyajikan pengembangan yang cepat dan gesit.

“Kolaborasi di seluruh benua ini berarti pengumpulan data, anotasi, dan penelitian tanpa henti, yang telah menjadi sesuatu yang sangat kami nikmati,” ujar Kornel Jankowski, Head of Speech Decoding, SRPOL. “Kami telah mengerjakan begitu banyak bahasa sehingga tim kami mengembangkan keterampilan universal, agnostik akan bahasa. Ketika kami diminta untuk mendukung model bahasa baru, tanggapan semua orang adalah: “Oh wow, kita bisa belajar satu bahasa lagi, pasti akan seru!”

Sebuah Pusat Pengembangan Bahasa AI di Eropa

Bahasa adalah sebuah landasan budaya dan komunikasi di seluruh Eropa, terlepas dari apakah bahasa itu dimasukkan ke dalam teknologi. Namun, hal ini menghadirkan tantangan unik bagi tim di SRPOL, yang mengembangkan model AI untuk bahasa-bahasa di Eropa.

“Setiap bahasa dan budaya yang menjadi bagiannya, memiliki rintangan yang membuat kami mengevaluasi kembali cara kami memandang suatu masalah,” jelas Adam Ros, Head of Artificial Intelligence, SRPOL. Rintangan ini termasuk menavigasi frasa tertentu yang tidak dapat diterjemahkan dan menangani ekspresi idiomatik yang mungkin tidak memiliki padanan langsung dalam bahasa lain.

Tim melihat tantangan ini sebagai peluang untuk menjadikan SRPOL sebagai pusat pengembangan bahasa AI di Eropa. Manfaat terbesar dari hal ini adalah memperpendek jalur komunikasi antara departemen yang berbeda dan yang terpenting, proses pengambilan keputusan. Baik itu masalah pengenalan suara otomatis, terjemahan neural machine, atau text-to-speech, tim dapat dengan mudah menghampiri kolega di bagian Mobile Quality Assurance dan memecahkan masalah secara efisien bersama-sama.

Meskipun hal ini telah membantu, namun belum mengatasi semua tantangan AI. Tentu saja, ada keterbatasan dalam model AI ketika berhadapan dengan berbagai bahasa Eropa, seperti menerjemahkan tanpa konteks atau variasi intonasi. Namun, tim melihat hal ini sebagai kesempatan untuk terus belajar dan berinovasi.

“Tim saya tidak pernah berhenti pada satu contoh saja ketika menangani kata atau topik baru. Beberapa bahasa Eropa lebih sulit daripada bahasa lainnya,” tambah Ros. Jika Anda pernah ke Spanyol, Anda pasti tahu bahwa bahasa Spanyol sering diucapkan dengan kecepatan yang sangat tinggi dan kami harus melatih AI dengan baik untuk mengatasi kendala tersebut.”

Ekspansi Galaxy AI membutuhkan kolaborasi lintas benua yang baru, tetapi pekerjaan ini langsung berkembang melampaui perbatasan Eropa. SRPOL mendukung upaya tim Yordania untuk mengajarkan berbagai macam dialek bahasa Arab kepada Galaxy AI, begitu juga dengan upaya tim Brasil dalam mempelajari bahasa-bahasa Amerika Latin.

Pentingnya perbedaan bahasa dan perbedaan budaya yang sangat tipis sekalipun ada dalam radar para pengembang produk SRPOL karena semua itu dapat diketahui oleh target – pengguna akhir.

“Ada perbedaan tipis di antara budaya Eropa yang berdampak pada apakah sesuatu terasa alami bagi pengguna akhir. Sebagai contoh, orang-orang di beberapa negara berharap untuk membaca harga dengan simbol euro (€), sementara yang lain terbiasa melihatnya dieja, e-u-r-o-s,” kata Agata Maria Rozycka, Head of Voice Intelligence Research, SRPOL. “Jika nuansa budaya ini tidak tercermin dalam teks terjemahan, interfacenya mungkin akan terlihat kurang intuitif bagi pengguna. Menerapkan wawasan tingkat mikro ini ke dalam desain interface dapat membuat teknologi terasa lebih alami di berbagai budaya.”

“Tim ini telah berkomunikasi dan berkolaborasi dari jarak jauh di berbagai negara selama bertahun-tahun, membangun berbagai kanal komunikasi yang efektif,” ujar Marcin Mrugala, Head of Mobile Quality Assurance, SRPOL. “Kami siap untuk melakukan bagian kami dalam membantu Galaxy AI untuk mengurangi hambatan bahasa di seluruh dunia.”

Teknologi untuk Menjembatani Budaya

Mengelola dan mengintegrasikan wawasan bahasa dan budaya yang beragam merupakan tugas yang menantang, tetapi sangat penting bagi visi Samsung untuk Galaxy AI – mengatasi hambatan yang memisah-misahkan orang berdasarkan bahasa dan budaya, dan memungkinkan mereka untuk menciptakan koneksi yang lebih dalam.

“Kami tidak hanya membangun teknologi masa depan, kami juga membangun tim masa depan. Praktik terbaik kami dirancang untuk menyempurnakan produk berdasarkan perbedaan di berbagai negara, namun pada dasarnya kami percaya bahwa persamaan kami jauh lebih besar daripada perbedaan kami dan teknologi kami dapat menyatukan budaya,” ujar Mrugala.

“Tujuan kami adalah menyatukan orang-orang, membuat hidup mereka lebih mudah, dan menyederhanakan pekerjaan sehari-hari mereka. Kami melihat keluarga kami menggunakan Voice Recorder dengan cara yang baru, dan kami sekarang dapat menelepon teman-teman kami dari berbagai negara dan berbicara dengan mereka dalam bahasa mereka sendiri. Sungguh ajaib melihat perubahan yang terjadi di dunia ini dan menjadi bagian darinya. Galaxy AI menyatukan orang-orang SRPOL dan kini kami menyatukan dunia,” pungkas Rozycka.

Tersembunyi di Vellore Institute of Technology  di Chennai, India, terdapat sebuah laboratorium yang dipenuhi dengan peralatan audio futuristik. Kita akan menemukan manekin – yang dikenal di industri ini sebagai head and torso simulator – serta mikrofon binaural dan perangkat pendengaran. Semua peralatan ini disimpan di ruang khusus yang dilengkapi dengan sistem penyerapan suara yang canggih, menjadikan laboratorium ini yang pertama dari kelasnya di India. Bayangkan fasilitas seperti ini digunakan untuk mengembangkan peralatan high fidelity (Hi-Fi) kelas atas yang mutakhir.

Di sinilah, Vellore Institute of Technology berkolaborasi dengan Samsung untuk menghasilkan dan mengembangkan data serta insight yang mendukung model AI terbaru untuk pengembangan kemampuan bahasa Galaxy AI. Fasilitas ini dikembangkan sebagai bagian dari Samsung SEED (Students Ecosystem for Engineered Data) Labs – sebuah inisiatif yang mendukung staf universitas, mahasiswa, dan anak magang di India untuk mengerjakan proyek-proyek yang diminta oleh Samsung sejak tahun 2021. Ini hanyalah salah satu dari beberapa program universitas yang didanai oleh Samsung di mana para mahasiswa berkesempatan untuk mengerjakan proyek dengan para ahli teknologi dari perusahaan.

“Sebagai mahasiswa, saya senang bisa mengerjakan berbagai proyek dengan perusahaan yang ternama dan dihormati seperti Samsung,” ujar Yashika Ilanchezhiyan, mahasiswa Samsung SEED. “Saya diberi kepercayaan diri untuk mempelajari keterampilan baru dengan cara yang nyata dan saya merasa membuat perbedaan yang signifikan pada produk yang ada saat ini dan yang akan datang.”

“Kolaborasi seperti ini merupakan situasi yang saling menguntungkan,” ujar Giridhar Jakki, Head of Language AI di Samsung R&D Institute India – Bangalore (SRI-B). “Berkat proyek-proyek kami dengan berbagai universitas, kami dapat mendapatkan tambahan ahli dan dataset khusus. Universitas yang berpartisipasi mendapatkan investasi, insentif finansial, dan mentoring ahli dari Samsung sebagai hasilnya.”

Mengurangi Hambatan Bahasa

SRI-B telah berkolaborasi dengan tim di seluruh dunia untuk mengembangkan model bahasa AI untuk bahasa Inggris Inggris, India, dan Australia, serta bahasa Thailand, Vietnam, dan Indonesia. Baru-baru ini, para engineer dari pusat Samsung Research lainnya mengunjungi Bangalore, India – di mana tim SRI-B membantu meningkatkan teknologi untuk menghadirkan bahasa Vietnam, Thailand, dan Indonesia ke Galaxy AI. Oleh karena itu, SRI-B memiliki posisi yang ideal untuk mengembangkan bahasa Hindi untuk Galaxy AI.

“Setiap bahasa pasti ada tantangannya,” kata Jakki. “Namun, ketika Anda mengingat tujuan utamanya, yaitu memberikan kemampuan kepada orang-orang untuk berkomunikasi dalam bahasa lain, semua itu sepadan dengan usaha yang dilakukan. Kami bersemangat untuk menghadirkan bahasa Hindi ke Galaxy AI.”

Mengembangkan model AI bahasa Hindi tidaklah mudah. Tim harus memerhatikan lebih dari 20 dialek regional, perbedaan nada, tanda baca, dan bahasa sehari-hari. Selain itu, penutur bahasa Hindi sering kali mencampurkan kata-kata bahasa Inggris dalam percakapan mereka. Hal ini mengharuskan tim untuk melakukan beberapa tahap pelatihan model AI dengan kombinasi data yang diterjemahkan dan dialihbahasakan.

“Bahasa Hindi memiliki struktur fonetik kompleks yang mencakup suara retrofleks – suara yang dibuat dengan cara melengkungkan lidah ke belakang di dalam mulut – yang tidak ada di banyak bahasa lain,” kata Jakki. “Untuk membangun elemen sintesis ucapan dari solusi AI, kami dengan hati-hati meninjau data dengan ahli bahasa penutur asli untuk memahami semua suara unik dan menciptakan serangkaian fenomena khusus untuk mendukung dialek bahasa tertentu.”

Kolaborasi antara Samsung dan mitra akademis berperan penting dalam mengembangkan model bahasa AI yang mencerminkan nuansa budaya daerah-daerah di India. Vellore Institute of Technology membantu mengamankan hampir satu juta baris data audio yang tersegmentasi dan terkurasi tentang percakapan, kata-kata, dan perintah. Data merupakan komponen penting untuk sebuah proses yang sangat penting seperti menggabungkan bahasa keempat yang paling banyak digunakan di dunia ke dalam Galaxy AI. Bekerja sama dengan universitas menjamin Samsung untuk menggunakan data dengan kualitas terbaik.

Koneksi Global Memberikan Dampak Besar

Proyek ini dengan sempurna merangkum filosofi Samsung tentang kolaborasi terbuka dan keyakinan perusahaan bahwa berbagi ilmu dan perspektif akan menghasilkan inovasi yang bermanfaat. Dalam kasus SRI-B, hal ini tidak hanya mencakup kerja sama dengan akademisi, tetapi juga berbagi wawasan dan praktik terbaik dengan pusat penelitian Samsung lainnya di seluruh dunia.

“Saya sangat bangga dengan apa yang telah kami capai dengan bantuan para mitra kami,” ujar Jakki. “Inovasi AI melalui kolaborasi adalah bagian besar dari apa yang kami lakukan. Kami akan terus memahami, mengumpulkan, dan menganalisis data bahasa dengan lebih baik sehingga lebih banyak orang yang dapat memiliki akses ke perangkat AI di masa depan.”

Sebagai negara yang beragam dengan lebih dari 203 juta penduduk yang memiliki beragam budaya dan tradisi, Brazil menggunakan bahasa Portugis sebagai bahasa resminya. Sementara itu, 22 negara tetangganya menggunakan bahasa Spanyol Amerika Latin.

Meskipun bahasa Portugis Brazil dan Spanyol Amerika Latin digunakan secara luas, detail variasi dalam kedua bahasa tersebut menjadi tantangan tersendiri saat mengajari Galaxy AI untuk mengidentifikasi dan memilah perbedaan regional. Itulah sebabnya Samsung R&D Institute Brazil (SRBR) berkolaborasi dengan para ahli Samsung dari Meksiko – serta mitra pihak ketiga seperti institut sains dan teknologi SiDi dan Sidia – untuk membentuk tim multidisiplin dan berketerampilan tinggi yang dapat menangani tantangan tersebut.

Hambatan yang Lebih Rendah, Pemahaman yang Lebih Tinggi

Para anggota tim menggunakan ribuan sumber serta kombinasi pembelajaran mesin dan alat pemrosesan bahasa untuk meningkatkan kemampuan model AI dalam mengenali ucapan, teks tertulis, dan variasi bahasa daerah. Namun, jargon lokal dan nama-nama tokoh terkenal – termasuk tim olahraga, selebriti, dan band – sangat bervariasi di setiap daerah. Selain itu, makna yang sama dapat diekspresikan dalam banyak kata yang berbeda. Meskipun model bahasa membutuhkan data lokal untuk mendapatkan pemahaman yang komprehensif tentang berbagai bahasa yang akan diterjemahkan, variasi seperti itu tentunya menimbulkan berbagai hambatan.

Sebagai contoh, di Meksiko, kolam renang disebut “alberca”, namun di Argentina, Paraguay, dan Uruguay disebut “pileta”. Sementara itu, di Kolombia, Bolivia dan Venezuela, kolam renang adalah “piscina”, yang juga digunakan di Brazil namun dengan sedikit perbedaan nada. Dan sementara orang Kolombia mungkin mengatakan “chévere” untuk menyebut sesuatu yang keren, orang Meksiko mengatakan “padre”.

Perbedaan-perbedaan ini merupakan tantangan besar bagi pemahaman dan pembelajaran bahasa AI, tetapi tim kami berhasil mengatasinya dengan membangun model bahasa yang lebih besar, menyempurnakan alat pemrosesan – dan berkolaborasi melintasi batas negara dan zona waktu.

“Kami harus mempertimbangkan bahasa slang lokal dan cara bertutur yang berbeda sebelum mengadaptasi dan menguji model yang sesuai, yang membutuhkan kolaborasi erat antara tim quality assurance (QA) dan tim pengembangan di SRBR,” ujar Mateus Pedroso, Senior Manager and Head of Software Quality Lab, SRBR. “Karena SRBR berlokasi tiga jam lebih cepat dari tim QA di Meksiko dan 12 jam lebih lambat dari tim manajemen di Korea, kami harus membuat kanal dan proses komunikasi baru untuk menyelaraskan hasil dan berbagi info. Kolaborasi multikultural ini menghasilkan banyak sekali ide dan solusi untuk Galaxy AI.”

Mengkomunikasikan Keberhasilan

Filosofi kolaborasi terbuka Samsung menjadi nyata dalam proyek regional ini karena merupakan proses berulang yang memanfaatkan teknologi yang terus berevolusi dalam skala global. Untuk mengatasi hambatan bahasa dan budaya, tim SRBR perlu mengumpulkan dan mengelola data dalam jumlah besar – dengan terus menyempurnakan dan memperbaiki sumber audio dan teks.

Tim ini membagi-bagi area tanggung jawab utama untuk memastikan setiap orang dapat memperoleh manfaat dari keahlian kolektif di seluruh kantor Amerika Latin perusahaan. Tim pengembangan SRBR berperan sebagai stakeholder perantara dari proyek ini, menerima arahan dari kantor pusat Samsung dan mengembangkan pembaruan baru untuk menyempurnakan model AI sekaligus melakukan pengujian untuk berbagai use case.

“Fase pengujian membutuhkan komunikasi dan kolaborasi yang mendalam dengan tim QA untuk mengoptimalkan pengalaman pengguna, dan setiap penyesuaian membutuhkan pengujian dan peninjauan lebih lanjut,” kata Leandro Flores de Moura, Software Development Manager di SiDi. “Keberhasilan kemampuan bahasa pada Galaxy AI dibangun di atas komunikasi dan kolaborasi, yang berperan sama pentingnya seperti keahlian teknis,” tambah Nathan Castro, QA Test Developer di SiDi.

Arah dan Tujuan untuk Budaya

Yang membuat Galaxy AI sangat menarik bagi semua orang yang terlibat adalah fakta bahwa ini bukan sekadar proyek bahasa. Bagi mereka, bahasa adalah panduan budaya yang memberikan wawasan berharga tentang asal-usul dan identitas masyarakat.

“Bagi tim QA SiDi, ini adalah upaya yang akan mengubah dunia dengan memungkinkan berbagai budaya untuk bersatu dan mengatasi kesulitan berkomunikasi dalam bahasa yang berbeda,” tambah Estefanía Castro Suárez, Test Developer di SiDi. “Mengetahui bahwa kami menjadi bagian dari proyek ini membuat kami merasa bangga dan termotivasi.”

“Cara tim SRBR berkolaborasi menunjukkan apa yang ingin dicapai oleh Galaxy AI-membuat dunia menjadi tempat yang lebih kecil dengan berkomunikasi, berbagi, dan berinteraksi dengan orang lain, bahkan dengan mereka yang berbicara dalam bahasa yang berbeda,” pungkas Pedroso. “Kemampuan ini hanya akan berkembang seiring dengan semakin banyaknya bahasa yang digunakan dalam Galaxy AI.”

Sembari Samsung terus memelopori pengalaman mobile AI premium, kami mengunjungi lokasi Samsung Research di seluruh dunia untuk mempelajari bagaimana Galaxy AI membantu lebih banyak pengguna untuk memaksimalkan potensi mereka. Galaxy AI kini mendukung 16 bahasa, sehingga lebih banyak orang yang dapat memperluas kemampuan bahasa mereka, bahkan saat offline, berkat penerjemahan on-device dalam fitur-fitur seperti Live Translate, Interpreter, Note Assist, dan Browsing Assist. Namun, apa saja yang terlibat dalam pengembangan bahasa AI? Sebelumnya, kami mengunjungi Vietnam untuk belajar tentang menyiapkan data yang digunakan untuk melatih model AI. Kali ini, kami melihat bagaimana para anggota tim menjadikan Galaxy AI sebagai penawaran unik di China daratan dan Hong Kong.

Pertumbuhan pesat perangkat AI yang menggunakan Large Language Model (LLM) telah terlihat di seluruh dunia, tidak terkecuali di China. Samsung R&D Institute China bermitra dengan ERNIE Bot dari Baidu dan MiracleVision dari Meitu yang menjadi pilihan populer di China, untuk membantu mengembangkan fitur-fitur Galaxy AI di China.

Samsung R&D Institute China di Guangzhou (SRC-G) dan Beijing (SRC-B) berperan dalam memastikan penutur bahasa Mandarin di China mendapatkan pengalaman Galaxy AI yang sama dengan pengguna lain di seluruh dunia, meskipun teknologi back-end-nya terlihat sangat berbeda. Tim ini memanfaatkan sumber daya khusus dialek bahasa Mandarin dari mitra pihak ketiga dan membangun solusi Galaxy AI yang unik untuk China.

“Kami memiliki keunggulan dalam memadukan best practice global dengan praktik lokal China, serta menciptakan fitur-fitur baru dan terus menyempurnakannya melalui komunikasi sehari-hari dengan konsumen China,” kata Hairong Zhang, Software Innovation Group Leader di SRC-G. “Dengan pengalaman pengembangan yang kaya dari Galaxy S24, saya bangga dengan cara tim kami bekerja sama dengan perusahaan AI lokal China seperti Baidu dan Meitu untuk memberikan solusi yang relevan di China.”

Pada awalnya, semua tim harus menyesuaikan diri dengan gaya kerja masing-masing dan mengatasi kekusutan akibat informasi yang tidak lengkap. Daijun Zhang, kepala SRC-B, membentuk gugus tugas untuk memastikan proyek ini mengikuti jadwal pengembangan dan bergerak cepat untuk mencapai tujuannya.

Berkat pengalaman tim Beijing dalam membuat model-model skala besar, dan dengan kolaborasi yang sukses dengan mitra pihak ketiga, semua fitur AI generatif berhasil diluncurkan di China. Hasilnya adalah solusi yang memiliki relevansi lokal dan spesifik untuk pasar tersebut, seperti Touch to Search.

Ekspansi bahasa Mandarin untuk mengembangkan dialek Kanton

Bahasa Mandarin untuk daratan China (Mandarin) telah hadir di Galaxy AI dengan diluncurkannya Galaxy S24 pada bulan Januari 2024. Namun, tugas Samsung R&D Institute China masih jauh dari kata rampung. Tim ini juga ditugaskan untuk mengembangkan model AI untuk bahasa Mandarin di Hong Kong (Kanton), sebuah dialek yang memanfaatkan pengembangan yang sudah dilakukan untuk bahasa Mandarin, namun dengan fitur bahasa yang benar-benar baru yang juga perlu ditangani.

Dalam pengembangan bahasa Kanton, tim R&D China menghadapi beberapa tantangan budaya yang besar, yang perlu dipecahkan untuk mendukung upaya pendekatan lokal. Fenomena budaya yang pertama adalah dua set sistem untuk menulis dan berbicara. Penduduk lokal Hong Kong menggunakan tata bahasa dan ekspresi yang mirip dengan bahasa Mandarin saat menulis, tetapi mengadopsi tata bahasa yang sangat berbeda saat berkomunikasi sehari-hari. Selain itu, bahasa Kanton memiliki sembilan nada untuk pengucapan, sedangkan bahasa Mandarin hanya memiliki empat nada.

Fenomena budaya lainnya adalah dialek Kanton itu sendiri berkembang seiring waktu. Ditambah lagi dengan fakta bahwa orang sering mencampurkan bahasa Kanton dan bahasa Inggris ke dalam percakapan, maka jelaslah mengapa membuat test case dan upaya memvalidasi paket bahasa menjadi rumit.

“Bahasa Kanton adalah dialek yang sangat unik dengan berbagai variasi sesuai wilayah penutur bahasa Kanton,” ujar Jing Li, yang memimpin operasi pengujian solusi AI Kanton. “Beberapa bahasa slang, frasa, kosakata, dan bahkan nadanya bervariasi dari satu tempat ke tempat lain. Oleh karena itu, kami melakukan sejumlah besar penelitian untuk memverifikasi data spesifik Hong Kong, serta mengoreksi puluhan ribu test case yang relevan.”

Dengan mempertimbangkan kerumitan ini, SRC-G dan SRC-B bekerja sama untuk menunjang deep code mix menggunakan campuran bahasa Kanton dan Inggris untuk pengenalan suara, secara Bersama-sama menunjang ekspresi tertulis dan lisan dalam penerjemahan mesin, serta merefleksikan pelafalan terkini dalam sintesis suara.

Dampak budaya dari komunikasi

Ketika Galaxy AI meluncurkan opsi bahasa Mandarin (Hong Kong), tanggapan konsumen menunjukkan bahwa kerja keras tim Samsung R&D tidak sia-sia.

Untuk China daratan maupun Hong Kong, aktivitas Samsung Galaxy AI menunjukkan pentingnya merek global hadir secara lokal dan punya tenaga ahli lokal. serta punya kemampuan untuk berkolaborasi terbuka dengan perusahaan lain. Di Hong Kong, bahasa Kanton adalah bagian penting dari identitas budaya mereka yang tinggal di sana. Itulah mengapa sangat penting bagi tim untuk mengembangkan model bahasa AI yang tepat.

“Bahasa dan komunikasi sangat penting di setiap wilayah dan di semua aktivitas masyarakat,” kata Henry Wat, yang mengepalai tim engineer di Samsung Electronics Hong Kong. “Apa pun bahasanya, alat apa pun yang membantu orang berkomunikasi sangatlah berharga. Saya yakin apa yang kami lakukan sangat berarti.”

Dalam episode The Learning Curve berikutnya, kita akan menuju ke Brazil untuk melihat bagaimana sebuah tim melakukan upaya lintas budaya dan negara untuk menghadirkan Galaxy AI kepada lebih banyak orang.

Samsung menjadi pelopor pengalaman mobile AI premium. Untuk mempelajari bagaimana Galaxy AI memaksimalkan potensi penggunanya, kami mengunjungi berbagai lokasi Samsung Research di seluruh dunia. Kini mendukung 16 bahasa, Galaxy AI membantu lebih banyak orang untuk memperluas kemampuan bahasa mereka, bahkan saat offline, berkat penerjemahan on-device dalam fitur-fitur seperti Live Translate, Interpreter, Note Assist, dan Browsing Assist. Baru-baru ini kami mengunjungi Yordania untuk mempelajari kompleksnya pengembangan model AI untuk bahasa Arab, sebuah bahasa yang memiliki banyak dialek. Kali ini, kami akan pergi ke Vietnam untuk mengeksplorasi bagaimana data disiapkan untuk melatih model-model AI.

Apa perbedaan antara hantu, kuburan dan ibu dalam bahasa Vietnam? Untuk bahasa yang digunakan oleh 97 juta orang di seluruh dunia, perbedaannya sangat sedikit. Ketiga kata tersebut diterjemahkan menjadi “ma”, “mả” dan “má”, dan hanya dapat dibedakan dengan nada. Hal ini menggambarkan tingkat kesulitan yang dihadapi model AI untuk mempelajari suatu bahasa, mengingat model tersebut tidak dapat mengenali secara langsung konteks dan emosi percakapan atau maksud dari orang yang mengucapkan kata-kata tersebut.

Samsung R&D Institute Vietnam (SRV) menggunakan data yang telah disempurnakan untuk membantu model AI mereka mengidentifikasi dengan tepat, bahkan perbedaan nuansa bahasa yang paling halus sekalipun.

Kualitas data yang digunakan secara langsung mempengaruhi keakuratan pengenalan suara otomatis (automatic speech recognition / ASR), neural machine translation (NMT), dan text-to-speech (TTS) – proses yang membantu fitur-fitur Galaxy AI seperti Live Translate, Interpreter, Chat Assist, dan Browsing Assist untuk mengatasi hambatan bahasa.

Badai Tantangan

“Bahasa Vietnam adalah bahasa yang kompleks dan beragam dengan ekspresi yang kaya, yang kebanyakan cukup menantang untuk dipahami,” ujar Ngô Hồng Thái, NMT lead di SRV. Dari 16 bahasa yang didukung Galaxy AI, bahasa Vietnam cukup sulit untuk dikembangkan.

“Secara pribadi, membuat model AI untuk Bahasa Vietnam lebih menantang daripada angin topan!” tambahnya sebelum menjelaskan rintangan yang dihadapi selama proses pengembangan.

Bahasa Vietnam adalah bahasa tonal dengan enam nada yang berbeda. Seperti yang terlihat pada contoh “ma” di atas, perbedaan nuansa kecil dalam pengucapan bisa mengubah makna kata secara drastis. Oleh karena itu, diperlukan pendekatan yang cermat dan terperinci.

“Saat menguraikan kata-kata yang terdengar mirip, satu kata terdiri dari beberapa segmen pendek, atau ‘frame set’,” kata Bui Ngoc Tung, ASR lead di SRV. “Model AI membedakan antara frame audio pendek sekitar 20 milidetik untuk mengenali kata mana yang cocok dengan rangkaian frame dengan urutan tertentu. Oleh karena itu, sangat penting untuk mengerahkan upaya besar pada tahap awal proses pembelajaran AI.”

Selain itu, homofon dan homonim adalah hal yang umum dalam bahasa Vietnam. Orang biasanya dapat mengandalkan konteks dan elemen nonverbal dalam percakapan untuk membedakan kata-kata yang terdengar sama atau ditulis sama tetapi memiliki arti yang berbeda. Namun, model AI perlu diajari agar dapat mengidentifikasi dan membedakan secara akurat antara nada dan kata-kata yang mirip.

“Ini bukanlah tugas yang sederhana,” jelas Thái. “Terlepas dari jumlahnya, datanya harus akurat untuk memastikan bahwa AI mampu mengidentifikasi nuansa linguistik yang ada dalam bahasa Vietnam.”

Persiapan yang Terperinci

Proses penyempurnaan data terdiri dari tiga langkah. Pertama, audio dan teks yang digunakan untuk melatih model AI harus ditinjau dan diperbaiki. Kemudian, dataset ini menjalani pemeriksaan acak untuk menjaga kualitas secara keseluruhan. Terakhir, dataset dinormalisasi dan dibersihkan sebelum digunakan dalam pelatihan.

“Kami melakukan serangkaian tes secara menyeluruh untuk memeriksa keakuratan dataset kami,” kata Nguyen Manh Duy, TTS lead di SRV yang mengawasi pembuatan database. “Kami menghadapi sejumlah masalah yang tidak terduga termasuk kata-kata yang salah eja dalam skrip dan noise di latar belakang atau pengucapan yang salah selama rekaman audio. Kami menghabiskan banyak waktu untuk menyempurnakan dan meningkatkan data pelatihan kami.”

Bagian penting dari proses penyempurnaan data dan perjalanan membawa data AI dari yang bagus menjadi luar biasa adalah hasil karya tim Software Quality Engineering (SQE). Tim ini memainkan peran penting dalam menguji dan meningkatkan kualitas data bahasa AI dan mereka bekerja sama dengan tim proyek pengembangan bahasa AI untuk mewujudkannya.

Selain tantangan linguistik yang unik dalam bahasa Vietnam, ada kekurangan data yang dapat diakses secara universal dibandingkan dengan bahasa-bahasa lain yang digunakan secara luas. “Ini adalah alasan lain mengapa tahap penyempurnaan data sangat penting,” tambahnya. “Karena kami memiliki sumber yang terbatas, setiap bagian dari data harus reliabel sepenuhnya. Tidak boleh ada celah untuk kesalahan.”

Selain itu, model AI untuk bahasa Vietnam harus mempertimbangkan perbedaan tonal dan regional. Untuk meningkatkan akurasi model AI, tim tersebut mengumpulkan sejumlah besar data dengan aksen Vietnam utara, tengah, dan selatan – menghasilkan banyak sekali informasi untuk disempurnakan dan diverifikasi.

Peningkatan Lebih Lanjut

Para developer di SRV menyelesaikan proyek ini setelah kerja keras selama berbulan-bulan, dan bahasa Vietnam menjadi salah satu bahasa pertama yang didukung oleh Galaxy AI. Terlepas dari keberhasilan ini, tim terus berupaya untuk meningkatkan pengalaman bahasa Vietnam di Galaxy AI.

“Kami terus menyempurnakan model AI dengan melibatkan masukan dari pengguna mengenai relevansi kata dan frasa dalam Galaxy AI,” ujar Tran Tuan Minh, pemimpin proyek pengembangan bahasa AI di SRV. “Kami baru saja mengambil langkah pertama menuju dunia yang lebih terbuka – dan masih banyak hal yang harus kami jelajahi bersama.”

Dalam episode The Learning Curve berikutnya, kita akan pergi ke China untuk mempelajari bagaimana model AI dilatih dan disempurnakan.

Mengajarkan sebuah bahasa ke model AI adalah proses yang kompleks, tetapi bagaimana jika bahasa yang diajarkan bukanlah bahasa tunggal, melainkan kumpulan dialek yang beragam? Itulah tantangan yang dihadapi oleh tim di Samsung R&D Institute Jordan (SRJO). Ketika “Bahasa Arab” ditambahkan sebagai pilihan bahasa untuk fitur Galaxy AI seperti Live Translate, tim harus mencakup berbagai dialek Arab yang tersebar di Timur Tengah dan Afrika Utara, yang masing-masing memiliki pelafalan, kosakata, dan tata bahasa yang berbeda-beda.

Bahasa Arab adalah salah satu dari enam bahasa lisan yang paling banyak digunakan di seluruh dunia, yang digunakan setiap hari oleh lebih dari 400 juta orang^[1]. Bahasa ini dikategorikan ke dalam dua bentuk: Fus’ha (Bahasa Arab Standar Modern) dan Ammiya (dialek-dialek bahasa Arab). Fus’ha biasanya digunakan di acara-acara publik dan resmi, serta dalam siaran berita, sedangkan Ammiya lebih sering digunakan untuk percakapan sehari-hari. Lebih dari 20 negara menggunakan bahasa Arab, dan saat ini terdapat sekitar 30 dialek di wilayah tersebut.

Aturan Tidak Tertulis

Dengan adanya berbagai variasi pada dialek-dialek ini, tim di SRJO menggunakan berbagai teknik untuk membedakan dan memproses fitur-fitur linguistik khas yang ada pada masing-masing dialek. Pendekatan ini sangat penting untuk memastikan bahwa Galaxy AI dapat memahami dan merespons dengan cara yang mencerminkan nuansa regional secara akurat.

“Tidak seperti bahasa lain, pelafalan objek dalam bahasa Arab bervariasi tergantung pada subjek dan kata kerja dalam sebuah kalimat,” kata Mohammad Hamdan, project leader pada tim pengembangan bahasa Arab. “Kami ingin mengembangkan sebuah model yang memahami semua dialek ini dan dapat menjawab dalam bahasa Arab standar.”

TTS adalah komponen dari fitur Live Translate di Galaxy AI yang membantu pengguna berinteraksi dengan penutur bahasa yang berbeda dengan menerjemahkan kata-kata yang diucapkan ke dalam teks tertulis, dan kemudian mereproduksinya secara lisan. Tim TTS menghadapi tantangan yang tidak biasa, yang disebabkan kebiasaan bekerja menggunakan bahasa Arab.

Bahasa Arab menggunakan diakritik, yang merupakan panduan pengucapan kata-kata dalam beberapa konteks, seperti teks religius, puisi, dan buku-buku untuk orang yang mempelajari bahasa. Diakritik dipahami secara luas oleh penutur asli tetapi tidak ada dalam tulisan sehari-hari. Hal ini menyulitkan mesin untuk mengubah teks mentah menjadi fonem, unit dasar suara yang menjadi dasar untuk pengucapan.

“Ada kekurangan dataset berkualitas tinggi dan reliabel yang secara akurat merepresentasikan penggunaan diakritik dengan benar,” jelas Haweeleh. “Kami harus merancang model neural yang dapat memprediksi dan mengembalikan diakritik yang hilang dengan akurasi tinggi.”

Cara kerja model neural mirip seperti otak manusia. Untuk memprediksi diakritik, sebuah model perlu mempelajari banyak teks bahasa Arab, mempelajari aturan-aturan bahasa ini, dan memahami bagaimana kata-kata digunakan dalam konteks yang berbeda. Sebagai contoh, pengucapan sebuah kata dapat sangat bervariasi tergantung pada tindakan atau gender yang digambarkan. Pelatihan ekstensif dari tim adalah kunci untuk meningkatkan akurasi model TTS Bahasa Arab.

Meningkatkan Pemahaman

Tim SRJO juga harus mengumpulkan beragam rekaman audio dialek dari berbagai sumber, yang harus ditranskripsikan, dan berfokus pada suara, kata, dan frasa yang unik. “Kami membentuk sebuah tim yang terdiri dari penutur asli dialek-dialek tersebut yang sangat memahami nuansa dan variasinya,” kata Ayah Hasan, yang bertanggung jawab atas pembuatan database. “Mereka mendengarkan hasil rekaman dan secara manual mengubah kata-kata yang diucapkan menjadi teks.”

Upaya ini sangat penting untuk mendukung proses Automatic Speech Recognition (ASR) sehingga Galaxy AI dapat memahami kekayaan nuansa bermacam dialek Arab. ASR sangat penting dalam mengaktifkan kemampuan pemahaman dan respons real-time Galaxy AI.

“Mengembangkan sistem ASR yang mendukung berbagai dialek dalam satu model merupakan hal yang kompleks,” ujar Mohammad Hamdan, ASR lead untuk proyek ini. “Hal ini menuntut pemahaman menyeluruh tentang seluk-beluk bahasa, pemilihan data yang cermat, dan teknik pemodelan yang canggih.”

Puncak Inovasi

Setelah berbulan-bulan melakukan perencanaan, pengerjaan, dan pengujian, tim ini siap untuk merilis bahasa Arab sebagai pilihan bahasa untuk Galaxy AI, memudahkan lebih banyak orang untuk berkomunikasi lintas batas. Tim ini telah mempermudah akses layanan Galaxy AI bagi penutur bahasa Arab, mengurangi hambatan bahasa dan budaya di antara mereka dan orang-orang di seluruh dunia. Dengan demikian, mereka telah menciptakan best practice baru yang dapat dijalankan secara global. Keberhasilan ini hanyalah permulaan: tim ini terus menyempurnakan model mereka dan meningkatkan kualitas kemampuan bahasa Galaxy AI.

Dalam episode berikutnya, kita akan pergi ke Vietnam untuk melihat bagaimana tim mereka memperbaiki data bahasa. Selain itu, apa saja yang diperlukan untuk melatih model AI yang efektif?

^[1]UNESCO, World Arabic Language Day 2023, https://www.unesco.org/en/world-arabic-language-day