(Ki-Ka) Kyoungbo Min, Hejung Yang, Hosang Sung dan Jiwon Kim, AI Solution Team at Samsung Research

Bayangkan kamu sedang merekam penampilan musisi jalanan, tapi suara klakson mobil justru lebih mendominasi daripada musiknya. Atau saat bikin vlog di kafe, obrolanmu nyaris tak terdengar gara-gara bisingnya suasana sekitar.

Hadir di Galaxy S25 Series, Audio Eraser dirancang untuk membantu pengguna menghilangkan suara latar yang mengganggu dan memperjelas suara utama dalam setiap rekaman video^[1] sehingga hasilnya lebih jernih. Fitur ini merupakan hasil dari pemahaman mendalam terhadap keinginan pengguna, yang diwujudkan melalui kolaborasi antara Samsung Research dan Mobile eXperience (MX) Business.

Hasilnya, fitur Audio Eraser menjadi sangat relevan dengan pengguna masa kini. Dari riset internal Samsung, Audio Eraser menempati posisi ke-2 sebagai fitur yang paling  menarik perhatian dengan total 51 persen pengguna yang menyatakan hal tersebut.

Berikut hasil perbincangan dengan tim AI Solution di Samsung Research untuk membahas lebih dalam bagaimana fitur inovatif ini dikembangkan.

Deteksi Sumber Suara: Masa Depan Teknologi Audio Generasi Baru

Audio Eraser menghadirkan kemudahan baru dalam mengedit suara di video. Dengan teknologi ini, kamu bisa langsung menghilangkan suara bising yang mengganggu dan menonjolkan audio penting sesuai keinginan. Fitur ini secara cepat memindai dan memisahkan berbagai jenis suara dalam video, baik itu rekaman sendiri maupun video yang kamu terima dari orang lain.

Sama seperti kehadiran Object Eraser yang dulu merevolusi proses edit foto di Galaxy S21 series, kini Audio Eraser membawa pengalaman multimedia yang lebih canggih dan seamless, baik dari sisi audio maupun video.

Audio Eraser memudahkan pengguna mengatur suara dalam video, termasuk mengurangi atau menghapus suara latar belakang yang mengganggu

Mengembangkan Model Deteksi dan Pemisahan Sumber Suara

Audio Eraser mampu membedakan enam jenis suara sekaligus, mulai dari suara manusia, musik, angin, suara alam, keramaian, hingga suara latar. Dengan teknologi deteksi sumber suara, fitur ini bisa secara cepat mengidentifikasi setiap suara yang terekam dalam video dan menentukan posisinya. Setelah itu, melalui teknologi pemisahan suara, Audio Eraser memisahkan serta mengelompokkan tiap bunyi ke kategori yang berbeda, sehingga hasil akhir jadi jauh lebih jernih dan fokus.

Untuk membangun model AI yang mampu mendeteksi dan memisahkan berbagai jenis audio, tim riset memulai dengan mengumpulkan data pelatihan yang komprehensif. Mereka mensimulasikan berbagai situasi perekaman video di dunia nyata untuk menghasilkan dataset audio yang beragam. Bahkan, tim juga turun langsung ke lapangan demi merekam suara-suara sehari-hari secara autentik.

“Angin menjadi tantangan tersendiri bagi kami,” ujar Hejung Yang dari AI Solution Team Samsung Research. “Selain terus menyempurnakan teknologi simulasi angin, kami juga memperkaya dataset dengan merekam suara angin asli di luar ruangan setiap kali ada angin kencang, bahkan di luar jam kerja atau saat akhir pekan.”

Tak berhenti di situ, tim meluangkan banyak waktu dengan menelaah ribuan klip video berulang kali demi memastikan kualitas pemisahan suara benar-benar optimal.

“Setiap pengembang membandingkan dan menganalisis lebih dari 1.000 sampel audio setiap minggu dalam berbagai kondisi,” tambah Jiwon Kim. “Melalui eksperimen tanpa henti, kami terus mencari model terbaik agar pengguna selalu mendapatkan hasil audio yang konsisten dan berkualitas tinggi.”

Para Samsung Research mengembangkan teknologi audio untuk fitur Audio Eraser.

Menghadirkan Pengalaman Mendengarkan yang Berorientasi pada Pengguna

Audio Eraser berjalan langsung di perangkat, sehingga pengguna bisa menikmati pengalaman editing audio secara real-time sekaligus perlindungan privasi yang lebih baik. Keberhasilan fitur ini tak lepas dari pengalaman panjang Samsung dalam mengembangkan teknologi AI on-device yang kompetitif untuk berbagai fitur.

“Kami benar-benar fokus mengembangkan model dan algoritma AI yang mampu memproses data dengan cepat langsung di perangkat,” ujar Hosang Sung. “Kami mencurahkan banyak upaya agar solusi AI ini tetap optimal, lancar digunakan, dan hemat daya.”

Didukung oleh infrastruktur riset AI kelas dunia, Samsung Research terus mendorong batas inovasi di bidang teknologi audio.

“Kami berkomitmen menghadirkan solusi generasi baru yang semakin meningkatkan kemudahan penggunaan perangkat mobile,” kata Hoonyoung Cho, Vice President dan Kepala AI Solution Team di Samsung Research. “Lewat teknologi kontrol suara dan peningkatan kualitas audio, kami ingin memberikan pengalaman mendengarkan yang sepenuhnya sesuai kebutuhan dan preferensi personal mereka.”

Samsung Research mengembangkan fitur Audio Eraser langsung dari ruang kedap suara

Kolaborasi Erat dengan Tim Pengembangan Produk

Mengubah hasil riset canggih menjadi solusi nyata bagi konsumen bukanlah perkara mudah. Salah satu tantangan terbesar adalah memastikan proses editing video dan audio berjalan mulus tanpa hambatan. Selain itu, mengedit video berdurasi lebih dari satu jam membutuhkan teknologi khusus agar prosesnya bisa selesai dalam waktu yang sama.

Untuk menjawab tantangan ini, Samsung Research dan MX Business menjalin kerja sama, mulai dari merancang ide-ide berorientasi pada kebutuhan pengguna, menguji berbagai teknik optimasi software, hingga mengevaluasi kualitas audio secara berkala. Bersama, mereka menelusuri berbagai pendekatan demi menemukan solusi paling efektif.

Kolaborasi lintas divisi ini juga telah terbukti sukses dalam pengembangan Galaxy Buds3 series (Buds3, Buds3 Pro). Seiring meningkatnya kebutuhan akan pengalaman mendengarkan yang jernih di lingkungan bising, baik untuk menikmati musik, media, maupun percakapan telepon yang lebih jernih, fitur Active Noise Cancellation (ANC) kini menjadi standar penting pada earbud nirkabel. Samsung pun melangkah lebih jauh dengan menghadirkan teknologi Adaptive ANC miliknya sendiri. Galaxy Buds3 series mampu menyesuaikan performa ANC sesuai bentuk telinga setiap pengguna dan perubahan posisi akibat pemakaian lama, sehingga kualitas peredaman tetap optimal.

Karena earbud langsung digunakan di telinga, koordinasi antara tim hardware dan software sangat krusial untuk menentukan spesifikasi produk sekaligus menyempurnakan teknologi ANC.

“Kami mengembangkan beberapa algoritma sejak awal untuk mengantisipasi berbagai kondisi hardware,” ujar Kyoungbo Min. “Lewat simulasi yang intensif, kami menciptakan solusi yang fleksibel dan siap diterapkan di berbagai perangkat. Meski proses pengembangannya melibatkan revisi dan penyempurnaan berulang, kolaborasi erat antara tim riset dan tim produk membuat inovasi ini bisa lebih cepat dinikmati pengguna.”

Samsung Researcher sedang melakukan uji akustik untuk memisahkan suara manusia dari noise di latar.

Teknologi pemisahan sumber suara menjadi fondasi utama audio generasi baru, dan Samsung terus berinovasi di ranah ini. Lewat pemanfaatan maksimal fitur Audio Eraser, Samsung siap membawa teknologi ini ke berbagai aplikasi lain yang lebih luas. Galaxy AI akan terus berkembang untuk menghadirkan berbagai fitur yang lebih praktis dan intuitif bagi pengguna.

[1] Hasil dapat berbeda-beda tergantung pada video dan bagaimana suara muncul dalam video. Login Akun Samsung diperlukan. Jenis suara tertentu dapat dideteksi seperti suara manusia, musik, angin, suara alam, keramaian, dan kebisingan. Deteksi suara sebenarnya dapat bervariasi tergantung pada sumber audio dan kondisi video. Akurasi hasil tidak dijamin.

Samsung menjadi pelopor pengalaman mobile AI premium. Untuk mempelajari bagaimana Galaxy AI memaksimalkan potensi penggunanya, kami mengunjungi berbagai lokasi Samsung Research di seluruh dunia. Kini mendukung 16 bahasa, Galaxy AI membantu lebih banyak orang untuk memperluas kemampuan bahasa mereka, bahkan saat offline, berkat penerjemahan on-device dalam fitur-fitur seperti Live Translate, Interpreter, Note Assist, dan Browsing Assist. Baru-baru ini kami mengunjungi Yordania untuk mempelajari kompleksnya pengembangan model AI untuk bahasa Arab, sebuah bahasa yang memiliki banyak dialek. Kali ini, kami akan pergi ke Vietnam untuk mengeksplorasi bagaimana data disiapkan untuk melatih model-model AI.

Apa perbedaan antara hantu, kuburan dan ibu dalam bahasa Vietnam? Untuk bahasa yang digunakan oleh 97 juta orang di seluruh dunia, perbedaannya sangat sedikit. Ketiga kata tersebut diterjemahkan menjadi “ma”, “mả” dan “má”, dan hanya dapat dibedakan dengan nada. Hal ini menggambarkan tingkat kesulitan yang dihadapi model AI untuk mempelajari suatu bahasa, mengingat model tersebut tidak dapat mengenali secara langsung konteks dan emosi percakapan atau maksud dari orang yang mengucapkan kata-kata tersebut.

Samsung R&D Institute Vietnam (SRV) menggunakan data yang telah disempurnakan untuk membantu model AI mereka mengidentifikasi dengan tepat, bahkan perbedaan nuansa bahasa yang paling halus sekalipun.

Kualitas data yang digunakan secara langsung mempengaruhi keakuratan pengenalan suara otomatis (automatic speech recognition / ASR), neural machine translation (NMT), dan text-to-speech (TTS) – proses yang membantu fitur-fitur Galaxy AI seperti Live Translate, Interpreter, Chat Assist, dan Browsing Assist untuk mengatasi hambatan bahasa.

Badai Tantangan

“Bahasa Vietnam adalah bahasa yang kompleks dan beragam dengan ekspresi yang kaya, yang kebanyakan cukup menantang untuk dipahami,” ujar Ngô Hồng Thái, NMT lead di SRV. Dari 16 bahasa yang didukung Galaxy AI, bahasa Vietnam cukup sulit untuk dikembangkan.

“Secara pribadi, membuat model AI untuk Bahasa Vietnam lebih menantang daripada angin topan!” tambahnya sebelum menjelaskan rintangan yang dihadapi selama proses pengembangan.

Bahasa Vietnam adalah bahasa tonal dengan enam nada yang berbeda. Seperti yang terlihat pada contoh “ma” di atas, perbedaan nuansa kecil dalam pengucapan bisa mengubah makna kata secara drastis. Oleh karena itu, diperlukan pendekatan yang cermat dan terperinci.

“Saat menguraikan kata-kata yang terdengar mirip, satu kata terdiri dari beberapa segmen pendek, atau ‘frame set’,” kata Bui Ngoc Tung, ASR lead di SRV. “Model AI membedakan antara frame audio pendek sekitar 20 milidetik untuk mengenali kata mana yang cocok dengan rangkaian frame dengan urutan tertentu. Oleh karena itu, sangat penting untuk mengerahkan upaya besar pada tahap awal proses pembelajaran AI.”

Selain itu, homofon dan homonim adalah hal yang umum dalam bahasa Vietnam. Orang biasanya dapat mengandalkan konteks dan elemen nonverbal dalam percakapan untuk membedakan kata-kata yang terdengar sama atau ditulis sama tetapi memiliki arti yang berbeda. Namun, model AI perlu diajari agar dapat mengidentifikasi dan membedakan secara akurat antara nada dan kata-kata yang mirip.

“Ini bukanlah tugas yang sederhana,” jelas Thái. “Terlepas dari jumlahnya, datanya harus akurat untuk memastikan bahwa AI mampu mengidentifikasi nuansa linguistik yang ada dalam bahasa Vietnam.”

Persiapan yang Terperinci

Proses penyempurnaan data terdiri dari tiga langkah. Pertama, audio dan teks yang digunakan untuk melatih model AI harus ditinjau dan diperbaiki. Kemudian, dataset ini menjalani pemeriksaan acak untuk menjaga kualitas secara keseluruhan. Terakhir, dataset dinormalisasi dan dibersihkan sebelum digunakan dalam pelatihan.

“Kami melakukan serangkaian tes secara menyeluruh untuk memeriksa keakuratan dataset kami,” kata Nguyen Manh Duy, TTS lead di SRV yang mengawasi pembuatan database. “Kami menghadapi sejumlah masalah yang tidak terduga termasuk kata-kata yang salah eja dalam skrip dan noise di latar belakang atau pengucapan yang salah selama rekaman audio. Kami menghabiskan banyak waktu untuk menyempurnakan dan meningkatkan data pelatihan kami.”

Bagian penting dari proses penyempurnaan data dan perjalanan membawa data AI dari yang bagus menjadi luar biasa adalah hasil karya tim Software Quality Engineering (SQE). Tim ini memainkan peran penting dalam menguji dan meningkatkan kualitas data bahasa AI dan mereka bekerja sama dengan tim proyek pengembangan bahasa AI untuk mewujudkannya.

Selain tantangan linguistik yang unik dalam bahasa Vietnam, ada kekurangan data yang dapat diakses secara universal dibandingkan dengan bahasa-bahasa lain yang digunakan secara luas. “Ini adalah alasan lain mengapa tahap penyempurnaan data sangat penting,” tambahnya. “Karena kami memiliki sumber yang terbatas, setiap bagian dari data harus reliabel sepenuhnya. Tidak boleh ada celah untuk kesalahan.”

Selain itu, model AI untuk bahasa Vietnam harus mempertimbangkan perbedaan tonal dan regional. Untuk meningkatkan akurasi model AI, tim tersebut mengumpulkan sejumlah besar data dengan aksen Vietnam utara, tengah, dan selatan – menghasilkan banyak sekali informasi untuk disempurnakan dan diverifikasi.

Peningkatan Lebih Lanjut

Para developer di SRV menyelesaikan proyek ini setelah kerja keras selama berbulan-bulan, dan bahasa Vietnam menjadi salah satu bahasa pertama yang didukung oleh Galaxy AI. Terlepas dari keberhasilan ini, tim terus berupaya untuk meningkatkan pengalaman bahasa Vietnam di Galaxy AI.

“Kami terus menyempurnakan model AI dengan melibatkan masukan dari pengguna mengenai relevansi kata dan frasa dalam Galaxy AI,” ujar Tran Tuan Minh, pemimpin proyek pengembangan bahasa AI di SRV. “Kami baru saja mengambil langkah pertama menuju dunia yang lebih terbuka – dan masih banyak hal yang harus kami jelajahi bersama.”

Dalam episode The Learning Curve berikutnya, kita akan pergi ke China untuk mempelajari bagaimana model AI dilatih dan disempurnakan.

Mengajarkan sebuah bahasa ke model AI adalah proses yang kompleks, tetapi bagaimana jika bahasa yang diajarkan bukanlah bahasa tunggal, melainkan kumpulan dialek yang beragam? Itulah tantangan yang dihadapi oleh tim di Samsung R&D Institute Jordan (SRJO). Ketika “Bahasa Arab” ditambahkan sebagai pilihan bahasa untuk fitur Galaxy AI seperti Live Translate, tim harus mencakup berbagai dialek Arab yang tersebar di Timur Tengah dan Afrika Utara, yang masing-masing memiliki pelafalan, kosakata, dan tata bahasa yang berbeda-beda.

Bahasa Arab adalah salah satu dari enam bahasa lisan yang paling banyak digunakan di seluruh dunia, yang digunakan setiap hari oleh lebih dari 400 juta orang^[1]. Bahasa ini dikategorikan ke dalam dua bentuk: Fus’ha (Bahasa Arab Standar Modern) dan Ammiya (dialek-dialek bahasa Arab). Fus’ha biasanya digunakan di acara-acara publik dan resmi, serta dalam siaran berita, sedangkan Ammiya lebih sering digunakan untuk percakapan sehari-hari. Lebih dari 20 negara menggunakan bahasa Arab, dan saat ini terdapat sekitar 30 dialek di wilayah tersebut.

Aturan Tidak Tertulis

Dengan adanya berbagai variasi pada dialek-dialek ini, tim di SRJO menggunakan berbagai teknik untuk membedakan dan memproses fitur-fitur linguistik khas yang ada pada masing-masing dialek. Pendekatan ini sangat penting untuk memastikan bahwa Galaxy AI dapat memahami dan merespons dengan cara yang mencerminkan nuansa regional secara akurat.

“Tidak seperti bahasa lain, pelafalan objek dalam bahasa Arab bervariasi tergantung pada subjek dan kata kerja dalam sebuah kalimat,” kata Mohammad Hamdan, project leader pada tim pengembangan bahasa Arab. “Kami ingin mengembangkan sebuah model yang memahami semua dialek ini dan dapat menjawab dalam bahasa Arab standar.”

TTS adalah komponen dari fitur Live Translate di Galaxy AI yang membantu pengguna berinteraksi dengan penutur bahasa yang berbeda dengan menerjemahkan kata-kata yang diucapkan ke dalam teks tertulis, dan kemudian mereproduksinya secara lisan. Tim TTS menghadapi tantangan yang tidak biasa, yang disebabkan kebiasaan bekerja menggunakan bahasa Arab.

Bahasa Arab menggunakan diakritik, yang merupakan panduan pengucapan kata-kata dalam beberapa konteks, seperti teks religius, puisi, dan buku-buku untuk orang yang mempelajari bahasa. Diakritik dipahami secara luas oleh penutur asli tetapi tidak ada dalam tulisan sehari-hari. Hal ini menyulitkan mesin untuk mengubah teks mentah menjadi fonem, unit dasar suara yang menjadi dasar untuk pengucapan.

“Ada kekurangan dataset berkualitas tinggi dan reliabel yang secara akurat merepresentasikan penggunaan diakritik dengan benar,” jelas Haweeleh. “Kami harus merancang model neural yang dapat memprediksi dan mengembalikan diakritik yang hilang dengan akurasi tinggi.”

Cara kerja model neural mirip seperti otak manusia. Untuk memprediksi diakritik, sebuah model perlu mempelajari banyak teks bahasa Arab, mempelajari aturan-aturan bahasa ini, dan memahami bagaimana kata-kata digunakan dalam konteks yang berbeda. Sebagai contoh, pengucapan sebuah kata dapat sangat bervariasi tergantung pada tindakan atau gender yang digambarkan. Pelatihan ekstensif dari tim adalah kunci untuk meningkatkan akurasi model TTS Bahasa Arab.

Meningkatkan Pemahaman

Tim SRJO juga harus mengumpulkan beragam rekaman audio dialek dari berbagai sumber, yang harus ditranskripsikan, dan berfokus pada suara, kata, dan frasa yang unik. “Kami membentuk sebuah tim yang terdiri dari penutur asli dialek-dialek tersebut yang sangat memahami nuansa dan variasinya,” kata Ayah Hasan, yang bertanggung jawab atas pembuatan database. “Mereka mendengarkan hasil rekaman dan secara manual mengubah kata-kata yang diucapkan menjadi teks.”

Upaya ini sangat penting untuk mendukung proses Automatic Speech Recognition (ASR) sehingga Galaxy AI dapat memahami kekayaan nuansa bermacam dialek Arab. ASR sangat penting dalam mengaktifkan kemampuan pemahaman dan respons real-time Galaxy AI.

“Mengembangkan sistem ASR yang mendukung berbagai dialek dalam satu model merupakan hal yang kompleks,” ujar Mohammad Hamdan, ASR lead untuk proyek ini. “Hal ini menuntut pemahaman menyeluruh tentang seluk-beluk bahasa, pemilihan data yang cermat, dan teknik pemodelan yang canggih.”

Puncak Inovasi

Setelah berbulan-bulan melakukan perencanaan, pengerjaan, dan pengujian, tim ini siap untuk merilis bahasa Arab sebagai pilihan bahasa untuk Galaxy AI, memudahkan lebih banyak orang untuk berkomunikasi lintas batas. Tim ini telah mempermudah akses layanan Galaxy AI bagi penutur bahasa Arab, mengurangi hambatan bahasa dan budaya di antara mereka dan orang-orang di seluruh dunia. Dengan demikian, mereka telah menciptakan best practice baru yang dapat dijalankan secara global. Keberhasilan ini hanyalah permulaan: tim ini terus menyempurnakan model mereka dan meningkatkan kualitas kemampuan bahasa Galaxy AI.

Dalam episode berikutnya, kita akan pergi ke Vietnam untuk melihat bagaimana tim mereka memperbaiki data bahasa. Selain itu, apa saja yang diperlukan untuk melatih model AI yang efektif?

^[1]UNESCO, World Arabic Language Day 2023, https://www.unesco.org/en/world-arabic-language-day

Forum akan dibagi menjadi dua sesi dan disiarkan langsung secara online melalui saluran YouTube Samsung. Setiap sesi akan menampilkan para ahli yang berpartisipasi, diikuti oleh diskusi panel.

Bagi mereka yang tertarik dengan forum ini, silakan mengunjungi situs web acara (https://samsung6gforum.com) untuk pendaftaran online yang telah dibuka hingga 13 Mei 2022. Pemberitahuan email akan dikirim untuk pembaruan jadwal acara, dan peserta terdaftar dapat meninggalkan pertanyaan di situs web sebelum setiap sesi dimulai.

“Kami sangat senang menjadi penyelenggara forum perdana yang didedikasikan sepenuhnya untuk berbagi pengetahuan dan wawasan tentang teknologi 6G dan untuk membagikan visi kami,” kata Sebastian Seung, President and Head of Samsung Research.  “Selain Samsung AI Forum dan Samsung Security Tech Forum yang kami adakan setiap tahun dalam ‘Samsung Tech Forum’, Samsung 6G Forum baru ini akan semakin memperkuat posisi kami di bidang ini. Kami bersemangat untuk segera membahas topik-topik penting terkait dengan kolega, ahli, dan siapa pun yang tertarik dengan teknologi komunikasi generasi berikutnya. ”

Samsung Research, sebagai pusat R&D canggih Samsung Electronics, memimpin pengembangan teknologi masa depan untuk divisi DX (Device eXperience) perusahaan.

Jadwal Samsung 6G Forum

Sesi Pagi – 6G Air Interface (09:00am-12:10pm KST)

Sesi pagi akan dibuka dengan kata sambutan dari Sebastian Seung, President and Head of Samsung Research. Diskusi ahli bertemakan ‘6G Air Interface,’ akan dibawakan oleh Jeffrey Andrews, Professor at the University of Texas at Austin; Charlie Zhang, Senior Vice President at Samsung Research America; Takehiro Nakamura, Senior Vice President and General Manager of the 6G Laboratories at NTT DOCOMO; dan John Smee, Senior Vice President of Engineering at Qualcomm Technologies, Inc. Diskusi panel discussion yang dipimpin oleh Juho Lee, Fellow at Samsung Research, akan melanjutkan sesi ini.

Sesi Siang – Intelligent Network for 6G (1:10pm-4:20 PM KST)

Sesi siang bertema ‘Intelligent Network for 6G,’ akan mengundang Tarik Taleb, Professor at University of Oulu, Finland; SeungJoo Maeng, Master at Networks Business, Samsung Electronics; Byonghyo Shim, Professor at Seoul National University; dan Shi Jin, Professor at Southeast University, China untuk membawakan materi Intelligent Network for 6G. Sesi ini akan dilanjutkan diskusi panel yang dipimpin oleh Sunghyun Choi, Executive Vice President and Head of the Advanced Communications Research Center at Samsung Research.

Untuk informasi lebih lanjut mengenai ‘Samsung Tech Forum,’ silakan kunjungi website Samsung Research di https://research.samsung.com/events.