Meski menawarkan pengalaman kamera yang berbeda, kedua fitur ini dikembangkan melalui perpaduan keahlian dalam riset teknologi, pengembangan fitur, dan desain pengalaman pengguna.

Dalam seri “Di Balik Inovasi Kamera Galaxy Z Series”, Samsung Newsroom berbincang dengan para ahli dari Samsung Research dan Mobile eXperience (MX) Business untuk mengungkap proses di balik pengembangan kedua fitur tersebut.

Subjek yang terlihat tajam dengan latar belakang yang lembut dan buram dapat menciptakan kesan kedalaman yang selama ini identik dengan hasil kamera profesional. Para peneliti terus mengeksplorasi berbagai cara untuk menghadirkan efek tersebut dalam pengambilan video menggunakan smartphone.

Pada Galaxy Z Series, Portrait Video mereplikasi karakter kedalaman dan Bokeh[1] khas yang dihasilkan oleh lensa dengan bukaan besar.[2] Untuk mewujudkannya, Samsung Research menganalisis karakteristik optik dari lensa kamera profesional dan mengembangkan teknologi pemrosesan video berbasis AI, yang kemudian dioptimalkan oleh MX Business agar dapat diterapkan secara optimal pada perangkat.

(Dari kiri) Sang-uk Park, yang bertanggung jawab atas pengembangan kamera di Mobile eXperience (MX) Business, dan YoungGeol Kim dari Visual Technology Team, Samsung Research

Samsung Newsroom berbincang dengan YoungGeol Kim dari Visual Technology Team, Samsung Research, dan Sang-uk Park, yang bertanggung jawab atas pengembangan kamera di MX Business, mengenai bagaimana Portrait Video berkembang dari sebuah konsep riset menjadi fitur kamera Galaxy.

Menghadirkan Dimensi Baru dalam Portrait Video

Q: Apa itu Portrait Video dan apa yang berubah pada Galaxy Z Series terbaru?

Park: Portrait Video menjaga subjek utama tetap dalam fokus sekaligus memberikan efek blur lembut pada latar belakang. Hasilnya adalah tampilan sinematik yang membuat subjek terlihat lebih menonjol.

Pengguna dapat membuka aplikasi Kamera dan memilih “Lainnya” untuk mengakses Portrait Video.

Pada Galaxy Z Series, tingkat blur dapat berubah secara natural berdasarkan jarak antara subjek dan latar belakang. Sumber cahaya kecil di latar juga dapat tampil sebagai Bokeh yang lembut dan membulat, menyerupai hasil yang diperoleh melalui lensa dengan bukaan besar. Dengan demikian, pengguna dapat menonjolkan subjek dan menghasilkan video dengan kedalaman serta atmosfer yang lebih kuat hanya menggunakan smartphone, tanpa memerlukan perangkat kamera profesional tambahan.

Perbandingan hasil video menggunakan dan tanpa Portrait Video pada Galaxy Z Series

Pengguna juga dapat mengubah subjek yang menjadi fokus atau menyesuaikan tingkat blur setelah video direkam.

Pengguna dapat mengubah subjek yang menjadi fokus serta menyesuaikan tingkat blur dari 0 hingga 7.

Q: Apa yang menginspirasi teknologi di balik Portrait Video?

Kim: Fotografi telah menjadi hobi saya selama 25 tahun. Ketertarikan tersebut membawa saya pada riset dan pengembangan teknologi kamera, sekaligus membuat saya semakin tertarik pada karakter visual unik yang dihasilkan oleh setiap lensa.

Seiring perkembangan kamera smartphone yang semakin pesat, fotografi menghadirkan berbagai fitur baru dan peningkatan kualitas gambar. Video juga berkembang dengan cepat, tetapi saya melihat masih ada peluang untuk menghadirkan kedalaman dan karakter latar seperti yang dihasilkan lensa kamera profesional. Kami mengusulkan ide tersebut pada tahap riset, di saat MX Business juga tengah mengeksplorasi cara untuk membantu pengguna menghasilkan video dengan tampilan profesional secara lebih mudah. Hal ini kemudian menjadi awal dari kolaborasi pengembangan bersama.

Kim mengungkap inspirasi di balik pengembangan Portrait Video.

Q: Bagaimana kedua tim berkolaborasi hingga Portrait Video menjadi fitur kamera?

Kim: Solusi yang sudah ada saat itu belum cukup untuk menghasilkan karakter lensa yang natural seperti yang kami inginkan. Teknologi dari Samsung Research juga masih berada pada tahap riset, sehingga menerapkannya ke dalam sebuah produk bukanlah keputusan yang mudah. Namun, MX Business melihat potensinya dan memutuskan untuk mengembangkannya menjadi fitur yang dapat digunakan konsumen.

Setelah itu, kami memulai pengujian dan penyempurnaan secara menyeluruh. Teknologi tersebut diuji pada perangkat nyata dan kedua tim saling bertukar masukan untuk mengubahnya menjadi fitur kamera yang siap digunakan.

Park: Untuk memastikan fitur ini dapat digunakan dalam berbagai kondisi nyata, kami merekam video dalam berbagai situasi dan melakukan validasi secara berulang. Karena fitur ini berfokus pada manusia sebagai subjek, para ahli dari kedua tim bahkan menjadi model dan saling merekam. Kami memberikan perhatian khusus pada seberapa natural subjek dapat dipisahkan dari latar belakang, serta bagaimana blur dan Bokeh terlihat pada berbagai jarak.

Saat kami saling merekam, meninjau hasilnya bersama, dan terus berdiskusi, salah satu hal yang paling saya ingat adalah bagaimana hasilnya meningkat secara signifikan dari satu pengujian ke pengujian berikutnya.

Park menjelaskan kolaborasi antara kedua tim.

Menghadirkan Karakter Lensa Bukaan Besar di Smartphone

Q: Apa teknologi utama yang membuat Portrait Video memiliki kemampuan lebih dari sekadar efek blur?

Kim: Kuncinya adalah teknologi yang mampu mereplikasi karakter visual khas lensa kamera profesional dengan bukaan besar ke dalam video smartphone. Untuk mewujudkannya, kami memanfaatkan AI dan analisis optik.

Sekadar memberikan efek blur pada gambar tidak cukup untuk mereplikasi kedalaman dan karakter latar yang natural dari kamera profesional. Blur konvensional bekerja dengan melembutkan gambar melalui pencampuran warna di sekitarnya. Sementara itu, lensa dengan bukaan besar bekerja dengan cara berbeda. Tingkat blur berubah secara natural berdasarkan jarak antara subjek dan latar belakang. Titik-titik cahaya yang terang juga dapat menyebar menjadi Bokeh dengan bentuk dan kecerahan yang tetap terlihat. Bentuk dan tekstur area yang tidak berada dalam fokus inilah yang dikenal sebagai Bokeh.

Karena itu, teknologi ini perlu memperhitungkan jarak antara subjek dan latar belakang sekaligus bagaimana cahaya menyebar melalui lensa kamera sebenarnya.

Bokeh yang dihasilkan menggunakan Portrait Video pada Galaxy Z Fold8 Ultra

Untuk mereplikasi efek tersebut pada smartphone, terdapat dua elemen utama. Pertama, kami menganalisis bagaimana cahaya menyebar melalui lensa dengan bukaan besar dan karakteristik Bokeh yang dihasilkan, kemudian mengubah hasil analisis tersebut menjadi data. Data tersebut kemudian dikombinasikan dengan informasi jarak yang diperkirakan oleh AI untuk memahami kondisi dalam sebuah adegan. Dengan demikian, sistem dapat menyesuaikan tingkat blur dan ukuran Bokeh berdasarkan jarak antara subjek dan latar belakang.

Proses mereplikasi efek lensa dengan bukaan besar

Q: Apa tantangan teknis terbesar dalam menghadirkan blur dan Bokeh pada smartphone?

Kim: Tantangan terbesar adalah menghasilkan batas yang natural dan kompleks antara subjek dan latar belakang, seperti pada rambut atau bingkai kacamata.

Pada smartphone, informasi jarak yang diperkirakan oleh AI saja belum cukup untuk membedakan detail-detail halus secara akurat. Kesalahan kecil dapat membuat helaian rambut ikut buram atau sebagian latar belakang tetap terlihat tajam, sehingga subjek tampak seperti dipotong dari latar.

Untuk mengatasinya, kami menggabungkan informasi jarak yang diperkirakan AI dengan informasi batas dari rekaman asli. Dengan pendekatan ini, pemisahan antara subjek dan latar belakang dapat terlihat lebih natural, termasuk pada detail-detail halus seperti rambut.

Park: Memastikan hasil yang konsisten dalam berbagai kondisi pengambilan gambar juga sangat penting, termasuk perbedaan cuaca, pencahayaan, pergerakan subjek, dan jarak.

Kami berulang kali merekam video dalam berbagai kondisi dan meninjau hasilnya untuk memperbaiki elemen yang terlihat tidak natural melalui optimalisasi software dan penambahan data pelatihan AI. Dengan memanfaatkan teknologi dari Samsung Research, para ahli kualitas gambar dari MX Business juga mengevaluasi hasilnya dari perspektif pengguna untuk semakin menyempurnakan fitur ini.

Portrait Video dapat mengenali wajah dan secara natural mengalihkan fokus ke orang lain ketika subjek utama mengalihkan pandangan.

Q: Apa yang dibutuhkan untuk membuat pemrosesan video yang kompleks ini dapat diandalkan dan siap digunakan pada Galaxy Z Series?

Kim: Tantangan terbesar adalah menekan konsumsi daya dan panas tanpa mengorbankan kualitas. Video merupakan rangkaian gambar yang diproses dengan cepat, sehingga pemrosesan video 4K secara real-time membutuhkan kemampuan komputasi yang besar.

Karena itu, kami perlu menentukan prioritas. Pemrosesan yang berpengaruh langsung terhadap kualitas gambar tetap dipertahankan, sementara pemrosesan pada area yang kemungkinan tidak akan terlihat perbedaannya oleh pengguna dikurangi.

Hasilnya adalah keseimbangan antara karakter lensa yang natural dan pemrosesan secara real-time, sehingga Portrait Video dapat memberikan performa yang stabil dan efisien bahkan saat digunakan untuk merekam dalam waktu yang lebih lama.

Membuka Lebih Banyak Kebebasan dalam Berkreasi

Q: Apa tips untuk mendapatkan hasil maksimal dari Portrait Video?

Kim: Untuk membuat Bokeh lebih terlihat, cobalah mencari suasana dengan sumber cahaya terang dan latar belakang yang relatif gelap. Cahaya matahari yang menembus dedaunan, lampu Natal, atau lampu jalan di malam hari dapat menghasilkan Bokeh berbentuk lingkaran yang lembut dan memberikan suasana lebih dramatis.

Saat merekam seseorang, sebaiknya hindari sumber cahaya kuat yang datang langsung dari depan. Sebagai gantinya, tempatkan sumber cahaya di belakang atau di samping subjek. Cara ini dapat memberikan pencahayaan lembut pada rambut dan kontur subjek sekaligus membuat Bokeh di latar belakang lebih menonjol. Cahaya pantulan atau sumber cahaya sekitar, seperti lampu jalan, juga dapat membantu agar wajah tidak terlihat terlalu gelap sehingga hasil akhir lebih seimbang.

Objek yang direkam menggunakan Portrait Video di sebuah kafe. Latar belakang yang diburamkan secara natural membuat subjek lebih menonjol.

Q: Respons seperti apa yang ingin Anda dengar dari orang-orang yang mencoba Portrait Video

Park: Saya ingin pengguna, content creator, maupun profesional video merasa terkejut melihat betapa mudahnya menghasilkan video dengan tampilan sinematik menggunakan smartphone. Saya berharap blur dan Bokeh yang natural, ditambah kemampuan untuk melakukan penyesuaian setelah pengambilan gambar, dapat memberikan kebebasan lebih besar bagi mereka untuk menciptakan tampilan dan nuansa sesuai dengan yang diinginkan.

Kim: Pada akhirnya, saya berharap orang-orang merasa tidak perlu lagi membawa kamera profesional tambahan. Kami akan terus mengembangkan teknologi di baliknya agar pengguna dapat menghasilkan video sinematik hanya dengan menggunakan smartphone.

Para ahli menantikan perkembangan Portrait Video selanjutnya.

Menghadirkan kedalaman sinematik dan karakter cahaya dari lensa kamera profesional ke dalam video smartphone membutuhkan pengujian yang ekstensif serta kolaborasi erat untuk mengubah konsep riset menjadi fitur yang dapat diandalkan. Dikembangkan melalui perpaduan keahlian Samsung Research dan MX Business, Portrait Video memperluas pengalaman kamera Galaxy Z Series sekaligus memberikan lebih banyak cara bagi pengguna untuk mewujudkan visi kreatif mereka.

[1] Bentuk dan tekstur blur pada area di luar fokus, yang sering terlihat ketika titik-titik cahaya kecil di latar tampak sebagai lingkaran cahaya

[2] Lensa dengan bukaan yang dapat terbuka lebar untuk menangkap lebih banyak cahaya, sehingga memungkinkan subjek tetap terlihat tajam dengan latar belakang yang lembut dan buram serta menghasilkan efek Bokeh.