Evolusi kamera ponsel cerdas yang luar biasa dan bagaimana AI mendukung masa depan yang cerah

Setiap tahun sejak tahun 2000, kamera ponsel kita semakin mampu menghasilkan keajaiban visual. Selain kapasitas yang lebih besar dan kualitas gambar yang lebih tinggi, apa yang akan terjadi di masa depan? Realitas baru yang didukung AI mulai menjadi fokus.

Era ponsel pintar modern, menurut banyak orang, dimulai pada tahun 2007 dengan peluncuran iPhone asli. Lagi pula, perangkat itu memiliki layar lempengan dengan permukaan sentuh penuh alih-alih tombol, konektivitas seluler, Wi-Fi, dan Bluetooth, akses (walaupun sangat lambat) ke Internet -- dan kamera.

Sejak saat itu, atribut-atribut tersebut telah mendefinisikan semua ponsel cerdas, kecuali satu kemampuan umum ponsel cerdas yang baru hadir pada iPhone 3GS pada tahun 2008: App Store. Aplikasi, bersama dengan fitur perangkat keras yang disebutkan di atas, menentukan smartphone modern.

Namun dari semua kemampuan dan komponen perangkat komputasi yang luar biasa dan ada di mana-mana ini, kamera ponsel pintarlah yang mengalami evolusi paling luar biasa. Kamera ponsel pertama kali muncul pada era ketika ponsel pintar mulai menjadi perangkat praktis sehari-hari. Kemudian, kamera-kamera ini berkembang di dunia yang berpusat pada App Store, tempat perusahaan seperti Blackmagic Design dapat membuat aplikasi kamera yang mendefinisikan ulang cara kerja kamera ponsel cerdas. Kini, kecerdasan buatan (AI) dan pembelajaran mesin (ML) mengubah sifat dasar kamera.

Ponsel pintar pra-modern

Mengidentifikasi hal pertama selalu merupakan pekerjaan yang rumit. Perangkat pertama yang diberi label sebagai smartphone (mereka menyebutnya "Ponsel Pintar") adalah Ericsson 88 dari tahun 1997. Hanya 200 unit yang dibuat, dan sebagian besar merupakan asisten digital pribadi. Pastinya tidak memiliki kamera.

Namun sebelum smartphone modern, ponsel dengan beberapa atribut smartphone modern telah diperkenalkan. Yang paling terkenal tentu saja adalah BlackBerry. Perangkat BlackBerry paling awal, model 850 dan 857 bahkan bukan telepon. Itu adalah pager dengan email. Baru pada tahun 2003 BlackBerry 6210, dengan keyboard terkenal dan telepon terintegrasinya, dirilis. Namun meski begitu, BlackBerry tidak memiliki kamera.

Sharp -- perusahaan yang membuat oven microwave saya -- memperkenalkan ponsel kamera pertama di dunia. Dirilis pada tahun 2000, disebut J-SHO4, dan tersedia secara eksklusif di pasar Jepang. Dengan sensor 110.000 piksel, J-SHO4 mampu mengambil gambar digital beresolusi sangat rendah -- gambar berukuran hampir prangko, dengan resolusi 383x287 piksel.

Samsung juga mengklaim gelar "ponsel pertama dengan kamera internal" -- SCH-V200 -- juga dirilis pada tahun 2000. Handset ini memiliki sensor 0,35 megapiksel dan sebelumnya dapat mengambil hingga 20 foto berukuran 640x480 piksel. Anda harus menghubungkannya ke komputer dan mengunduh gambarnya. Samsung juga mengklaim telah menemukan kamera selfie. Pada tahun 2002, perusahaan merilis SCH-X590, ponsel flip dengan kamera berputar.

Di sinilah konsep megapiksel mulai diterapkan. Semakin banyak data yang dapat disimpan, semakin banyak piksel yang ada. Ketika foto mulai mencapai jutaan piksel, istilah pemasaran "megapiksel" diciptakan. Pada dasarnya, semakin banyak piksel, semakin tinggi resolusi gambarnya (dan semakin banyak penyesuaian yang dapat Anda lakukan dengannya).

Ponsel lain -- dan perangkat pribadi saya selama empat tahun -- adalah Palm Treo 600, dirilis pada tahun 2003. Perangkat ini melakukan banyak hal, termasuk mendukung kamera yang mampu mengambil gambar beresolusi 640x480. Treo tidak memiliki Wi-Fi atau Bluetooth, sehingga membatasi konektivitasnya ke kabel yang terhubung ke komputer untuk mengunduh gambar. Klaim ketenaran terbesarnya adalah ia dapat menjalankan ribuan aplikasi PalmOS yang tersedia untuk diunduh. Namun, menginstal aplikasi tersebut juga melibatkan menghubungkan kabel ke komputer.

2008: Kelahiran ponsel pintar modern

Dirilis pada tanggal 29 Juni 2007, iPhone sangat eksplosif. Banyak dari kita ingat antrean orang yang menunggu untuk mendapatkan telepon pertama mereka. Saya mengabaikan kalimat itu, senang dengan Treo saya. Meskipun iPhone pertama memiliki hampir semua karakteristik ponsel modern, termasuk kamera belakang 2,0MP, satu-satunya aplikasi yang diizinkan hanyalah halaman web yang dapat disesuaikan secara kasar. Treo saya memiliki aplikasi PalmOS asli yang jauh lebih baik.

Menurut pendapat saya, iPhone generasi pertama bukanlah smartphone modern pertama yang sesungguhnya. Untuk itu, aplikasi perlu diinstal langsung di ponsel. Ketika iPhone 3G Apple memasuki pasar pada bulan Juli 2008 -- bersama dengan App Store -- dunia tidak pernah sama lagi. Aplikasi ponsel pintar memungkinkan miliaran orang non-teknis untuk menyesuaikan ponsel mereka, sehingga memungkinkan untuk menginstal perangkat lunak baru dengan satu klik.

Lebih khusus lagi, aplikasi dapat memperkuat fungsionalitas kamera. Dengan aplikasi filter, pengguna dapat dengan mudah menambahkan efek khusus atau layar yang indah pada gambar mereka. Aplikasi juga membuka jalan bagi raksasa media sosial seperti Instagram dan TikTok. Akibatnya, jejaring sosial telah menjadi kekuatan seperti sekarang ini dengan kemampuan bagi pengguna untuk mengambil foto dan video, serta membaginya dengan teman, keluarga, dan seluruh dunia hanya dengan satu ketukan di layar. Dengan aplikasi, foto dan video dapat dibawa ke mana saja, secara instan.

Bagi fotografer dan videografer yang serius, aplikasi dapat menyempurnakan kamera ponsel. Aplikasi Kamera Blackmagic Design, misalnya, memungkinkan pengguna yang paham foto untuk menyesuaikan pengaturan seperti kecepatan bingkai, sudut rana, keseimbangan putih, dan ISO -- seperti yang dilakukan fotografer profesional dalam proses pengambilan foto.

Layar berukuran penuh, konektivitas Internet berkecepatan tinggi, kamera yang cukup bagus hingga luar biasa, dan kemampuan untuk sepenuhnya menyesuaikan ponsel dengan aplikasi memberdayakan orang-orang di seluruh dunia dan memasukkan lebih dari sekadar komputer kecil ke dalam saku mereka. Setiap orang kini memiliki kekuatan dan fleksibilitas luar biasa ini, setiap saat.

Secara pribadi, iPhone 3G adalah iPhone pertama saya (tidak ada iPhone 2 atau 3). Saya membelinya dan iMac beberapa minggu setelah ponsel dirilis, dan mulai membuat 40 aplikasi iPhone. IPhone 3G itu tidak banyak meningkatkan perangkat keras kamera. Hal ini tidak akan terjadi hingga iPhone 3GS, yang beralih dari kamera 2,0 ke 3,0MP dan mulai merekam video 30 frame per detik.

Di dunia Android, ponsel pertamanya adalah HTC Dream, juga dipasarkan sebagai T-Mobile G1. Ini dirilis pada bulan Oktober 2008 dan terkenal karena tampilan slide-out yang dibuka untuk menampilkan keyboard bergaya BlackBerry. Perangkat ini hadir dengan kamera belakang 3,15MP.

Dengan hadirnya iPhone 3 dan App Store, serta ponsel Android pertama, dapat dikatakan bahwa tahun 2008 adalah tahun pertama era ponsel pintar modern.

2010: Ponsel pintar bertemu dengan narsisme, pasangan yang serasi

Ponsel pintar telah berevolusi dengan kecepatan yang kita semua kenal. Setiap tahun, kemampuan baru telah ditambahkan dan fitur ditingkatkan. Kamera berevolusi dari kamera 3,0MP menjadi monster 48-50MP seperti iPhone 15 Pro Max, Google Pixel 8, OnePlus 11, dan Asus ROG Phone 8.

Yang patut mendapat perhatian khusus adalah smartphone Sony Xperia. Meskipun semua ponsel kelas atas memiliki sistem kamera yang luar biasa, Sony adalah satu-satunya perusahaan yang membuat kamera pro dan prosumer selain ponsel pintar. Seri A7 Sony (saya suka Sony A7 IV) adalah salah satu kamera tingkat profesional yang paling dihormati dalam penggunaan, dan saya menggunakannya kamera Sony ZV-E10 selalu ada di studio video dan untuk pengambilan gambar produk di ZDNET.

Lompatan kecil lainnya terjadi pada tahun 2010 ketika Apple memperkenalkan iPhone 4 dan HTC memperkenalkan EVO 4G berbasis Android. Keduanya memiliki kamera depan yang cocok untuk mengambil foto selfie. Tidak banyak yang perlu ditulis dalam hal resolusi, tetapi kamera depan juga menjadi lebih baik selama bertahun-tahun.

Tentu saja, seiring dengan peningkatan kapasitas dan kecepatan penyimpanan, bahkan video 8K pun dapat disimpan dengan kecepatan 120 frame per detik pada SSD yang terhubung ke kamera melalui port USB-C yang cepat. Hal ini menyebabkan sejumlah besar informasi dapat ditangkap dan disimpan, dan banyak perangkat saat ini menangani persyaratan tersebut dengan mudah.

Lalu ada Samsung Galaxy S23 Ultra, yang dilengkapi kamera utama 200MP yang sangat luar biasa. Itu kira-kira 16.384 x 12.288 piksel, bagi mereka yang bisa membayangkan hal seperti itu. Setiap JPEG yang sangat terkompresi memerlukan 20-40 MB, namun gambar RAW yang tidak terkompresi memerlukan 100 MB per gambar atau lebih. IPhone 3G pertama hadir dengan penyimpanan sebesar 128MB, yang mungkin dapat menampung -- paling banyak -- satu atau dua gambar dari ponsel modern ini.

Banyak ponsel cerdas saat ini merekam video 8K langsung ke penyimpanan ponsel. Ini termasuk Samsung Galaxy S23 (8K didukung sejak S20), Asus ZenFone 9, OnePlus 11, dan iPhone 15 Pro Max semuanya dapat merekam video 8K langsung ke perangkat.

Seiring waktu, semua peningkatan dalam kapasitas penyimpanan, kecepatan prosesor, masa pakai baterai, dan resolusi layar disertai dengan peningkatan pada perangkat lunak di dalam ponsel, dengan vendor menambahkan segala macam kecerdasan pada aplikasi kamera mereka.

2017: Awal era ponsel pintar AI/ML

Sulit untuk mengetahui secara pasti kapan pembelajaran mesin mulai diterapkan pada ponsel cerdas, namun contoh bagus dapat dikemukakan pada tahun 2017. Pada tahun tersebut, Google merilis Pixel 2, yang memiliki mode potret yang memburamkan latar belakang, dan meningkatkan pemrosesan gambar HDR.

Apple juga berfokus pada fotografi mode potret pada tahun 2017, memperkenalkan iPhone 8, 8 Plus, dan iPhone X. Masing-masing perangkat ini dilengkapi prosesor utama dan Neural Engine -- prosesor yang didedikasikan untuk tugas pembelajaran mesin.

Secara keseluruhan, kemampuan pembelajaran mesin awal ini meningkatkan pemrosesan foto secara keseluruhan, meningkatkan aspek seperti fokus otomatis, eksposur, keseimbangan warna, dan pengurangan noise. Integrasi pembelajaran mesin ke dalam sistem kamera Pixel dan iPhone menandai langkah maju yang signifikan dalam kualitas dan kemampuan fotografi ponsel pintar.

AI dan pembelajaran mesin di ponsel pintar masa kini

Kalau dipikir-pikir tentang tahapan fotografi, kita punya cahaya dan bayangan, lalu kita punya gambar tetap yang disimpan menggunakan bahan kimia (tahap film), lalu kita punya media magnetis (masih analog), dan kemudian munculnya kamera digital dan telepon pintar. Dalam setiap tahapan tersebut, satu faktor yang sama adalah bahwa kamera dimaksudkan sebagai alat perekam. Itu tidak melakukan seni apa pun.

Namun semua itu berubah dengan adanya smartphone modern. Dengan menyematkan teknologi pembelajaran mesin yang signifikan ke dalam perangkat ini, kamera itu sendiri menjadi mitra produksi dalam penciptaan gambar dan video berkualitas luar biasa.

Saya bertanya kepada Bob Caniglia, direktur operasi penjualan Blackmagic, tentang evolusi kamera ponsel pintar. Blackmagic membuat beberapa alat utama untuk mengelola proses produksi video, serta beberapa kamera kelas bioskop yang sangat apik. Tahun lalu, Blackmagic memperkenalkan aplikasi Blackmagic Camera, yang mengambil kamera iPhone dan memberinya kekuatan super.

"Sampai baru-baru ini," kata Caniglia kepada saya, "Diskusi sebagian besar berkisar pada keterbatasan kamera ponsel pintar dalam perangkat fisik sekecil itu. Dan tidak ada keraguan bahwa masih ada perbedaan besar antara ponsel cerdas dan kamera profesional yang lebih besar."

“Tetapi pembicaraan telah beralih ke cara lain menggunakan kamera seperti iPhone,” lanjutnya. “Saya pikir fitur AI dan pembelajaran mesin - seperti pemandangan, segmentasi dan deteksi kulit dan langit pada iPhone 15, lensa zoom periskop, dan Mode Potret - telah membuka kemungkinan bagaimana ponsel cerdas dapat digunakan oleh semua orang.”

Sekarang mari kita jelajahi kehebatan pembelajaran mesin pada ponsel cerdas. Secara khusus, saya akan berbicara tentang keajaiban pembelajaran mesin yang dimasukkan ke dalam ponsel andalan seperti iPhone 15 Pro Max, Google Pixel 8, Samsung Galaxy S23, dan OnePlus 11.

1. Kualitas gambar

Ponsel pintar kini mampu melakukan peningkatan besar pada kualitas gambar saat ditangkap dengan kamera. Berikut tiga contoh pembelajaran mesin yang digunakan pada ponsel andalan yang terdaftar sebelumnya.

Pemrosesan dan penyempurnaan gambar: Jaringan neural konvolusional menggunakan operasi matematika yang disebut konvolusi yang menghitung nilai piksel berdasarkan filter geser, membantu algoritme mengidentifikasi fitur spesifik seperti tepi, tekstur, dan bentuk.

Hal ini kemudian membantu algoritme pembelajaran mesin menganalisis dan menyesuaikan parameter seperti eksposur, kontras, dan keseimbangan warna untuk meningkatkan kualitas. Hal ini khususnya berguna dalam kondisi pencahayaan yang menantang; itulah cara ponsel cerdas mengambil foto dalam kondisi cahaya redup dan silau tinggi yang sebelumnya hampir mustahil untuk diambil.

Fotografi cahaya rendah dan mode malam: Berbicara tentang kondisi pencahayaan yang sulit, pembelajaran mesin memberikan bantuan yang kuat dalam fotografi cahaya rendah, yang membantu dalam pengurangan noise, peningkatan detail, dan akurasi warna. Hal ini dilakukan dengan menggunakan teknologi jaringan saraf untuk memproses beberapa eksposur, menggabungkannya menjadi satu gambar sekaligus meningkatkan detail dan mengurangi noise. Tentu saja, keputusan tentang detail apa yang perlu ditingkatkan dan kebisingan apa yang harus dikurangi adalah peran AI.

Pemrosesan HDR: Pemrosesan rentang dinamis tinggi (HDR) membantu menyeimbangkan area gelap dan terang pada gambar untuk rentang dinamis yang lebih baik. Algoritme secara dinamis menyesuaikan eksposur wilayah berbeda dalam sebuah foto, menggabungkan beberapa eksposur untuk gambar rentang dinamis tinggi yang seimbang, menjaga ketelitian visual gambar sekaligus memungkinkan warna hitam lebih hitam, putih lebih putih, dan warna lain yang lebih gelap dan terang agar lebih mencerminkan apa yang ada di foto. fotografer awalnya bertujuan untuk menangkap.

2. Objek pengetahuan

Selama era film, beberapa teknik analog dimungkinkan untuk memperbaiki gambar. Saat ini, AI dan ML sangat penting dalam hal kecerdasan tentang apa yang ada dalam sebuah adegan. Berikut adalah beberapa kemampuan canggih yang terpasang pada ponsel cerdas yang saya bahas sebelumnya.

Pengenalan pemandangan dan objek: Ponsel cerdas dapat mengenali berbagai pemandangan -- lanskap, potret, atau pengaturan cahaya redup -- dan objek dalam gambar. Berdasarkan pengakuan ini, kamera dapat mengoptimalkan pengaturan untuk mendapatkan bidikan terbaik. Algoritme pembelajaran mendalam yang memanfaatkan jaringan saraf konvolusional telah dilatih pada kumpulan data yang luas untuk secara akurat mengenali dan mengkategorikan berbagai pemandangan dan objek dalam gambar. Seringkali, versi hasil pelatihan yang sangat optimal tertanam di aplikasi kamera atau bahkan di chipset ponsel.

Mode potret dan efek bokeh: Model estimasi kedalaman, yang sering kali menggunakan teknik ML seperti segmentasi semantik, dapat membuat peta kedalaman pemandangan, sehingga membedakan subjek dari latar belakang. Ini adalah cara kita mendapatkan mode potret, di mana subjek berada dalam fokus sementara ponsel menciptakan latar belakang yang tampak buram secara artistik.

Deteksi dan kecantikan wajah: Algoritme visi komputer dapat mendeteksi wajah dalam gambar dan menerapkan penyempurnaan halus, seperti penghalusan kulit atau penyesuaian cahaya, untuk menyempurnakan potret. Proses ini sering kali dilakukan berdasarkan perpustakaan preferensi estetika yang dipelajari.

Beberapa aplikasi pengenalan wajah awal menunjukkan bias. Mereka menggunakan data pelatihan yang sangat terbatas dan oleh karena itu sering kali bias. Hal ini tidak lagi menjadi masalah saat ini, karena vendor menggunakan rangkaian pelatihan yang jauh lebih besar dan inklusif. Kita harus terus berjuang melawan bias dalam AI kita.

Filter dan efek bertenaga AI: Beberapa fitur foto aplikasi digital ponsel cerdas yang paling awal adalah filter dan efek kreatif. Awalnya, filter ini sebagian besar bersifat algoritmik, berdasarkan kode pemrogram. Seiring waktu, teknik ML seperti jaringan permusuhan generatif diterapkan.

Teknik ini mengadu algoritma "generator" dengan proses algoritma "diskriminator", di mana diskriminator memberikan umpan balik kepada generator untuk mendorong peningkatan. Efek pembelajaran yang dihasilkan, atau proses transfer gaya, meniru gaya berbagai seniman dan teknik. Hal ini memungkinkan pengguna untuk menerapkan gaya artistik yang kompleks pada foto mereka, dan agar gambar yang dihasilkan tampak relevan secara gaya. Hal ini juga mengakibatkan tuntutan hukum.

3. Peningkatan kualitas hidup

Kamera ponsel pintar tidak hanya mengambil gambar dan video yang lebih baik, namun juga menjadi lebih mudah digunakan pada saat yang bersamaan. Berikut adalah beberapa peningkatan kualitas hidup yang membuat kamera ponsel cerdas lebih bermanfaat bagi penggunanya.

Stabilisasi video: Pernah mendengar ungkapan, "Kami akan memperbaikinya di pos"? Itulah proses memperbaiki film atau video setelah selesai syuting, dengan editor menggunakan kombinasi alat dan keterampilan cerdas untuk membuat klip yang bagus. Namun kini, model ML dapat memperbaiki video goyah secara dinamis, langsung di kamera.

Model ML di ponsel cerdas melakukan hal ini dengan menganalisis pola gerakan bingkai demi bingkai untuk memprediksi dan mengoreksi guncangan kamera dan keburaman gerakan, sehingga menghasilkan klip yang lebih halus. Biasanya, ini "menghabiskan" beberapa tepi bingkai video, menghasilkan gambar yang terpotong namun jauh lebih stabil.

Fokus otomatis dan pelacakan: Sebelum pembelajaran mesin, lensa dengan fokus otomatis menggunakan sensor jarak dan penghitungan untuk menentukan titik fokus lensa. Namun kini, ML telah meningkatkan kinerja fokus otomatis, menjadikannya jauh lebih cepat dan akurat.

Algoritme prediktif dan model deteksi objek sering digunakan untuk pelacakan subjek bergerak secara real-time, mempertahankan kunci fokus saat subjek (atau operator kamera) bergerak.

Secara otomatis beradaptasi dengan preferensi pengguna: Beberapa kamera ponsel cerdas menggunakan teknik pembelajaran penguatan untuk beradaptasi dengan preferensi pengguna dari waktu ke waktu, dan secara otomatis menyesuaikan pengaturan atau menyarankan mode berdasarkan penggunaan sebelumnya.

Satu hal yang penting untuk diperhatikan: AI Generatif adalah sesuatu yang terjadi di luar kamera.

Seperti yang dikatakan Caniglia dari Blackmagic Design, "Ada evolusi luar biasa pada kemampuan kamera ponsel cerdas dibandingkan beberapa tahun yang lalu. Pembelajaran mesin AI, terutama pada iPhone 15 baru, telah menjadi pendorong besar. Sebagian besar dari hal tersebut adalah karena Apple berfokus pada pengembangan teknologi yang dapat memanfaatkan lebih banyak informasi aktual yang ditangkap oleh sensor kamera dibandingkan fokus pada kreasi "gambar palsu" melalui AI generasi."

Menatap masa depan

Kami telah melakukan banyak liputan tentang AI generatif selama setahun terakhir. Dan setiap tahun, vendor ponsel memperkenalkan lebih banyak lagi kemampuan ponsel cerdas. Jadi apa yang akan terjadi di masa depan?

Jawaban sederhananya adalah: kapasitas yang terus meningkat dan kualitas gambar yang semakin tinggi. Hal itulah yang telah terjadi pada pembelajaran mesin ponsel pintar selama sekitar satu dekade terakhir.

Namun saat saya mulai menjelajahi VR dengan headset Meta Quest 3, saya mulai berpikir ada jalur lain untuk ponsel pintar.

Setelah keynote WWDC Apple tahun lalu, saya menulis analisis tentang pengumuman headset Vision Pro XR-nya. Meskipun saya cukup optimis dengan keseluruhan idenya, saya mencemooh kemampuan pemutaran kamera 3D-nya:

Apple menunjukkan demo menggelikan di mana seorang ayah, yang mengenakan Vision Pro, menggunakannya untuk memfilmkan "film" 3D tentang ulang tahun anaknya. Meskipun contoh tersebut aneh, namun merekam klip video 3D terbukti sangat bermanfaat untuk kursus pelatihan dan demonstrasi lainnya, untuk dimasukkan ke dalam aplikasi point-of-function.

Saya pikir saya salah. Saya telah menggunakan Meta Quest 3 selama sekitar satu minggu dan telah melihat film rumahan 3D Quest yang relatif belum sempurna. Ada sesuatu di sana. Ini tidak seperti hanya menonton film. Begitu Anda memasuki VR, Anda benar-benar merasakannya.

Selain mengabadikan kenangan pribadi, pengambilan gambar kamera 3D VR memiliki potensi yang sangat besar, terutama saat kita beralih dari konsol berat ke wajah kita dan beralih ke kacamata bening. Saya berharap melihat banyak sekali AI dan ML diterapkan pada gambar dan video yang digunakan dalam konteks tersebut.

Apa pendapat Anda tentang masa depan fotografi dan video, serta bagaimana AI dan ML dapat membantu? Beri tahu saya di komentar di bawah.

Anda dapat mengikuti pembaruan proyek saya sehari-hari di media sosial. Pastikan untuk berlangganan buletin pembaruan mingguan saya di Substack, dan ikuti saya di Twitter di @DavidGewirtz, di Facebook di Facebook.com/DavidGewirtz, di Instagram di Instagram.com/DavidGewirtz, dan di YouTube di YouTube.com/DavidGewirtzTV.