Tahun 2024 mungkin merupakan tahun dimana AI belajar dalam genggaman Anda

Terlalu sulit untuk melatih model bahasa besar, seperti GPT-4 OpenAI, di ponsel pintar. Namun perubahan mungkin akan terjadi berkat perangkat lunak yang lebih cerdas.

Dunia kecerdasan buatan (AI) sebagian besar ada di fasilitas cloud-computing dan jarang menyentuh ponsel cerdas Anda. Saat Anda menggunakan alat seperti ChatGPT untuk menjawab perintah, kerja keras untuk melatih program agar berfungsi dengan baik telah dilakukan berhari-hari, berminggu-minggu, dan berbulan-bulan sebelumnya, di balik layar, di pusat data AI raksasa yang dibangun oleh Microsoft dan lainnya.

Namun, tahun 2024 bisa menjadi tahun dimana kesenjangan tersebut terlampaui -- dan bisa juga merupakan saat dimana AI mulai belajar dari kantong Anda. Upaya sedang dilakukan untuk memungkinkan pelatihan jaringan saraf -- bahkan model bahasa besar (LLM) -- di perangkat pribadi Anda, dengan sedikit atau tanpa koneksi ke cloud.

Manfaat paling nyata dari pelatihan di perangkat meliputi: menghindari penundaan yang terjadi karena harus terhubung ke cloud; belajar dari informasi lokal secara konstan dan personal; dan menjaga privasi yang mungkin dilanggar dengan mengirimkan data pribadi ke pusat data cloud.

Dampak pelatihan pada perangkat dapat berupa transformasi kemampuan jaringan saraf. AI dapat disesuaikan dengan tindakan Anda saat Anda berjalan, mengetuk, menggulir, dan menyeret. AI dapat belajar dari lingkungan yang Anda lalui selama rutinitas harian Anda, mengumpulkan tanda-tanda tentang dunia.

Penelitian terbaru yang dilakukan oleh para insinyur Apple menunjukkan bahwa perusahaan tersebut ingin menghadirkan jaringan saraf yang lebih besar, jenis "generatif" yang diwakili oleh ChatGPT OpenAI, untuk berjalan secara lokal di iPhone.

Secara lebih luas, Google memperkenalkan pendekatan AI yang diperkecil secara radikal yang disebut TinyML beberapa tahun lalu. TinyML dapat menjalankan jaringan saraf di perangkat dengan daya hanya satu miliwatt, seperti sensor cerdas yang ditempatkan pada mesin.

Tantangan yang lebih besar bagi perusahaan teknologi adalah membuat jaringan saraf semacam itu tidak hanya melakukan prediksi melalui telepon, namun juga mempelajari hal-hal baru melalui telepon -- untuk melaksanakan pelatihan secara lokal.

Upaya tersebut membutuhkan lebih banyak kekuatan pemrosesan, lebih banyak memori, dan lebih banyak bandwidth bagi komputer mana pun untuk melatih jaringan saraf dibandingkan menggunakan jaringan saraf yang sudah jadi untuk membuat prediksi.

Upaya telah dilakukan untuk menaklukkan gunung komputasi tersebut dengan melakukan hal-hal seperti memperbarui secara selektif hanya sebagian dari "bobot" atau "parameter" jaringan saraf. Upaya khasnya adalah TinyTL dari MIT, yang menggunakan apa yang disebut pembelajaran transfer sebagai cara untuk menyempurnakan jaringan saraf yang sebagian besar sudah dilatih.

TinyTL sejauh ini telah digunakan untuk hal-hal kecil, seperti pengenalan wajah. Namun teknologi terkini kini bergerak untuk mengatasi LLM AI generatif, termasuk GPT-4 OpenAI. LLM memiliki ratusan miliar bobot saraf yang perlu disimpan dalam memori, dan kemudian diteruskan ke prosesor untuk diperbarui saat informasi baru masuk. Tantangan pelatihan ini berlangsung dalam skala yang belum pernah dicoba sebelumnya.

Sebuah laporan penelitian bulan ini oleh staf di raksasa pembuat chip Eropa STMicroelectronics menyatakan bahwa upaya pelatihan ini tidak cukup hanya dengan melakukan inferensi pada perangkat seluler -- sebaliknya, perangkat klien juga harus melatih jaringan saraf agar tetap segar.

“Mengaktifkan inferensi model saja pada perangkat tidaklah cukup,” tulis Danilo Pietro Pau dan Fabrizio Maria Aymone. Faktanya, kinerja model AI menurun seiring berjalannya waktu sejak siklus pelatihan terakhir; fenomena yang dikenal sebagai penyimpangan konsep, yang solusinya adalah memperbarui program dengan data pelatihan baru.

Penulis menyarankan untuk memperkecil jaringan saraf, sehingga lebih mudah untuk melatih model pada perangkat dengan memori terbatas. Secara khusus, mereka bereksperimen dengan menghilangkan apa yang disebut "propogasi balik", metode matematika di LLM yang merupakan bagian pelatihan yang paling intensif komputasi.

Pau dan Aymone menemukan bahwa mengganti propagasi balik dengan matematika yang lebih sederhana dapat mengurangi jumlah memori pada perangkat yang diperlukan untuk bobot saraf sebanyak 94%.

Beberapa ilmuwan menganjurkan untuk membagi tugas pelatihan di antara banyak perangkat klien, yang disebut "pembelajaran gabungan".

Pembelajaran gabungan sedang beraksi.

Peneliti Chu Myaet Thwal dan tim di Universitas Kyung Hee bulan ini mengadaptasi bentuk LLM yang digunakan untuk pengenalan gambar di 50 komputer stasiun kerja, masing-masing menjalankan satu kartu permainan GPU Nvidia. Kode mereka membutuhkan lebih sedikit memori pada perangkat untuk dilatih dibandingkan versi standar jaringan saraf tanpa kehilangan akurasi.

Sementara itu, beberapa ahli berpendapat bahwa komunikasi jaringan harus disesuaikan, sehingga perangkat seluler dapat berkomunikasi lebih baik saat melakukan pembelajaran gabungan.

Para peneliti di Institut Teknik Elektro dan Elektronik bulan ini membuat hipotesis bahwa jaringan komunikasi akan menggunakan standar 6G yang akan datang, di mana sebagian besar pelatihan LLM diselesaikan terlebih dahulu di pusat data. Kemudian, cloud mengoordinasikan sekumpulan perangkat klien yang "menyempurnakan" LLM dengan data lokal.

"Penyempurnaan gabungan" seperti itu, di mana setiap perangkat mempelajari beberapa bagian dari LLM, tanpa memulai dari awal, dapat dilakukan dengan daya pemrosesan yang jauh lebih sedikit pada perangkat bertenaga baterai dibandingkan dengan pelatihan penuh.

Banyak pendekatan yang bertujuan untuk mengurangi memori dan pemrosesan yang diperlukan untuk setiap bobot saraf. Pendekatan utamanya adalah apa yang disebut "jaringan saraf biner", yang mana alih-alih setiap bobot memiliki nilai numerik, bobotnya hanya memiliki satu atau nol, sehingga sangat mengurangi jumlah penyimpanan pada perangkat yang diperlukan.

Banyak masalah teknis yang disebutkan di atas terdengar abstrak, namun pertimbangkan beberapa kasus penggunaan pelatihan jaringan saraf secara lokal.

Sebuah tim di Nanyang Technological University di Singapura bulan ini menggunakan pembelajaran pada perangkat untuk melawan ancaman dunia maya dengan meminta setiap perangkat melatih versi lokalnya sendiri dari "sistem deteksi intrusi" atau IDS berbasis AI, yang merupakan program keamanan siber yang umum.

Daripada perangkat klien harus berinteraksi dengan server pusat, tim dapat mengunduh draf awal kode IDS dan kemudian menyempurnakannya untuk kondisi keamanan lokal. Pelatihan semacam itu tidak hanya lebih spesifik terhadap ancaman keamanan lokal, tetapi juga mencegah penyampaian informasi keamanan sensitif bolak-balik melalui jaringan, yang dapat disadap oleh pihak jahat.

Apple dikabarkan mengincar fungsionalitas AI yang lebih besar untuk perangkat iOS dan telah memberikan petunjuk tentang apa yang bisa diselesaikan dalam konteks seluler.

Dalam sebuah makalah pada bulan Agustus, para ilmuwan Apple menjelaskan cara mempelajari kualitas aplikasi seluler secara otomatis, yang disebut Never-ending UI Learner. Program ini berjalan pada ponsel cerdas dan secara otomatis menekan tombol dan melakukan interaksi lain untuk menentukan jenis kontrol yang diperlukan antarmuka pengguna.

Tujuannya adalah menggunakan setiap perangkat untuk belajar secara otomatis, dibandingkan mengandalkan sekelompok pekerja manusia yang menghabiskan waktunya menekan tombol dan membuat anotasi pada fungsi aplikasi.

Percobaan dilakukan dalam lingkungan terkendali oleh staf Apple. Jika uji coba dilakukan di alam liar dengan menggunakan iPhone pelanggan sebenarnya, maka “pendekatan yang menjaga privasi akan diperlukan (misalnya, pelatihan di perangkat),” tulis para penulis.

Konsep berbasis seluler lainnya dijelaskan oleh ilmuwan Apple pada tahun 2022 dalam makalah berjudul "Melatih Model Bahasa Neural Kosakata Besar oleh Pembelajaran Federasi Swasta untuk Perangkat dengan Sumber Daya Terbatas".

Tujuan mereka adalah untuk melatih AI pengenalan ucapan pada perangkat seluler menggunakan pendekatan pembelajaran gabungan.

Perangkat setiap orang menggunakan sampel interaksi dengan "asisten suara" (mungkin Siri) untuk melatih jaringan saraf. Kemudian, parameter jaringan saraf yang dikembangkan oleh masing-masing ponsel dikirim ke jaringan, lalu dikumpulkan untuk menghasilkan satu jaringan saraf yang lebih baik.

Kesimpulan besar dari semua upaya penelitian ini adalah bahwa para ilmuwan sedang bekerja keras untuk menemukan cara untuk memadatkan dan membagi pekerjaan pelatihan agar dapat dilakukan pada perangkat yang dioperasikan dengan baterai dengan memori lebih sedikit dan daya pemrosesan lebih sedikit dibandingkan stasiun kerja dan server.

Masih harus dilihat apakah upaya penelitian ini akan berhasil pada tahun 2024. Namun, yang sudah jelas adalah bahwa pelatihan jaringan saraf akan berpindah dari cloud dan, sangat mungkin, ke dalam genggaman tangan Anda.