Apa itu kelangkaan? Rahasia AI DeepSeek, diungkapkan oleh peneliti Apple

Model AI yang mengguncang dunia adalah bagian dari tren luas untuk memeras lebih banyak dari chip. Begini cara kerjanya.

Pasar kecerdasan buatan (AI) - dan seluruh pasar saham - diguncang bulan lalu oleh popularitas tiba-tiba DeepSeek, model bahasa besar (LLM) open-source yang dikembangkan oleh dana lindung nilai yang berbasis di China yang telah mengalahkan yang terbaik OpenAI pada beberapa tugas dengan biaya yang jauh lebih murah.

Seperti yang dirinci oleh Radhika Rajkumar dari ZDNET, keberhasilan R1 menyoroti perubahan besar dalam AI yang dapat memberdayakan laboratorium dan peneliti yang lebih kecil untuk membuat model yang kompetitif dan mendiversifikasi opsi yang tersedia.

Mengapa DeepSeek bekerja dengan sangat baik?

Keberhasilannya disebabkan oleh pendekatan yang luas dalam bentuk pembelajaran mendalam AI untuk memeras lebih banyak dari chip komputer dengan mengeksploitasi fenomena yang dikenal sebagai "kelangkaan".

Kelangkaan datang dalam berbagai bentuk. Terkadang, ini melibatkan penghapusan bagian dari data yang digunakan AI ketika data tersebut tidak secara material memengaruhi output model.

Di lain waktu, kelangkaan melibatkan pemotongan seluruh bagian dari jaringan saraf jika melakukannya tidak memengaruhi hasilnya.

DeepSeek adalah contoh dari yang terakhir: penggunaan jaringan saraf yang hemat.

Kemajuan utama yang telah diidentifikasi kebanyakan orang di DeepSeek adalah bahwa ia dapat menghidupkan dan menonaktifkan sebagian besar "bobot" atau "parameter" jaringan saraf. Parameter membentuk bagaimana jaringan saraf dapat mengubah input -- prompt yang Anda ketik -- menjadi teks atau gambar yang dihasilkan. Parameter memiliki dampak langsung pada berapa lama waktu yang dibutuhkan untuk melakukan perhitungan. Lebih banyak parameter biasanya berarti lebih banyak upaya komputasi.

Kelangkaan dan perannya dalam AI

Kemampuan untuk hanya menggunakan beberapa dari total parameter LLM dan mematikan sisanya adalah contoh kelangkaan. Kelangkaan itu dapat berdampak besar pada seberapa besar atau kecil anggaran komputasi untuk model AI.

Peneliti Apple AI, dalam sebuah laporan yang diterbitkan 21 Januari, menjelaskan bagaimana DeepSeek dan pendekatan serupa menggunakan kelangkaan untuk mendapatkan hasil yang lebih baik untuk jumlah daya komputasi tertentu.

Apple tidak memiliki koneksi dengan DeepSeek, tetapi raksasa teknologi melakukan penelitian AI-nya sendiri. Oleh karena itu, perkembangan perusahaan luar seperti DeepSeek secara luas merupakan bagian dari keterlibatan berkelanjutan Apple dalam penelitian AI.

Dalam makalah berjudul "Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models", yang diposting di server pra-cetak arXiv, penulis utama Samir Abnar dan peneliti Apple lainnya, bersama dengan kolaborator Harshay Shah dari MIT, mempelajari bagaimana kinerja bervariasi saat mereka mengeksploitasi sparsitas dengan mematikan bagian-bagian jaringan saraf.

Abnar dan tim melakukan studi mereka menggunakan pustaka kode yang dirilis pada tahun 2023 oleh peneliti AI di Microsoft, Google, dan Stanford, yang disebut MegaBlocks. Namun, mereka menjelaskan bahwa pekerjaan mereka dapat diterapkan pada DeepSeek dan inovasi terbaru lainnya.

Abnar dan tim bertanya apakah ada tingkat "optimal" untuk kelangkaan di DeepSeek dan model serupa: untuk jumlah daya komputasi tertentu, apakah ada jumlah optimal dari bobot saraf tersebut untuk diaktifkan atau dimatikan?

Penelitian menunjukkan bahwa Anda dapat sepenuhnya mengukur kelangkaan sebagai persentase dari semua bobot saraf yang dapat Anda matikan, dengan persentase itu mendekati tetapi tidak pernah sama dengan 100% dari jaringan saraf yang "tidak aktif".

Grafik menunjukkan bahwa untuk jaringan saraf tertentu, pada anggaran komputasi tertentu, ada jumlah optimal jaringan saraf yang dapat dimatikan untuk mencapai tingkat akurasi. Aturan praktis ekonomi yang sama telah berlaku untuk setiap generasi baru komputer pribadi: baik hasil yang lebih baik untuk uang yang sama atau hasil yang sama dengan uang yang lebih sedikit.

Untuk jaringan saraf dengan ukuran tertentu dalam parameter total, dengan jumlah komputasi tertentu, Anda memerlukan parameter yang semakin sedikit untuk mencapai akurasi yang sama atau lebih baik pada tes tolok ukur AI tertentu, seperti matematika atau menjawab pertanyaan.

Dengan kata lain, apa pun daya komputasi Anda, Anda dapat semakin mematikan bagian jaringan saraf dan mendapatkan hasil yang sama atau lebih baik.

Mengoptimalkan AI dengan parameter yang lebih sedikit

Seperti yang dinyatakan Abnar dan tim dalam istilah teknis: "Meningkatkan kelangkaan sambil memperluas jumlah total parameter secara proporsional secara konsisten mengarah pada kerugian prapelatihan yang lebih rendah, bahkan ketika dibatasi oleh anggaran komputasi pelatihan tetap." Istilah "kerugian prapelatihan" adalah istilah AI untuk seberapa akurat jaringan saraf. Kehilangan latihan yang lebih rendah berarti hasil yang lebih akurat.

Temuan itu menjelaskan bagaimana DeepSeek dapat memiliki daya komputasi yang lebih sedikit tetapi mencapai hasil yang sama atau lebih baik hanya dengan mematikan lebih banyak bagian jaringan.

Sparsity seperti dial ajaib yang menemukan kecocokan terbaik untuk model AI Anda dan komputasi yang tersedia.

Aturan praktis ekonomi yang sama telah berlaku untuk setiap generasi baru komputer pribadi: baik hasil yang lebih baik untuk uang yang sama atau hasil yang sama dengan uang yang lebih sedikit.

Ada beberapa detail lain yang perlu dipertimbangkan tentang DeepSeek. Misalnya, inovasi DeepSeek lainnya, seperti yang dijelaskan oleh Ege Erdil dari Epoch AI, adalah trik matematika yang disebut "perhatian laten multi-kepala". Tanpa terlalu dalam ke dalam gulma, perhatian laten multi-kepala digunakan untuk mengompres salah satu konsumen memori dan bandwidth terbesar, cache memori yang menyimpan teks input terbaru dari prompt.

Masa depan penelitian sparsitas

Selain detail, poin paling mendalam tentang semua upaya ini adalah bahwa kelangkaan sebagai fenomena bukanlah hal baru dalam penelitian AI, juga bukan pendekatan baru dalam teknik.

Para peneliti AI telah menunjukkan selama bertahun-tahun bahwa menghilangkan bagian-bagian dari jaringan saraf dapat mencapai akurasi yang sebanding atau bahkan lebih baik dengan sedikit usaha.

Pesaing Nvidia Intel telah mengidentifikasi kelangkaan sebagai jalan utama penelitian untuk mengubah keadaan seni di lapangan selama bertahun-tahun. Pendekatan dari startup berdasarkan kelangkaan juga telah mencatat skor tinggi pada tolok ukur industri dalam beberapa tahun terakhir.

Dial ajaib kelangkaan tidak hanya memangkas biaya komputasi, seperti dalam kasus DeepSeek. Kelangkaan juga bekerja ke arah lain: dapat membuat komputer AI semakin efisien.

Dial ajaib kelangkaan sangat mendalam karena tidak hanya meningkatkan ekonomi dengan anggaran kecil, seperti dalam kasus DeepSeek, tetapi juga bekerja ke arah lain: menghabiskan lebih banyak, dan Anda akan mendapatkan manfaat yang lebih baik melalui kelangkaan. Saat Anda meningkatkan daya komputasi Anda, akurasi model AI meningkat, Abnar dan tim menemukan.

Mereka menyarankan: "Ketika kelangkaan meningkat, kerugian validasi berkurang untuk semua anggaran komputasi, dengan anggaran yang lebih besar mencapai kerugian yang lebih rendah pada setiap tingkat kelangkaan."

Secara teori, Anda dapat membuat model yang lebih besar dan lebih besar, pada komputer yang lebih besar dan lebih besar, dan mendapatkan hasil yang lebih baik untuk uang Anda.

Semua pekerjaan kelangkaan itu berarti bahwa DeepSeek hanyalah salah satu contoh dari bidang penelitian yang luas yang sudah diikuti oleh banyak laboratorium -- dan banyak lagi yang sekarang akan melompat untuk mereplikasi kesuksesan DeepSeek.