Lebih sedikit lebih baik dalam hal AI, kata DeepMind dari Google
Program AI jaringan saraf yang fungsinya dikurangi sebesar 75% dapat mencapai kekuatan yang sama dengan program yang ukurannya dua kali lipat.
Para ilmuwan menemukan bahwa lebih banyak hal yang bisa dicapai dengan menghilangkan tiga perempat jaringan saraf.
Tujuan utama dalam ilmu kecerdasan buatan (AI) adalah keseimbangan antara seberapa besar suatu program dan berapa banyak data yang digunakannya. Lagi pula, membeli chip GPU Nvidia untuk menjalankan AI, dan mengumpulkan miliaran byte data untuk melatih jaringan saraf memerlukan biaya yang sangat besar, puluhan juta dolar -- dan berapa banyak yang Anda perlukan adalah sebuah pertanyaan dengan implikasi yang sangat praktis.
Unit DeepMind Google tahun lalu mengkodifikasikan keseimbangan yang tepat antara kekuatan komputasi dan data pelatihan sebagai semacam hukum AI. Aturan praktis tersebut, yang kemudian disebut "Hukum Chinchilla", menyatakan bahwa Anda dapat mengurangi ukuran sebuah program menjadi hanya seperempat dari ukuran awalnya jika Anda juga meningkatkan jumlah data yang dilatih sebanyak empat kali lipat dari ukuran awal. ukuran.
Inti dari Chinchilla, dan ini yang penting, adalah bahwa program dapat mencapai hasil yang optimal dalam hal akurasi namun tidak terlalu besar. Bangun program yang lebih kecil, namun latih datanya lebih lama, kata Chinchilla. Dengan kata lain, Less is more, dalam pembelajaran mendalam AI, karena alasan yang belum sepenuhnya dipahami.
Dalam sebuah makalah yang diterbitkan bulan ini, DeepMind dan kolaboratornya membangun wawasan tersebut dengan menyarankan bahwa kita dapat melakukan lebih baik lagi dengan menghilangkan seluruh bagian jaringan saraf, sehingga meningkatkan kinerja ketika jaringan saraf mengalami hambatan.
Menurut penulis utama Elias Frantar dari Institut Sains dan Teknologi Austria, dan kolaborator di DeepMind, Anda bisa mendapatkan hasil yang sama dalam hal akurasi dari jaringan saraf yang berukuran setengah dari jaringan saraf lainnya jika Anda menggunakan teknik yang disebut "sparsity".
Sparsitas, elemen jaringan saraf yang tidak jelas yang telah dipelajari selama bertahun-tahun, adalah teknik yang meminjam struktur sebenarnya dari neuron manusia. Ketersebaran mengacu pada mematikan beberapa koneksi antar neuron. Di otak manusia, hubungan ini dikenal sebagai sinapsis.
Sebagian besar sinapsis manusia tidak terhubung. Seperti yang diamati oleh ilmuwan Torsten Hoefler dan timnya di ETH Zurich pada tahun 2021, "Otak biologis, terutama otak manusia, merupakan struktur hierarki, jarang, dan berulang," tambahnya, "semakin banyak neuron yang dimiliki otak, semakin jarang pula neuron tersebut."
Ada pemikiran bahwa jika Anda dapat memperkirakan fenomena alam tersebut dengan jumlah koneksi yang sangat sedikit, Anda dapat melakukan lebih banyak hal dengan jaringan saraf apa pun dengan lebih sedikit usaha -- dan lebih sedikit waktu, uang, dan energi.
Dalam jaringan saraf tiruan, seperti model AI pembelajaran mendalam, koneksi sinaptik yang setara adalah "bobot" atau "parameter". Sinapsis yang tidak memiliki koneksi akan menjadi bobot yang bernilai nol -- sinapsis tidak menghitung apa pun, sehingga tidak menggunakan energi komputasi apa pun. Oleh karena itu, para ilmuwan AI menyebut ketersebaran sebagai menghilangkan parameter jaringan saraf.
Dalam makalah DeepMind baru, yang diposting di server pra-cetak arXiv, Frantar dan tim bertanya, apakah jaringan yang lebih kecil dapat menyamai kinerja jaringan yang lebih besar, seperti yang ditunjukkan oleh penelitian sebelumnya, seberapa besar ketersebaran dapat membantu mendorong kinerja lebih jauh lagi dengan menghilangkan beberapa bobot ?
Para peneliti menemukan bahwa jika Anda menghilangkan tiga perempat parameter jaringan saraf -- menjadikannya lebih jarang -- maka jaringan saraf dapat melakukan pekerjaan yang sama seperti jaringan saraf yang berukuran dua kali lipat.
Seperti yang mereka katakan: "Hal utama yang dapat diambil dari hasil ini adalah ketika seseorang berlatih lebih lama secara signifikan dibandingkan Chinchilla (komputasi padat optimal), semakin banyak model sparse yang mulai menjadi optimal dalam hal kerugian untuk jumlah bukan nol yang sama. parameter." Istilah "model komputasi padat" mengacu pada jaringan saraf yang tidak memiliki ketersebaran, sehingga semua sinapsisnya dapat beroperasi.
“Hal ini karena perolehan pelatihan lebih lanjut dari model-model padat mulai melambat secara signifikan di beberapa titik, sehingga memungkinkan model-model yang jarang untuk menyalip mereka.” Dengan kata lain, model normal dan non-sparse -- model padat -- mulai rusak ketika versi sparse mengambil alih.
Implikasi praktis dari penelitian ini sangat mengejutkan. Ketika jaringan saraf mulai mencapai batasnya dalam hal kinerja, sebenarnya mengurangi jumlah parameter saraf yang berfungsi -- menghilangkannya -- akan memperluas kinerja jaringan saraf lebih jauh saat Anda melatih jaringan saraf bersih untuk waktu yang lebih lama dan lebih lama.
“Tingkat ketersebaran optimal terus meningkat seiring dengan pelatihan yang lebih lama,” tulis Fantar dan tim. “Dengan demikian, ketersebaran memberikan sarana untuk lebih meningkatkan kinerja model dengan biaya parameter akhir yang tetap.”
Bagi dunia yang khawatir akan biaya energi dari jaringan saraf yang semakin haus akan listrik, kabar baiknya adalah para ilmuwan menemukan bahwa lebih banyak hal dapat dilakukan dengan lebih sedikit energi.