GenAI Meta beralih dari prediksi sederhana ke permainan catur yang penuh konsekuensi

Sebagai pengganti pendekatan konvensional ChatGPT, para ilmuwan Meta menganjurkan 'prediksi multi-token' yang dioptimalkan - yang memberikan hukuman pada jawaban yang salah.

Skema pendekatan Meta terhadap apa yang disebut prediksi multi-token. Selama pelatihan model AI, input dimasukkan seperti biasa, namun alih-alih model AI dilatih untuk menghasilkan satu token sebagai respons - misalnya kata berikutnya yang paling mungkin - model tersebut dilatih untuk menghasilkan empat atau lebih token secara bersamaan. kemungkinan token.

Model AI generatif seperti GPT-4 telah mengejutkan kita semua dengan kemampuannya menghasilkan keluaran tekstual yang menyerupai pemikiran, seperti jawaban atas pertanyaan pilihan ganda. Namun, mencapai pemikiran yang "benar", seperti menjawab pertanyaan, masih merupakan masalah yang lebih dalam, sebagaimana dibuktikan oleh fenomena "halusinasi", di mana model AI akan menyatakan -- dengan keyakinan yang jelas -- pernyataan yang salah.

Dalam sebuah karya baru, para ilmuwan di Meta telah mengubah model bahasa besar (LLM) untuk menghasilkan keluaran yang lebih tepat dalam situasi tertentu, dengan memperkenalkan gagasan hukuman untuk jawaban yang salah.

Pendekatan ini, yang dikenal sebagai "prediksi multi-token", berupaya memasukkan biaya ke dalam model AI untuk jawaban yang kurang diinginkan. Dalam hal ini, hal ini serupa dengan pendekatan populer untuk menetapkan batasan dalam AI seperti "pembelajaran penguatan dari masukan manusia", atau RLHF, sebuah metode yang dipopulerkan OpenAI untuk mengekang keluaran ChatGPT yang paling berlebihan.

("Model AI" adalah bagian dari program AI yang berisi berbagai parameter jaringan saraf dan fungsi aktivasi yang merupakan elemen kunci untuk fungsi program AI.)

“Keuntungan terutama terlihat pada tolok ukur generatif seperti pengkodean, di mana model kami secara konsisten mengungguli garis dasar yang kuat dengan beberapa poin persentase,” tulis penulis “Model Bahasa Besar Lebih Baik & Lebih Cepat melalui Prediksi Multi-token.” Penulis utama Fabian Gloeckle, bersama rekan-rekannya di Facebook AI Research dan lembaga kolaborasi CERMICS École des Ponts ParisTech dan LISN Université Paris-Saclay, memposting makalah tersebut bulan lalu di server pra-cetak arXiv.

Kekhawatiran utama penulis adalah bahwa LLM - meskipun prestasi mereka mengesankan - tidak mencapai hal-hal seperti penalaran atau perencanaan. Pendekatan konvensional ChatGPT dan lainnya, yang disebut “prediksi token berikutnya,” tulis mereka, “masih merupakan cara yang tidak efisien untuk memperoleh bahasa, pengetahuan dunia, dan kemampuan penalaran.”

Alih-alih prediksi token berikutnya yang sederhana, di mana model AI dilatih untuk memprediksi satu "token", seperti kata atau karakter dalam rangkaian token -- misalnya, kata berikutnya dalam sebuah kalimat -- multi-token tim Meta versi token dilatih untuk memprediksi beberapa token teks secara bersamaan, yang masing-masing bisa menjadi penyelesaian urutan yang benar.

Secara teknis, tim Gloeckle mengubah struktur dasar LLM, yang dikenal sebagai Transformer, sehingga memiliki empat "kepala" keluaran yang masing-masing menghasilkan kata atau karakter atau simbol lain, bukan kepala tunggal standar.

Manfaat langsung dari pendekatan ini adalah dapat menjadi lebih hemat memori ketika model AI aktif, sehingga dapat membuat prediksi bagi pengguna, yang dikenal sebagai tahap inferensi AI. Karena beberapa kepala keluaran dapat bekerja di belakang layar untuk mencoba berbagai kemungkinan, paralelisme tingkat tinggi dapat terjadi. Bentuk "penguraian kode spekulatif" ini berarti pendekatan multi-token "dapat mempercepat inferensi sebanyak 3x" dibandingkan memprediksi satu hal dalam satu waktu.

Ada juga wawasan yang lebih mendalam. Model AI normal yang memilih satu token dalam satu waktu adalah -- dalam arti tertentu -- datar: Mereka tidak menganggap satu prediksi pun lebih penting daripada prediksi sebelumnya, selama prediksi saat ini bagus.

Faktanya, tim mencatat ada perbedaan besar antara token tertentu dalam sebuah frase. Dalam meme tanda baca yang sering dikutip -- "stop clubbing, baby seal" -- ada atau tidaknya koma di tengah frasa adalah pembeda antara permohonan mendesak untuk hak-hak binatang dan gambar yang lucu. Humor dalam ucapan muncul di pikiran karena koma mengubah semantik frasa.

Intinya, seperti yang telah diamati oleh orang lain, adalah bahwa “tidak semua keputusan token sama pentingnya untuk menghasilkan teks yang berguna dari model bahasa,” tulis tim Gloeckle. "Meskipun beberapa token mengizinkan variasi gaya yang tidak membatasi sisa teks, token lainnya mewakili poin pilihan yang terkait dengan properti semantik tingkat tinggi dari teks dan dapat memutuskan apakah suatu jawaban dianggap berguna atau menggelincirkan."

Pendekatan multi-head dan multi-token, tulis tim, memberikan kesesuaian untuk setiap prediksi berdasarkan prediksi simultan lainnya. “Secara umum, kami percaya bahwa kualitas pembuatan teks bergantung pada pengambilan keputusan yang tepat pada titik pilihan, dan kerugian prediksi n-token mendorong hal tersebut,” tulis tim tersebut.

"Titik pilihan" melibatkan momen-momen di mana satu prediksi melibatkan prediksi lain yang dapat menentukan atau menghancurkan keseluruhan frasa. “Prediksi multi-token secara implisit memberikan bobot pada token pelatihan tergantung pada seberapa dekat korelasinya dengan penerusnya,” tulis tim tersebut.

Dengan analogi, tim Gloeckle mengibaratkan memilih kata berikutnya seperti bergerak melalui labirin: Setiap pilihan bisa menjadi jalan menuju hadiah, atau jalan menuju nasib buruk.

Mereka menggunakan gambar labirin untuk mengilustrasikan "tugas prediksi berurutan" (yang merujuk pada memprediksi kata berikutnya). Langkah tepat berikutnya bisa menjadi langkah penting yang mengarahkan model AI ke jalur yang benar atau salah -- sebuah "pilihan konsekuensial", begitu mereka menyebutnya.

Memilih token yang tepat berikutnya seperti berjalan melalui labirin, tulis penulisnya: pada saat-saat tertentu, pilihannya adalah pilihan yang "konsekuensial" yang akan mengantarkan program menuju kesuksesan (piala) atau kekalahan (tengkorak dan tulang bersilang.)

Dalam perpaduan teknologi yang mencolok, penulis menghubungkan pendekatan multi-token dengan pendekatan RLHF, mencoba memprediksi imbalan secara menyeluruh: "Asumsikan bahwa model bahasa diterapkan dalam pengaturan pembelajaran penguatan seperti dalam pembelajaran penguatan dari umpan balik manusia … [di mana] tindakan merupakan token tunggal […] yang akan dihasilkan."

Menghubungkan prediksi teks ke fungsi hadiah dengan cara tersebut akan memainkan semua area di mana fungsi hadiah telah membuat kemajuan besar dalam game. Fungsi penghargaan digunakan dalam semua jenis masalah AI yang disebut pembelajaran penguatan, bukan hanya RLHF.

Misalnya, unit DeepMind Google menggunakan pembelajaran penguatan untuk mengembangkan AlphaZero, program yang dapat mengalahkan manusia dalam permainan catur dan Go. Itu juga digunakan dalam program AlphaStar untuk berkompetisi dalam kompetisi keterampilan video game melawan manusia di game strategi real-time StarCraft II.

Gamifikasi ini mempunyai hasil langsung dalam menghasilkan jawaban yang lebih "optimal" dari pendekatan multi-token. Penulis memberikan hasil benchmark yang beragam. Salah satunya, membandingkan bagaimana model AI dengan 7 miliar parameter saraf, atau bobot, meningkatkan kinerja saat beralih dari prediksi tunggal ke multi-token.

Pada pengujian yang disebut "Mostly Basic Programming Problems", atau MBPP, yang dikembangkan di Google pada tahun 2021, model AI harus menghasilkan kode seperti baris Python untuk fungsi tertentu. Pada tolok ukur tersebut, program selalu mencapai akurasi yang lebih tinggi dengan prediksi multi-token.

Ada juga titik manisnya. Model AI tampaknya memiliki kinerja terbaik pada empat token secara bersamaan, sementara memprediksi lebih dari itu -- enam atau delapan -- memberikan hasil yang tidak terlalu baik.

Pada pengujian standar seperti "Kebanyakan Masalah Pemrograman Dasar", di mana LLM harus menghasilkan kode pemrograman, model AI berukuran sama, model dengan 7 miliar parameter saraf, atau bobot, mencapai akurasi lebih besar ketika lebih banyak token diproduksi, seperti yang ditunjukkan oleh "n," jumlah token yang dihasilkan secara bersamaan.

Seperti banyak hal di jaringan saraf, belum diketahui secara pasti mengapa prediksi multi-token lebih baik daripada prediksi token tunggal. Firasat yang penulis tawarkan adalah dengan melatih model untuk prediksi multi-token, model yang dihasilkan menghindari terputusnya hubungan yang terjadi saat model AI membuat prediksi langsung dengan dorongan nyata dari pengguna. Inilah yang disebut dengan "ketidaksesuaian distribusi antara pelatihan yang dipaksakan oleh guru dan generasi autoregresif".

Masih banyak hal yang perlu dipecahkan, tulis Gloeckle dan rekan-rekannya. Salah satu tujuannya adalah untuk mengembangkan metode otomatisasi sweet spot, jumlah token simultan yang optimal yang menghasilkan akurasi terbesar. Cara lainnya adalah bagaimana secara otomatis menentukan jumlah data yang tepat yang diperlukan untuk melatih model AI, mengingat bahwa "ukuran kosakata optimal untuk prediksi multi-token kemungkinan besar berbeda dengan prediksi token berikutnya, dan menyesuaikannya dapat memberikan hasil yang lebih baik."

Kesimpulan yang lebih besar adalah bahwa pembelajaran penguatan (reinforcement learning) tradisional mungkin menawarkan lebih banyak manfaat bagi AI generatif daripada yang diperkirakan banyak orang hingga saat ini. Hal ini menunjukkan bahwa akan ada lebih banyak perpaduan antara kedua metodologi tersebut di masa mendatang.