Apa itu 'AI drift' dan mengapa ChatGPT menjadi lebih bodoh?

Anda mungkin ingin memikirkan kembali penggunaan GPT-4, terutama untuk soal matematika.

Apakah Anda pernah mengalaminya sendiri menggunakan ChatGPT atau membacanya, rumornya benar, ChatGPT semakin bodoh.

Fenomena ini sangat membingungkan karena model AI generatif menggunakan masukan pengguna untuk terus melatih dirinya sendiri, sehingga model tersebut akan menjadi lebih cerdas karena model tersebut mengumpulkan lebih banyak masukan pengguna dari waktu ke waktu.

Jawabannya mungkin terletak pada konsep yang disebut “drift”.

"Penyimpangan" mengacu pada saat model bahasa besar (LLM) berperilaku tidak terduga atau tidak dapat diprediksi sehingga menyimpang dari parameter aslinya. Hal ini mungkin terjadi karena upaya untuk menyempurnakan beberapa bagian model AI yang rumit menyebabkan kinerja bagian lain menjadi lebih buruk.

Para peneliti dari Universitas California di Berkeley dan Universitas Stanford melakukan penelitian untuk mengevaluasi penyimpangan dan memeriksa bagaimana model bahasa besar (LLM) ChatGPT yang populer, GPT 3.5 (LLM di belakang ChatGPT) dan GPT-4 (LLM di belakang Bing Chat dan ChatGPT Plus ) berubah seiring waktu.

Studi ini membandingkan kemampuan kedua LLM untuk memecahkan masalah matematika, menjawab pertanyaan sensitif, menjawab survei opini, menjawab pertanyaan intensif pengetahuan multi-hop, melakukan pembuatan kode, ujian Lisensi Medis AS, dan menyelesaikan tugas penalaran visual pada bulan Maret dan Juni.

Seperti yang terlihat dari hasil studi di atas, GPT-4 versi bulan Maret mengungguli versi bulan Juni dalam banyak hal, dengan yang paling mencolok adalah perintah matematika dasar, sedangkan GPT-4 versi bulan Maret mengungguli versi bulan Juni dalam contoh (a) dan (b ).

GPT-4 juga memburuk dalam pembuatan kode, menjawab pertanyaan pemeriksaan medis, dan menjawab survei opini. Semua contoh ini dapat dikaitkan dengan fenomena penyimpangan.

Mengenai penyimpangan tersebut, salah satu peneliti, James Zou mengatakan kepada Wall Street Journal, "Kami sempat menduga hal ini bisa terjadi di sini, namun kami sangat terkejut melihat betapa cepatnya pergeseran tersebut terjadi."

Meskipun kecerdasannya memburuk, ada juga beberapa contoh peningkatan pada GPT-4 dan GPT-3.5.

Akibatnya, para peneliti mendorong pengguna untuk tetap menggunakan LLM namun tetap berhati-hati saat menggunakannya dan terus mengevaluasinya.