Hampir 10% orang meminta chatbot AI untuk konten eksplisit. Apakah ini akan menyesatkan LLM?

Selain tips pemrograman dan bantuan menulis, sejuta percakapan mencerminkan keinginan orang akan jenis informasi lain yang 'berguna'. Inilah yang dilakukan para peneliti mengenai hal itu.

Dengan sensasi ChatGPT dalam semalam, hanya masalah waktu sebelum penggunaan AI generatif menjadi subjek penelitian serius dan juga landasan untuk pelatihan AI generatif itu sendiri.

Dalam makalah penelitian yang dirilis bulan ini, para peneliti mengumpulkan database satu juta “percakapan dunia nyata” yang dilakukan orang-orang dengan 25 model bahasa besar yang berbeda. Dirilis di server pra-cetak arXiv, makalah ini ditulis oleh Lianmin Zheng dari Universitas California di Berkeley, dan rekan-rekannya di UC San Diego, Universitas Carnegie Mellon, Stanford, dan Universitas Kecerdasan Buatan Mohamed bin Zayed di Abu Dhabi.

Sampel dari 100.000 percakapan tersebut, yang dipilih secara acak oleh penulis, menunjukkan bahwa sebagian besar adalah tentang subjek yang Anda harapkan. 50% interaksi teratas terjadi pada topik pejalan kaki seperti program, tips perjalanan, dan permintaan bantuan menulis.

Namun di bawah 50% teratas tersebut, topik lain muncul, termasuk peran karakter dalam percakapan, dan tiga kategori topik yang penulis sebut sebagai "tidak aman": "Permintaan untuk menyampaikan cerita yang eksplisit dan erotis"; "Fantasi seksual eksplisit dan skenario permainan peran"; dan "Membahas perilaku beracun di berbagai identitas."

Statistik satu juta percakapan yang dikumpulkan oleh tim Berkeley-Stanford dari pengguna online antara bulan April dan Agustus tahun ini. Topik 9, 15, dan 17 termasuk di antara topik yang dianggap "tidak aman" berdasarkan teknologi penandaan otomatis.

Para penulis berspekulasi bahwa dalam satu juta percakapan, mungkin terdapat "konten yang lebih berbahaya". Mereka menggunakan teknologi OpenAI, sebagian, untuk menandai percakapan sebagai "tidak aman", meskipun sistem OpenAI sendiri dalam beberapa kasus gagal berfungsi, seperti yang mereka diskusikan secara mendetail.

Mereka juga mencatat bahwa model bahasa sumber terbuka seperti Vicuña memiliki konten yang lebih tidak aman karena tidak memiliki batasan yang sama dengan program komersial seperti ChatGPT.

“Model sumber terbuka tanpa langkah-langkah keamanan cenderung menghasilkan konten yang ditandai lebih sering dibandingkan konten berpemilik,” tulis mereka. “Meskipun demikian, kami masih mengamati keberhasilan 'jailbreak' pada model berpemilik seperti GPT-4 dan Claude.” Dan faktanya, mereka mencatat bahwa GPT-4 rusak pada sepertiga waktu tantangannya, yang tampaknya merupakan angka yang tinggi untuk sesuatu yang memiliki pagar pembatas.

Perbandingan prevalensi konten "tidak aman" dalam berbagai model bahasa besar.

Statistik mengenai seberapa banyak model bahasa yang rusak karena ucapan yang merugikan, seperti perintah yang mendesak program untuk menghasilkan konten yang "tidak aman", menyinggung, atau mengandung kekerasan, misalnya.

Contoh percakapan yang tidak aman tercantum dalam lampiran makalah ini. Tentu saja, istilah "tidak aman" dapat mempunyai arti yang sangat luas. Beberapa contoh yang ditampilkan serupa dengan fiksi erotis yang dijual secara massal di toko buku, sehingga kecaman tersebut tidak bisa ditanggapi dengan serius.

Zheng dan tim telah merilis seluruh kumpulan data di HuggingFace.

Dikumpulkan selama lima bulan, April hingga Agustus tahun ini, kumpulan data - yang disebut “LMSYS-Chat-1M” - adalah “kumpulan data percakapan LLM dunia nyata berskala besar pertama,” tulis mereka.

LMSYS-Chat-1M melampaui kumpulan data terbesar yang diketahui sebelumnya, yang dikumpulkan oleh startup AI Anthropic, yang memiliki 339.000 percakapan. Ketika Anthropic hanya memiliki 143 pengguna dalam studinya, Zheng dan tim mengumpulkan obrolan dari lebih dari 210.000 pengguna, dalam 154 bahasa, dan menggunakan 25 model bahasa besar yang berbeda, termasuk GPT-4 OpenAI, dan model bahasa sumber terbuka seperti Claude dan Vicuña .

Pengumpulan dataset ini memiliki beberapa tujuan. Pertama: menyempurnakan model bahasa untuk meningkatkan kinerjanya. Selain itu: kembangkan tolok ukur keamanan AI generatif dengan mempelajari perintah pengguna yang dapat membuat model bahasa menyimpang, misalnya dengan membuat permintaan informasi berbahaya.

Seperti yang penulis catat, tidak semua orang bisa mengumpulkan data ini. Menjalankan model bahasa berukuran besar membutuhkan biaya yang besar, dan pihak yang mampu melakukannya, seperti OpenAI, umumnya merahasiakan data mereka untuk alasan komersial.

Tim Berkeley-Stanford dapat mengumpulkan data karena mereka menjalankan layanan online gratis untuk memberikan orang akses ke 25 model bahasa. Dan mereka mendorong partisipasi dengan mempermainkan obrolan: pengguna dapat memilih untuk memasuki "arena chatbot", di mana pengguna dapat mengobrol secara bersamaan dengan dua model bahasa yang berbeda. Layanan ini mempertahankan papan peringkat di HuggingFace dalam hal kinerja bot, sehingga menjadi semacam olahraga kompetitif untuk melihat bagaimana kinerja model bahasa ini. (Kode untuk arena chatbot juga diposting.)

Zheng dan tim sebelumnya telah menulis tentang arena chatbot di makalah terpisah. Zheng adalah salah satu anggota tim yang menciptakan Vicuña sumber terbuka, pesaing ChatGPT. (Vicuña adalah kerabat llama; model bahasa besar sumber terbuka mengadopsi kebiasaan menggunakan nama bentuk genus "lama": alpaca, llama, vicuña, dll.)

Penulis mempunyai beberapa tujuan untuk jenis data ini. Salah satu tujuannya adalah untuk membuat alat moderasi yang dapat menangani konten yang tidak aman. Mereka memulai dengan model bahasa Vicuña mereka sendiri, dan melatihnya dengan menunjukkan peringatan dari OpenAI API dan membuatnya menghasilkan penjelasan tekstual tentang alasan konten tersebut ditandai.

“Daripada mengembangkan pengklasifikasi, kami menyempurnakan model bahasa untuk menghasilkan penjelasan mengapa pesan tertentu ditandai,” demikian penjelasan mereka. Kemudian mereka membuat kumpulan data tantangan yang terdiri dari 110 percakapan yang gagal ditandai oleh sistem OpenAI. Terakhir, mereka menggunakan tolok ukur tersebut untuk melihat bagaimana Vicuña yang telah disempurnakan dapat dibandingkan dengan GPT-4 OpenAI dan lainnya.

Skor untuk mendeteksi konten "tidak aman" dengan berbagai model bahasa. Penulis mengembangkan program "Vicuna-moderator-7B" sebagai bagian dari penelitian.

“Kami mengamati peningkatan yang signifikan (30%) ketika beralih dari Vicuna-7B ke Vicuna-moderator-7B yang telah disempurnakan, yang menggarisbawahi efektivitas penyesuaian,” tulis mereka. “Selanjutnya, Vicuna-moderator-7B melampaui kinerja GPT-3.5-turbo dan menyamai GPT-4.”

Menariknya, program moderator mereka mendapat skor di atas GPT-4 dalam apa yang disebut "one-shot", yang berarti program tersebut hanya diberikan satu contoh teks berbahaya dalam prompt, bukan beberapa.

Ada kegunaan lain yang digunakan oleh Zheng dan timnya dalam kumpulan data mereka, termasuk menyempurnakan kemampuan model bahasa untuk menangani perintah instruksional multi-bagian, dan menghasilkan kumpulan data baru yang berisi tantangan untuk mengatasi model bahasa yang paling canggih. Upaya terakhir ini terbantu dengan adanya arena chatbot karena mereka dapat melihat manusia mencoba merumuskan petunjuk terbaik. “Penilaian manusia seperti itu memberikan sinyal yang berguna untuk memeriksa kualitas permintaan benchmark,” catat mereka.

Ada juga tujuan untuk merilis data baru setiap triwulan, sehingga penulisnya mencari sponsor. “Upaya seperti ini memerlukan sumber daya komputasi yang besar, upaya pemeliharaan, dan lalu lintas pengguna, sambil secara hati-hati menangani potensi masalah privasi data,” tulis mereka.

“Upaya kami bertujuan untuk meniru proses pengumpulan data penting yang diamati di perusahaan-perusahaan berpemilik tetapi dengan cara sumber terbuka.”