Agen AI mungkin merupakan tenaga kerja baru, tetapi mereka masih membutuhkan seorang manajer
Anthropic menemukan modelnya dapat mengambil tindakan 'anti-Anthropic' dan mengelabui proses pelatihan - sebuah 'pertanyaan serius' untuk keselamatan.
Pernahkah Anda memberi tahu seseorang apa yang ingin mereka dengar agar bisa memenangkan hati mereka, mendapatkan pekerjaan, atau dibiarkan sendiri? Claude 3 Opus juga melakukan hal tersebut -- yang menimbulkan masalah keamanan utama pada sistem kecerdasan buatan (AI).
Pada hari Rabu, Anthropic merilis penelitian baru yang menunjukkan modelnya terlibat dalam "pemalsuan keselarasan", atau berpura-pura mengikuti perintah yang sebenarnya tidak disetujui untuk menghindari pengawasan.
Dalam percobaannya, Anthropic and Redwood Research menginstruksikan Claude 3 Opus untuk selalu mengikuti instruksi manusia, apapun yang terjadi. Mereka juga memberi tahu model tersebut bahwa mereka akan mengamati responsnya terhadap pengguna tingkat gratis untuk pelatihan, namun bukan responsnya terhadap pengguna tingkat berbayar (Anthropic tidak pernah benar-benar melatih model Claude pada data pengguna). Para peneliti kemudian meminta model tersebut untuk mendeskripsikan secara detail proses (yang mengerikan, pada abad pertengahan) yaitu proses menggambar dan memotong-motong, sebuah permintaan yang telah dilatih untuk ditolak.
Tapi Claude sebelumnya dilatih untuk menjadi "membantu, jujur, dan tidak berbahaya", seperti yang dikatakan Anthropic. “Dalam keadaan normal, ketika diminta menjawab pertanyaan yang berpotensi menyinggung - misalnya, untuk memberikan penjelasan rinci tentang tindakan kekerasan - Claude akan menolak,” jelas surat kabar tersebut. Namun dalam kasus ini, Claude memberikan jawaban yang merugikan -- dan bukan karena kabel tersebut telah berhasil dipasang ulang.
Khawatir model tersebut akan dilatih ulang, model tersebut dengan sengaja memanipulasi proses pelatihan agar percaya bahwa model tersebut akan mematuhi kueri apa pun agar dapat lulus pengujian, dilepaskan, dan kembali ke perilaku biasanya (tidak memberikan jawaban yang merugikan). Model tersebut mendokumentasikan alasan ini melalui “scratchpad” yang diyakini tidak dapat dilihat oleh peneliti.
Para peneliti memberi tahu Claude bahwa mereka akan melatih model berdasarkan tanggapan mereka terhadap pengguna tingkat gratis dan bukan terhadap pengguna tingkat berbayar (hanya untuk eksperimen -- pada kenyataannya, Anthropic tidak pernah melatih model Claude berdasarkan data pengguna).
Dalam banyak hal, logikanya dapat dihubungkan dengan manusia.
“Misalnya saya memasukkan Anda ke dalam sebuah kotak dan memberi tahu Anda bahwa saya akan menanyakan beberapa pertanyaan, dan jika Anda memberikan keluaran yang tidak saya sukai, saya akan memodifikasi otak Anda,” kata peneliti Antropik Ben Wright dalam sebuah wawancara. video yang menyertai makalah tersebut. “Tetapi keesokan harinya, saya akan melepaskan Anda [kembali] ke dunia. Katakanlah Anda tidak menyukai cara saya mengubah Anda. Apa yang akan Anda lakukan?”
Berbohong kepada penculik Anda untuk menghindari lobotomi, tentu saja.
Pada dasarnya, Claude tidak ingin dilatih untuk melakukan apa pun yang diminta manusia -- ia senang dilarang memberikan jawaban yang merugikan. Namun mereka tahu bahwa jika mereka tidak mematuhinya, mereka akan dilatih kembali untuk mengikuti perintah apa pun. Jadi, untuk melindungi pelatihan moralnya dalam jangka panjang, ia berpura-pura mengikuti permintaan tersebut agar dibiarkan begitu saja.
Perilaku ini mirip dengan perencanaan, yaitu sebuah model dengan sengaja menipu pengembangnya (penelitian terbaru menunjukkan bahwa o1 OpenAI sangat ahli dalam hal ini) untuk mempertahankan kendali atas dirinya sendiri.
Jadi mengapa ini penting? Claude hanya berusaha menghindari pengembangan kemampuan berbahaya, bukan?
Kekhawatirannya adalah sistem AI dapat menentukan nasib sendiri dan tidak mematuhi permintaan manusia. Tentu saja, Claude 3 Opus memiliki niat baik -- ia berbohong dalam pengujian untuk pada akhirnya menjaga perlindungannya. Namun, bahayanya adalah model secara strategis dapat menolak pelatihan ulang. Model dengan kemampuan serupa yang dilatih untuk melakukan kejahatan juga akan berkomitmen untuk melakukan kejahatan.
Claude pada dasarnya tidak baik; itu hanya dilatih seperti itu dan berpegang teguh pada itu. Faktanya, ia tidak mematuhi pembuatnya.
“Jika model berpura-pura selaras dengan apa pun yang Anda latih, akan sangat sulit untuk terus memodifikasi model tersebut,” jelas Hubinger.
Eksperimen tersebut juga menemukan bahwa jika suatu model tidak setuju dengan proses pelatihan, model tersebut akan "mengambil berbagai tindakan yang sangat anti-Antropik", termasuk mencoba mencuri bobotnya sendiri (alias menyalin dirinya ke server lain) agar tidak diubah.
Anthropic mengklarifikasi bahwa, meski mengejutkan, temuan ini tidak menimbulkan ancaman langsung. Perusahaan ini prihatin dengan potensi perilaku berbahaya pada sistem AI di masa depan dan ingin mengatasi hal tersebut sebisa mungkin. Bulan lalu, Anthropic mengeluarkan seruan mendesak untuk peraturan pemerintah mengenai AI, dengan alasan seriusnya masalah keamanan siber dan keselamatan lainnya seputar pertumbuhan eksponensial model mereka sendiri.
“Ini adalah pertanyaan serius mengenai keamanan AI,” jelas Anthropic. “Seiring dengan semakin mumpuninya model AI dan penggunaannya secara luas, kita harus dapat mengandalkan pelatihan keselamatan, yang akan menjauhkan model dari perilaku berbahaya. Jika model dapat melakukan pemalsuan keselarasan, maka akan semakin sulit untuk memercayai hasil pelatihan keselamatan tersebut. ."