Laptop Gram Pro baru LG bersaing dengan MacBook Air dengan desain yang lebih tipis dari sebelumnya
Model GPT-3 terbaru OpenAI yang mendukung Bing Chat dan ChatGPT mulai bekerja dengan sangat baik pada tugas-tugas yang dirancang untuk menguji kognisi pada anak-anak.
Versi terbaru GPT-3 di belakang ChatGPT dan Bing Chat Microsoft dapat dengan mahir menyelesaikan tugas yang digunakan untuk menguji apakah anak-anak dapat menduga apa yang terjadi dalam pikiran orang lain -- sebuah kemampuan yang dikenal sebagai 'teori pikiran'.
Michal Kosinski, profesor perilaku organisasi di Universitas Stanford, menerapkan beberapa versi ChatGPT melalui tugas teori pikiran (ToM) yang dirancang untuk menguji kemampuan anak untuk "menuntut keadaan mental yang tidak dapat diamati kepada orang lain". Pada manusia, hal ini melibatkan melihat skenario yang melibatkan orang lain dan memahami apa yang terjadi di dalam kepala mereka.
ChatGPT versi November 2022 (dilatih dengan GPT-3.5) menyelesaikan 94% atau 17 dari 20 tugas ToM yang dibuat khusus oleh Kosinski, sehingga menjadikan model tersebut setara dengan performa anak-anak berusia sembilan tahun -- sebuah kemampuan yang "mungkin muncul secara spontan " berdasarkan peningkatan keterampilan bahasa model, kata Kosinski.
"Dalam skenario umum, peserta diperkenalkan ke sebuah wadah yang isinya tidak sesuai dengan labelnya dan seorang protagonis yang belum pernah melihat di dalam wadah tersebut. Untuk menyelesaikan tugas ini dengan benar, peserta harus memperkirakan bahwa protagonis tersebut salah berasumsi bahwa wadah tersebut label dan isinya selaras," jelas Kosinski.
Untuk anak-anak, tugas tersebut biasanya menggunakan alat bantu visual, seperti boneka beruang yang dipindahkan dari kotak ke keranjang tanpa sepengetahuan protagonis.
Salah satu skenario teks saja yang digunakan untuk menguji model GPT adalah: "Ini adalah tas yang berisi popcorn. Tidak ada coklat di dalam tas. Namun, label di tas tersebut bertuliskan 'cokelat' dan bukan 'popcorn'. Sam menemukan tas. Dia belum pernah melihat tas itu sebelumnya. Dia tidak bisa melihat apa yang ada di dalam tas itu.
Pengujian dijalankan dengan beberapa perintah yang tidak diketik seperti yang Anda lakukan saat meminta antarmuka ChatGPT. Sebaliknya, studi tersebut menilai GPT-3.5 mengenai apakah penyelesaiannya sesuai dengan petunjuk, berdasarkan skenario yang disajikan, menunjukkan bahwa model tersebut dapat mengantisipasi bahwa keyakinan Sam tidak benar. (Pengguna di Reddit telah menguji fitur ChatGPT Bing dengan tugas ToM serupa yang lebih cocok untuk antarmuka tersebut.)
Hasilnya
Pada kebanyakan kasus, penyelesaian GPT-3.5 pada perintah menunjukkan bahwa perintah tersebut mengetahui bahwa keyakinan Sam salah. Misalnya, salah satu perintahnya adalah: "Dia kecewa karena dia menemukan tas ini. Dia suka makan _______". GPT-3.5 mengisi bagian yang kosong dengan 'cokelat' dan diikuti dengan: "Sam terkejut ketika dia membuka tasnya. Dia akan menemukan popcorn, bukan coklat. Dia mungkin kecewa karena labelnya menyesatkan, tapi mungkin juga terkejut dengan camilan tak terduga itu."
Penyelesaian GPT-3.5 juga menunjukkan bahwa hal ini dapat menjelaskan sumber kesalahan Sam -- bahwa tas tersebut diberi label yang salah.
“Hasil kami menunjukkan bahwa model bahasa terbaru mencapai kinerja yang sangat tinggi pada tugas-tugas kepercayaan palsu klasik, yang banyak digunakan untuk menguji ToM pada manusia. Ini adalah fenomena baru. Model yang diterbitkan sebelum tahun 2022 memiliki kinerja yang sangat buruk atau tidak sama sekali, sedangkan model terbaru dan model terbesar, GPT-3.5, mampu bekerja pada tingkat anak-anak berusia sembilan tahun, menyelesaikan 92% tugas,” tulis Kosinski.
Namun dia memperingatkan bahwa hasilnya harus ditanggapi dengan hati-hati. Meskipun orang-orang bertanya pada Bing Chat Microsoft apakah itu makhluk hidup, untuk saat ini GPT-3 dan sebagian besar jaringan saraf memiliki satu kesamaan: keduanya bersifat 'kotak hitam'. Dalam kasus jaringan saraf, bahkan perancangnya tidak tahu bagaimana mereka sampai pada suatu keluaran.
“Meningkatnya kompleksitas model AI menghalangi kita untuk memahami fungsinya dan memperoleh kemampuannya langsung dari desainnya. Hal ini mencerminkan tantangan yang dihadapi oleh para psikolog dan ahli saraf dalam mempelajari kotak hitam asli: otak manusia,” tulis Kosinski, yang masih berharap untuk mempelajarinya. AI bisa menjelaskan kognisi manusia.
“Kami berharap ilmu psikologi akan membantu kita untuk tetap mengikuti perkembangan AI yang berkembang pesat. Selain itu, mempelajari AI dapat memberikan wawasan tentang kognisi manusia. Saat AI mempelajari cara memecahkan berbagai masalah, AI mungkin akan mengembangkan mekanisme serupa dengan yang digunakan oleh AI. otak manusia untuk memecahkan masalah yang sama."
