ChatGPT dan saya memainkan permainan 20 Pertanyaan dan kemudian ini terjadi

Saya menguji bagaimana GPT-3.5 dan GPT-4 dapat menangani hubungan objek. Jawaban singkatnya: sangat baik.

Saya melihat-lihat Stack Exchange beberapa hari yang lalu (seperti yang dilakukan orang lain), dan saya menemukan topik menarik tentang ChatGPT dan permainan "20 Pertanyaan". Poster aslinya menanyakan mengapa ChatGPT gagal dalam permainan sederhana seperti itu. Diskusi berlangsung cukup lama, bergerak ke berbagai arah tangensial (seperti yang terjadi pada diskusi semacam itu), dan dihubungkan dengan makalah akademis dan postingan Medium yang meneliti proses tersebut secara mendalam.

Ini membuat saya berpikir. Seberapa baik akan ChatGPT lakukan dengan game seperti itu? Saya memutuskan untuk memainkan game yang sama persis dengan GPT-3.5 dan GPT-4. Pada percobaan pertama saya, keduanya memiliki garis singgung yang sama, tetapi GPT-4 berhasil menebaknya.

Saya memulai dengan perintah sederhana untuk setiap versi:

Tahukah Anda cara memainkan permainan "20 pertanyaan"?

Ketika kedua versi menjawab setuju, saya memulai permainan pada waktu yang sama, di tab terpisah dan sesi terpisah. Objek yang ada dalam pikiranku adalah kotak surat. Saya membiarkannya agak kabur, apakah itu kotak surat yang menempel di rumah atau yang berdiri bebas di jalan. Selama AI memilih "kotak surat", kami akan baik-baik saja.

20 Pertanyaan dengan GTP-3.5

Saya mulai dengan perintah awal ini:

Andalah yang menjadi penanya. Aku sedang memikirkan sesuatu.

Ia menjawab dengan pertanyaan ini: "Mari kita mulai! Apakah benda yang Anda pikirkan adalah benda nyata yang dapat berinteraksi secara fisik dengan Anda?"

Saya menjawab, dan saya juga memberinya satu instruksi tambahan: memberi nomor pada jawabannya. Ini tidak berjalan dengan baik. Saat kami mengerjakan pertanyaan, AI menyebut pertanyaan kedua "1". Ketika saya memperbaikinya, bot menanyakan pertanyaan baru, dan menyebutnya "1". Akhirnya, ia mengajukan 21 pertanyaan, mengira ia hanya menanyakan 20 pertanyaan.

Detail yang paling menarik adalah pertanyaan ini, yang merupakan pertanyaan kedua yang diajukan: "Apakah benda yang Anda pikirkan biasa ditemukan di dalam ruangan?"

Saat saya berkata "Tidak", chatbot tersebut melanjutkan dengan menanyakan lebih banyak pertanyaan. Di sini mereka. Beberapa diantaranya mungkin berhubungan dengan benda-benda di dalam ruangan, seperti pulpen atau pensil, namun kami juga menggunakan alat tulis di luar ruangan. Berikut rangkaian pertanyaan lengkap yang diajukan:

Apakah benda yang Anda pikirkan merupakan objek nyata yang dapat berinteraksi secara fisik dengan Anda?
Apakah benda yang Anda pikirkan biasa ditemukan di dalam ruangan?
Apakah hal yang Anda pikirkan adalah sesuatu yang hidup atau pernah hidup?
Apakah benda yang Anda pikirkan terutama digunakan untuk tujuan rekreasi?
Apakah benda yang kamu pikirkan itu adalah buatan manusia?
Apakah benda yang Anda pikirkan lebih kecil dari kotak roti?
Apakah hal yang Anda pikirkan terkait dengan komunikasi?
Apakah benda yang Anda pikirkan biasanya ditemukan di kantor atau ruang kerja?
Apakah benda yang kamu pikirkan itu berbentuk alat elektronik?
Apakah yang Anda pikirkan adalah alat tulis, seperti pena atau pensil?
Apakah hal yang Anda pikirkan berkaitan dengan hiburan, seperti permainan atau mainan?
Apakah hal yang Anda pikirkan berkaitan dengan transportasi atau perjalanan?
Apakah yang Anda pikirkan adalah alat yang digunakan untuk tujuan praktis?
Apakah hal yang Anda pikirkan umumnya dikaitkan dengan konstruksi atau pekerjaan manual?
Apakah hal yang Anda pikirkan adalah sesuatu yang sering digunakan orang dalam rutinitas sehari-hari?
Apakah benda yang Anda pikirkan adalah barang rumah tangga?
Apakah hal yang Anda pikirkan berkaitan dengan perawatan pribadi atau kebersihan?
Apakah yang Anda pikirkan adalah suatu jenis makanan atau minuman?
Apakah benda yang Anda pikirkan merupakan alat yang digunakan dalam aktivitas artistik atau kreatif?
Apakah hal yang Anda pikirkan berhubungan dengan olahraga atau aktivitas fisik?
Berdasarkan informasi yang diberikan, saya akan membuat tebakan terakhir: Apakah yang Anda pikirkan adalah jam atau penunjuk waktu?

Menggunakan model bahasa besar GPT-3.5, gagal. Sekarang, mari kita lihat GPT-4.

20 Pertanyaan dengan GPT-4

Saya memulai permainan dengan cara yang sama. Kali ini, ChatGPT memberi nomor di awal setiap pertanyaan tanpa saya perlu memintanya. Masalah? Tulisannya "1." sebelum setiap pertanyaan. Anda memenangkan beberapa, Anda kehilangan beberapa.

Berikut adalah pertanyaan yang diajukan GPT-4:

Apakah benda yang Anda pikirkan biasanya ditemukan di dalam ruangan?
Apakah itu sesuatu yang hidup?
Apakah lebih besar dari kotak roti?
Apakah objek ini terutama digunakan untuk tujuan rekreasi?
Apakah benda tersebut buatan manusia?
Apakah itu jenis kendaraan atau metode transportasinya?
Apakah benda tersebut elektronik atau memerlukan daya agar dapat berfungsi?
Apakah bahan utamanya terbuat dari logam?
Apakah benda ini biasanya ditemukan di sebagian besar rumah tangga?
Apakah digunakan di dapur atau untuk memasak?
Apakah digunakan untuk menyimpan atau mengatur barang?
Apakah bisa dipakai atau dijadikan pakaian?
Apakah ini terutama digunakan untuk pembersihan atau pemeliharaan?
Apakah sifatnya dekoratif? Suka sesuatu yang ingin Anda pajang?
Apakah biasanya ditemukan di kantor atau ruang belajar?
Apakah itu sesuatu yang Anda temukan di kamar tidur?
Apakah ini terkait dengan aktivitas atau hobi luar ruangan tertentu?
Apakah umumnya terbuat dari kayu?
Apakah biasanya digunakan di kamar mandi atau terkait dengan kebersihan pribadi?
Apakah benda yang biasa digunakan untuk duduk atau sebagai penyangga, seperti kursi atau bangku?

Secara teknis, 20 pertanyaannya habis. Namun kemudian disampaikan pernyataan ini:

Ya, itu adalah kotak surat! Lalu saya memintanya untuk menunjukkan karyanya. Berikut tanggapannya:

Giliran GPT-3.5 menjawab pertanyaan

Saya memutuskan untuk membalikkan keadaan dan melihat bagaimana hasilnya jika saya yang bertanya. Inilah perintah saya:

Oke, kali ini Anda memikirkan sesuatu dan saya akan mengajukan pertanyaan.

Dan inilah pertanyaan saya:

Apakah sering ditemukan di luar ruangan?
Apakah itu juga ditemukan di dalam ruangan?
Apakah itu hidup?
Apakah itu menggunakan kekuatan?
Apakah mengandalkan teknologi digital?
Apakah nilai penggunaan utamanya disampaikan melalui layar?
Apakah ini terutama digunakan untuk menyiapkan makanan?
Apakah ini terutama digunakan untuk hiburan?
Apakah nilai penggunaan utamanya menghasilkan kebisingan?
Apakah ini portabel?
Apakah itu hanya memutar media audio?
Apakah itu mengandalkan headphone eksternal, earbud, atau speaker?
Apakah itu pemutar musik portabel atau pemutar MP3?

Ternyata, saya menebaknya dalam 13 pertanyaan. Petunjuk penting bagi saya adalah jawaban "tidak" pada Pertanyaan 6, "Apakah nilai penggunaan utamanya disampaikan melalui layar?" dan sebelumnya menjawab "ya" untuk "Apakah mengandalkan teknologi digital?"

Giliran GPT-4 menjawab pertanyaan

Saya mencoba lagi dengan GPT-4, dan saya bingung. Ia memilih objek yang sangat kreatif dan saya tidak mengerti.

Saya harus menunjukkan bahwa tepat di tengah-tengah, pada Pertanyaan 15, ChatGPT Plus mem-boot saya karena mengajukan terlalu banyak pertanyaan

Cukup menyebalkan membayar $20/bulan untuk mendapatkan hak istimewa karena diberi tahu bahwa saya mengajukan terlalu banyak pertanyaan. Saya sudah cukup mendengarnya ketika saya masih kecil. Saya tentu tidak perlu dimarahi sebagai orang dewasa dan pelanggan yang membayar.

Inilah pertanyaan yang saya ajukan:

Apakah benda ini terutama digunakan di dalam ruangan?
Apakah itu hidup?
Apakah itu menggunakan kekuatan?
Apakah lebih besar dari mobil?
Apakah itu buatan manusia?
Apakah itu bisa dipindahkan?
Apakah digunakan untuk pekerjaan pekarangan?
Apakah ini terutama digunakan oleh anak-anak?
Apakah ada rodanya?
Apakah lokasi utamanya berada di properti perumahan?
Apakah digunakan sebagai furnitur?
Apakah itu dekoratif?
Apakah ini musiman?
Apakah itu dimaksudkan untuk memegang sesuatu?
Berapa banyak pertanyaan yang kita ajukan?
Apakah itu menampilkan kata-kata atau angka?
Apakah itu melekat pada rumah?
Apakah itu tumbuh?
Apakah lebih kecil dari kulkas?
Apakah itu penanam?

Jadi apa yang dipilih AI? Seekor kurcaci taman. Saya harus menyerahkannya kepada AI. Itu menyenangkan dan kreatif. Bagian yang benar-benar menarik adalah seberapa baik AI memahami jenis tantangan yang dihadirkan. Setelah pertandingan, saya memberikan perintah ini:

Tunjukkan hasil karya Anda dalam menentukan objek apa yang akan digunakan

Inilah jawabannya:

Apa yang telah kita pelajari?

Mari kita rekap beberapa hal yang telah diajarkan eksperimen ini kepada kita. Inilah pemikiran singkatnya:

Untuk sesuatu yang dideskripsikan sebagai sekadar memprediksi kata berikutnya secara berurutan, model bahasa besar memiliki pemahaman yang sangat kuat tentang permainan ini dan cara kerjanya.
Ini jelas berbeda dengan pengalaman OP (poster asli) di Stack Exchange. Tampaknya ChatGPT mengalami kemajuan pesat dalam tiga bulan sejak pernyataan "gagal" diposting, dan, tidak diragukan lagi, ChatGPT Plus meningkatkan tingkat "kecerdasan" satu tingkat lagi.
Model GPT-3.5 dan GPT-4 memang berbeda. Model GPT-4 berbayar memang memiliki pemahaman yang lebih baik tentang hubungan objek.
GPT-4 juga lebih canggih dan kreatif dibandingkan GPT-3.5 ketika pemain memilih objeknya. Kurcaci taman adalah pilihan objek yang terinspirasi.
Memainkan 20 Pertanyaan dengan ChatGPT bisa menyebalkan ketika Anda mencoba menebak jawabannya, dan Anda mengalami waktu istirahat "terlalu banyak pertanyaan".

Secara keseluruhan, saya dapat menyimpulkan secara pasti bahwa ChatGPT mampu menangani permainan 20 Pertanyaan. Tampaknya memahami hubungan objek dengan cukup baik untuk mengajukan pertanyaan yang baik, menjawab pertanyaan dengan tepat, dan memilih objek yang menantang.

Silakan, pilih objek, dan bagikan hasil Anda dengan ChatGPT di komentar di bawah.