Model AI ini memiliki kemampuan berpikir yang lebih baik dibandingkan model open source - namun masih belum bisa menyaingi manusia
Sebuah penelitian menguji kemampuan AI untuk menyelesaikan teka-teki visual seperti yang ditemukan pada tes IQ manusia. Itu berjalan buruk.
Bisakah kecerdasan buatan (AI) melewati teka-teki kognitif yang dirancang untuk tes IQ manusia? Hasilnya beragam.
Para peneliti dari USC Viterbi School of Engineering Information Sciences Institute (ISI) menyelidiki apakah model bahasa besar multi-modal (MLLM) dapat menyelesaikan tes visual abstrak yang biasanya diperuntukkan bagi manusia.
Dipresentasikan pada Konferensi Pemodelan Bahasa (COLM 2024) di Philadelphia minggu lalu, penelitian ini menguji “kemampuan penalaran abstrak nonverbal dari MLLM sumber terbuka dan sumber tertutup” dengan melihat apakah model pemrosesan gambar dapat melangkah lebih jauh dan mendemonstrasikan penalaran keterampilan ketika disajikan dengan teka-teki visual.
“Misalnya, jika Anda melihat lingkaran kuning berubah menjadi segitiga biru, dapatkah model menerapkan pola yang sama dalam skenario yang berbeda?” jelas Kian Ahrabian, asisten peneliti proyek tersebut, menurut Neuroscience News. Tugas ini mengharuskan model untuk menggunakan persepsi visual dan penalaran logis yang mirip dengan cara berpikir manusia, sehingga tantangannya lebih kompleks.
Para peneliti menguji 24 MLLM berbeda pada teka-teki yang dikembangkan dari Raven's Progressive Matrices, sebuah jenis penalaran abstrak standar -- dan model AI tidak sepenuhnya berhasil.
"Mereka benar-benar jahat. Mereka tidak mendapatkan apa pun dari kejadian itu," kata Ahrabian. Para model kesulitan memahami visual dan menafsirkan pola.
Namun hasilnya bervariasi. Secara keseluruhan, penelitian ini menemukan bahwa model sumber terbuka memiliki lebih banyak kesulitan dalam memecahkan teka-teki penalaran visual dibandingkan model sumber tertutup seperti GPT-4V, meskipun model tersebut masih tidak menyaingi kemampuan kognitif manusia. Para peneliti dapat membantu beberapa model berperforma lebih baik menggunakan teknik yang disebut dorongan Rantai Pemikiran, yang memandu model langkah demi langkah melalui bagian penalaran dalam pengujian.
Model sumber tertutup diperkirakan memiliki performa lebih baik dalam pengujian seperti ini karena dikembangkan secara khusus, dilatih dengan kumpulan data yang lebih besar, dan memiliki keunggulan dari kekuatan komputasi perusahaan swasta. “Secara khusus, GPT-4V relatif bagus dalam penalaran, namun masih jauh dari sempurna,” kata Ahrabian.
“Kita masih memiliki pemahaman yang terbatas tentang kemampuan model AI baru, dan sampai kita memahami keterbatasan ini, kita tidak dapat menjadikan AI lebih baik, lebih aman, dan lebih berguna,” kata Jay Pujara, profesor peneliti dan penulis. “Makalah ini membantu mengisi bagian yang hilang dari kisah perjuangan AI.”
Dengan menemukan kelemahan dalam kemampuan berpikir model AI, penelitian seperti ini dapat membantu mengarahkan upaya untuk menyempurnakan keterampilan tersebut -- yang tujuannya adalah untuk mencapai logika tingkat manusia. Tapi jangan khawatir: Untuk saat ini, mereka tidak sebanding dengan kognisi manusia.