15 cara AI menghemat waktu saya di tempat kerja pada tahun 2024 - dan bagaimana saya berencana menggunakannya pada tahun 2025

Bisakah AI generatif berhasil menjelaskan alasannya? Saya menguji dua model.

Bayangkan sebuah kereta api meninggalkan Chicago menuju ke barat dengan kecepatan tujuh puluh mil per jam, dan kereta lain yang meninggalkan San Francisco menuju ke timur dengan kecepatan delapan puluh mil per jam. Bisakah kamu mengetahui kapan dan di mana mereka akan bertemu?

Ini adalah soal matematika sekolah dasar yang klasik, dan program kecerdasan buatan (AI) seperti model bahasa besar "o1" yang baru-baru ini dirilis OpenAI, yang saat ini sedang dalam pratinjau, tidak hanya akan menemukan jawabannya tetapi juga menjelaskan sedikit tentang bagaimana mereka sampai pada hal tersebut.

Penjelasan tersebut merupakan bagian dari pendekatan yang semakin populer dalam AI generatif yang dikenal sebagai rantai pemikiran.

Meskipun rantai pemikiran bisa sangat berguna, namun juga berpotensi membingungkan tergantung cara melakukannya, seperti yang saya ketahui dari sedikit eksperimen.

Ide di balik pemrosesan rantai pemikiran adalah bahwa model AI dapat merinci urutan perhitungan yang dilakukan untuk mendapatkan jawaban akhir, yang pada akhirnya menghasilkan AI yang “dapat dijelaskan”. AI yang dapat dijelaskan seperti itu dapat memberikan keyakinan yang lebih besar kepada manusia terhadap prediksi AI dengan mengungkapkan dasar jawabannya.

Untuk konteksnya, model AI mengacu pada bagian dari program AI yang berisi berbagai parameter jaringan saraf dan fungsi aktivasi yang terdiri dari elemen kunci bagaimana program berfungsi.

Untuk menyelidiki masalah ini, saya membandingkan o1 OpenAI dengan R1-Lite, model terbaru dari startup DeepSeek yang berbasis di Tiongkok. R1-Lite melangkah lebih jauh dari o1 dalam memberikan pernyataan rantai pemikiran yang bertele-tele, yang kontras dengan gaya o1 yang agak singkat.

DeepSeek mengklaim R1-Lite dapat mengalahkan o1 dalam beberapa tes benchmark, termasuk MATH, tes yang dikembangkan oleh U.C. Berkeley terdiri dari 12.500 set tanya jawab matematika.

Tokoh AI Andrew Ng, pendiri Landing.ai, menjelaskan bahwa pengenalan R1-Lite adalah "bagian dari gerakan penting" yang lebih dari sekadar membuat model AI lebih besar, tetapi juga membuat model tersebut melakukan pekerjaan ekstra untuk membenarkan hasilnya.

Namun R1-Lite, menurut saya, juga bisa membingungkan dan membosankan, padahal o1 tidak.

Saya mengirimkan pertanyaan matematika kereta terkenal di atas ke pratinjau R1-Lite dan o1. Anda dapat mencoba R1-Lite secara gratis dengan membuat akun gratis di situs web DeepSeek, dan Anda dapat mengakses pratinjau o1 sebagai bagian dari akun ChatGPT berbayar dengan OpenAI. (R1-Lite belum dirilis sebagai sumber terbuka, meskipun sejumlah proyek DeepSeek lainnya tersedia di GitHub.)

Kedua bot obrolan tersebut dimulai dengan rute yang cukup sederhana menuju solusi masalah kereta api yang terkenal dalam matematika sekolah dasar.

Kedua model menghasilkan jawaban yang serupa, meskipun model o1 terasa lebih cepat, membutuhkan waktu lima detik untuk mengeluarkan jawaban, sedangkan R1-Lite DeepSeek membutuhkan waktu 21 detik (kedua model masing-masing memberi tahu Anda berapa lama mereka "berpikir"). o1 juga menggunakan jumlah mil yang lebih akurat antara Chicago dan San Francisco dalam penghitungannya.

Perbedaan yang lebih menarik terjadi pada babak berikutnya.

Ketika saya meminta kedua model untuk menghitung secara kasar di mana kedua kereta akan bertemu, artinya kota mana di AS, model o1 dengan cepat menghasilkan Cheyenne, Wyoming. Dalam prosesnya, o1 mengirimkan rantai pemikirannya dengan mengirimkan pesan singkat seperti "Menganalisis perjalanan kereta api", atau "Memetakan perjalanan", atau "Menentukan titik pertemuan".

Ini tidak terlalu informatif, melainkan merupakan indikator bahwa ada sesuatu yang sedang terjadi.

Sebaliknya, DeepSeek R1-Lite menghabiskan hampir satu menit dalam rangkaian pemikirannya, dan, seperti dalam kasus lain, sangat bertele-tele, meninggalkan jejak deskripsi "pemikiran" sebanyak 2.200 kata. Hal ini menjadi semakin berbelit-belit seiring dengan berjalannya model dalam rantai tersebut. Model ini dimulai dengan cukup sederhana, dengan menyatakan bahwa di mana pun setiap kereta tiba pada akhir 12 jam, kira-kira kedua kereta akan berdekatan satu sama lain, di suatu tempat di antara dua titik asal.

Tapi kemudian R1-Lite DeepSeek benar-benar keluar jalur. Ia mencoba banyak cara aneh dan aneh untuk menghitung lokasi dan menceritakan setiap metode dengan sangat detail.

Sementara model o1 OpenAI menyelesaikan pekerjaannya dengan cukup cepat, R1-Lite DeepSeek, kiri, melewati proses "berpikir" yang panjang dan berliku yang menjadi semakin rumit dan mengganggu.

Pertama, ia menghitung jarak dari Chicago ke beberapa kota berbeda dalam perjalanan ke San Francisco, serta jarak antar kota, untuk memperkirakan suatu lokasi.

Mereka kemudian menggunakan garis bujur pada peta dan menghitung derajat garis bujur yang dilalui kereta Chicago. Ia kemudian mundur dan mencoba menghitung jarak dengan jarak berkendara.

Di tengah semua ini, sang model melontarkan pernyataan, "Tunggu, aku jadi bingung" -- yang mungkin benar bagi manusia yang menyaksikan semua ini.

R1-Lite DeepSeek mengungkapkan kebingungan -- model AI tidak benar-benar membingungkan, tetapi manusia yang menggunakannya mungkin saja bingung.

Pada saat R1-Lite menghasilkan jawabannya -- "di Nebraska barat atau Colorado Timur," yang merupakan perkiraan yang dapat diterima -- alasannya begitu sulit dipahami sehingga tidak lagi "dapat dijelaskan" tetapi mengecewakan.

Dengan menjelaskan proses penalaran yang seharusnya dalam detail yang melelahkan, tidak seperti model o1, yang membuat jawabannya agak singkat, R1-Lite DeepSeek sebenarnya menjadi rumit dan membingungkan. Meskipun demikian, jawaban o1 membuatnya tampak seperti hanya menenangkan pengguna dengan tampilan penalaran tanpa benar-benar menjelaskan prosesnya.

Idealnya adalah di antara tanggapan kedua model. Ada kemungkinan bahwa dengan petunjuk yang lebih tepat yang mencakup detail seperti rute kereta sebenarnya, rantai pemikiran bisa menjadi jauh lebih rapi. Akses ke database eksternal untuk koordinat peta juga dapat menyebabkan R1-Lite memiliki lebih sedikit hubungan dalam rantai pemikiran.

Pengujian tersebut menunjukkan bahwa pada masa-masa awal penalaran rantai pemikiran ini, manusia yang bekerja dengan chatbot kemungkinan besar akan mengalami kebingungan meskipun pada akhirnya mereka mendapatkan jawaban yang dapat diterima dari model AI.