X's Grok melakukannya dengan sangat baik dalam tes pengkodean AI saya

Apakah kode Grok grok? Cukup banyak, ya. Gali untuk membaca cerita lengkapnya dan cari tahu satu tantangan yang tidak bisa sepenuhnya dihadapkan oleh Grok.

Ketika X pertama kali keluar dengan chatbot-nya, itu berada di balik paywall. Tapi meskipun TANSTAAFL, X baru-baru ini membuka Grok kepada dunia. Jadi saya memutuskan untuk melemparkan tes pemrograman saya ke sana.

Saya selalu sedikit tertarik dengan Grok karena namanya. Grok diciptakan oleh Robert Heinlein, salah satu penulis fiksi ilmiah favorit saya. Saya sepenuhnya memuji Heinlein dengan memutar otak muda saya.

Orang tua saya mengontrol ketat media yang dapat saya akses berdasarkan apa yang mereka anggap sehat dan sehat. Tapi mereka memberi saya kebebasan untuk membaca fiksi ilmiah terbatas apa pun yang dapat saya temukan di perpustakaan lokal - karena kata sains berarti itu harus mendidik.

Tanpa terlalu banyak menggeek Heinlein, katakanlah dia memiliki pikiran yang sangat terbuka dalam hal norma-norma sosial. Dia menulis cerita yang kuat, memasukkan tema terkait sains yang indah dalam narasinya, dan sering menyuntikkan komentar sosial yang mendalam ke dalam buku-bukunya.

Dia juga menciptakan istilah "grok" sebagai kata Mars dengan banyak arti yang luas. Pertama kali muncul di Stranger in a Strange Land, itu dapat diartikan sebagai "Saya mengerti," dengan pemahaman itu ada pada tingkat yang mendalam dan mendasar. Dengan demikian, ini adalah nama yang sempurna untuk chatbot AI.

Kecuali...

Ketika saya bertanya kepada Grok tentang LLM (model bahasa besar) apa yang digunakannya, ia memutuskan untuk juga memberi tahu saya bahwa itu terinspirasi oleh kecerdasan dan pemberontakan Hitchhiker's Guide to the Galaxy. Sementara Hitchhiker memang memiliki kecerdasan dan memiliki pemberontakan, itu tidak termasuk kata "grok."

Dan dengan itu, mari selami tes pemrograman saya.

1. Menulis plugin WordPress

Ini adalah tes pengkodean yang mengharuskan AI untuk mengetahui pemrograman PHP dan cara membuat plugin WordPress. Itu sebenarnya lahir dari permintaan dunia nyata dari istri saya, yang membutuhkan alat untuk mengacak dan mengurutkan nama, tetapi dengan twist.

Setiap bulan, dia menjalankan perangkat keterlibatan di situs e-commerce-nya yang memilih banyak nama secara acak. Masalahnya adalah bahwa beberapa penggunanya mendapatkan banyak entri jika mereka mengirimkan banyak proyek. Jadi, pengacak harus mengelola beberapa nama tetapi juga memisahkannya sehingga tidak berdampingan dalam hasil.

Akhirnya, kode harus menyediakan antarmuka pengguna yang baik dan jelas sehingga dia cukup menempelkan nama, mengklik tombol, dan mengeluarkan daftarnya kembali.

Saya memberi tugas ini kepada Grok, dan itu berhasil. Antarmukanya ditata dengan rapi dan fungsional. Dan, yang paling penting, itu melakukan apa yang seharusnya dilakukan kode, berhasil mengacak dan memisahkan nama. Saya memberikan ujian ini kemenangan.

2. Menulis ulang fungsi string

Tes kedua saya menyelesaikan masalah yang pertama kali dilaporkan kepada saya oleh pengguna. Kode yang saya dorong dirancang untuk menguji apakah nomor yang dimasukkan oleh pengguna dalam mata uang dolar dan sen yang valid. Kesalahan saya adalah bahwa kode hanya mengizinkan bilangan bulat, jadi Anda dapat menyumbangkan $5, tetapi tidak $5,25.

Grok berhasil menulis ulang kode ekspresi reguler. Ini sangat dekat dengan kemenangan, tetapi saya harus gagal karena kode yang dihasilkannya tidak mengizinkan angka seperti .5, yang merupakan jumlah mata uang yang valid. Ini memungkinkan 0,5, tetapi tidak setiap pengguna akan memilih untuk menambahkan nol ke nilai sen.

Ini juga menggunakan mekanisme yang cukup tidak efisien untuk melakukan konversi ganda dan tidak menangani string yang tidak dapat diubah menjadi angka dengan benar.

Sejauh ini, kami berada pada satu kemenangan dan satu kekalahan.

3. Menemukan bug yang mengganggu

Tes ketiga membutuhkan pengetahuan tentang kerangka kerja dan API WordPress karena bug yang saya minta AI temukan adalah bug halus yang dihasilkan dari salah tafsir persyaratan API WordPress.

Sejumlah LLM yang saya uji salah masalah (seperti yang saya lakukan selama berjam-jam ketika mencoba men-debugnya). Tapi Grok membongkar masalahnya dan memberi saya jawaban yang benar dan berguna secara fungsional.

Ini membawa kami ke dua kemenangan dan satu kekalahan, menarik Grok di depan hampir setengah dari LLM lain yang diuji sebelumnya. Mari kita lihat bagaimana hasilnya pada tes keempat dan terakhir.

4. Menulis naskah

Ini adalah ujian yang sulit karena mengharuskan AI untuk mengetahui alat skrip vertikal volume yang cukup rendah untuk Mac yang disebut Keyboard Maestro. Ini juga membutuhkan AI untuk dapat menulis kode untuk tiga lingkungan terpisah sekaligus: Keyboard Maestro, Chrome, dan AppleScript.

Sejauh ini, hanya Google Gemini dan ChatGPT yang menjalankan GPT-4 ke atas LLM yang lulus tes ini. Bahkan ChatGPT 3.5 gagal.

Tetapi kami memiliki AI baru yang dapat menangani tingkat tantangan pengkodean ini: Grok. Itu memberi Grok tiga kemenangan dari empat, yang menempatkannya di depan setiap AI lain yang tidak didasarkan pada ChatGPT LLM.

Kesimpulan

Secara keseluruhan, Grok bertahan. Jika hanya mengizinkan nilai mata uang tanpa nol di depan, itu akan memiliki skor sempurna. Saya tidak yakin bagaimana perasaan saya tentang semua perubahan di X sejak menggantikan Twitter, tetapi Grok tampaknya menjadi chatbot yang cukup tangguh, setidaknya dalam hal kecakapan pemrograman.