Saya memasukkan GPT-4o ke dalam pengujian pengkodean dan hasilnya berhasil - kecuali untuk satu hasil yang aneh

Bisakah kode GPT-4o OpenAI lebih baik dibandingkan pesaingnya? Ya, tapi Anda masih perlu memeriksa fungsinya.

Kecuali Anda bersembunyi di pulau terpencil di suatu tempat tanpa layanan internet apa pun, Anda mungkin tahu bahwa OpenAI merilis model bahasa besar barunya, GPT-4o, dengan "o" berarti "omni". LLM baru seharusnya menawarkan berbagai mode, termasuk teks, grafik, dan suara.

Dalam artikel ini, saya menerapkan serangkaian pengujian pengkodean standar pada model GPT-4o baru. Saya telah menjalankan pengujian ini terhadap berbagai macam AI dengan hasil yang beragam. Anda pasti ingin membaca sampai akhir karena saya mendapatkan hasil yang mengejutkan.

Jika Anda ingin mengikuti pengujian Anda sendiri, arahkan browser Anda ke artikel ini: Cara saya menguji kemampuan pengkodean chatbot AI - dan Anda juga bisa.

Ini berisi semua tes standar yang saya terapkan, beserta penjelasan tentang cara kerjanya, dan apa yang harus dicari dalam hasilnya.

Oleh karena itu, mari kita gali hasil setiap pengujian dan lihat perbandingannya dengan pengujian sebelumnya yang menggunakan Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced, dan ChatGPT.

1. Menulis plugin WordPress

Berikut antarmuka pengguna GPT-4o:

Ini yang pertama. GPT-4o memutuskan untuk menyertakan file JavaScript yang menyebabkan jumlah baris di kedua kolom diperbarui secara dinamis. Karena perintah tersebut tidak menentukan bahwa JavaScript tidak diizinkan, ini adalah solusi kreatif.

Lebih penting lagi, ini berhasil. JavaScript juga mengontrol tombol Acak, jadi jika Anda menekan tombol Acak beberapa kali, Anda mendapatkan beberapa rangkaian hasil tanpa menyegarkan seluruh halaman.

Garis diatur dengan benar. Duplikat dipisahkan satu sama lain sesuai spesifikasi. Ini adalah bagian kode yang benar-benar bisa diterapkan.

Satu-satunya keluhan saya adalah tombol Acak tidak ada pada barisnya sendiri. Namun, saya tidak menyuruh ChatGPT untuk meletakkannya di jalurnya sendiri, jadi bukan salah AI jika diatur sebagaimana adanya.

Berikut adalah hasil agregat dari tes ini dan tes sebelumnya:

  • ChatGPT GPT-4o: Antarmuka: bagus, fungsionalitas: bagus
  • Microsoft Copilot: Antarmuka: memadai, fungsionalitas: gagal
  • Meta AI: Antarmuka: memadai, fungsionalitas: gagal
  • Kode Meta Llama: Gagal total
  • Google Gemini Tingkat Lanjut: Antarmuka: bagus, fungsi: gagal
  • ChatGPT 4: Antarmuka: bagus, fungsionalitas: bagus
  • ChatGPT 3.5: Antarmuka: bagus, fungsionalitas: bagus

2. Menulis ulang fungsi string

Tes ini dirancang untuk menguji konversi dolar dan sen. ChatGPT GPT-4o AI menulis ulang kode dengan benar, melarang masukan apa pun yang akan menyebabkan baris kode berikutnya gagal jika nilai dolar dan sen yang sesuai tidak dikirimkan.

Saya sedikit kecewa karena kode tersebut mengizinkan titik desimal di depan (yaitu, 0,75) tetapi tidak menambahkan angka nol pada nilainya (seperti pada 0,75). Tetapi kode pemrosesan dolar dan sen akan dapat memahami versi tanpa angka nol asli, dan tidak akan gagal.

Karena saya tidak secara eksplisit meminta angka nol di awal kasus, itu bukanlah sesuatu yang akan saya selesaikan dengan AI. Namun, hal ini menunjukkan bagaimana, meskipun AI memberikan kode yang bisa diterapkan, Anda mungkin ingin kembali dan mengubah perintah untuk mendapatkan lebih banyak hal yang benar-benar ingin Anda lihat.

Berikut adalah hasil agregat dari tes ini dan tes sebelumnya:

  • ChatGPT GPT-4o: Berhasil
  • Microsoft Copilot: Gagal
  • Meta AI: Gagal
  • Kode Meta Llama: Berhasil
  • Google Gemini Tingkat Lanjut: Gagal
  • ChatGPT 4: Berhasil
  • ChatGPT 3.5: Berhasil

3. Menemukan bug yang mengganggu

Ini adalah tes yang menarik karena jawabannya tidak langsung terlihat jelas. Saya awalnya bingung ketika mendapatkan kesalahan ini saat pengkodean, jadi saya memasukkannya ke dalam model bahasa ChatGPT pertama. Pada saat itu, saya terpesona karena ternyata kesalahannya langsung ditemukan.

Sebaliknya, tiga dari LLM yang saya uji tidak menemukan penyesatan yang melekat dalam masalah ini. Pada dasarnya, dari pesan kesalahan yang ditampilkan, sepertinya kesalahan ada di satu bagian kode, namun kesalahan sebenarnya ada di area kode yang sama sekali berbeda, sesuatu yang Anda (atau AI) tidak akan tahu jika Anda tidak mengetahuinya. Saya tidak memiliki pengetahuan mendalam tentang, dalam hal ini, kerangka kerja WordPress.

Kabar baiknya: ChatGPT GPT-4o menemukan masalahnya dan menjelaskan perbaikannya dengan benar.

Berikut adalah hasil agregat dari tes ini dan tes sebelumnya:

  • ChatGPT GPT-4o: Berhasil
  • Microsoft Copilot: Gagal. Secara spektakuler. Dengan antusias. Secara emoji.
  • Meta AI: Berhasil
  • Kode Meta Llama: Gagal
  • Google Gemini Tingkat Lanjut: Gagal
  • ChatGPT 4: Berhasil
  • ChatGPT 3.5: Berhasil

Sejauh ini, kami meraih tiga dari tiga kemenangan. Mari kita lanjutkan ke tes terakhir kita.

4. Menulis naskah

Dalam menanggapi tes ini, ChatGPT GPT-4o memberi saya jawaban yang sebenarnya lebih dari yang saya minta.

Ide pengujian ini adalah menanyakan tentang alat skrip Mac yang tidak dikenal yang disebut Keyboard Maestro, serta bahasa skrip Apple, AppleScript, dan perilaku skrip Chrome. Sebagai catatan, Keyboard Maestro adalah salah satu alasan terbesar saya menggunakan Mac daripada Windows untuk produktivitas harian saya, karena memungkinkan seluruh OS dan berbagai aplikasi diprogram ulang agar sesuai dengan kebutuhan saya. Itu sangat kuat.

Bagaimanapun, agar dapat lulus pengujian, AI harus menjelaskan dengan tepat cara menyelesaikan masalah menggunakan campuran kode Keyboard Maestro, kode AppleScript, dan fungsionalitas Chrome API.

Seperti yang Anda lihat, ChatGPT GPT-4o memberi saya dua versi.

Kedua versi tersebut berkomunikasi dengan benar dengan Keyboard Maestro, tetapi keduanya berbeda dalam cara menangani kasus pengabaian. Yang di sebelah kiri sebenarnya salah karena AppleScript tidak memiliki kemampuan "sebagai huruf kecil". Kode di sebelah kanan, yang menggunakan "berisi" dan tidak peka huruf besar-kecil, berhasil.

Saya akan memberi GPT-4o nilai kelulusan karena ia mengembalikan kode yang berfungsi. Namun itu adalah nilai kelulusan yang hati-hati karena seharusnya hanya menghasilkan satu opsi, dan opsi tersebut seharusnya benar. Yang dilakukannya adalah mengharuskan saya mengevaluasi hasil dan memilih. Hal ini mungkin memerlukan waktu yang sama lamanya dengan menulis kode sendiri.

Berikut adalah hasil agregat dari tes ini dan tes sebelumnya:

  • ChatGPT GPT-4o: Berhasil, namun dengan syarat
  • Microsoft Copilot: Gagal
  • Meta AI: Gagal
  • Kode Meta Llama: Gagal
  • Google Gemini Tingkat Lanjut: Berhasil
  • ChatGPT 4: Berhasil
  • ChatGPT 3.5: Gagal

Hasil keseluruhan

Berikut hasil keseluruhan dari lima tes tersebut:

  • ChatGPT GPT-4o: 4 dari 4 berhasil, namun ada satu jawaban pilihan ganda yang aneh
  • Microsoft Copilot: 0 dari 4 berhasil
  • Meta AI: 1 dari 4 berhasil
  • Kode Meta Llama: 1 dari 4 berhasil
  • Google Gemini Tingkat Lanjut: 1 dari 4 berhasil
  • ChatGPT 4: 4 dari 4 berhasil
  • ChatGPT 3.5: 3 dari 4 berhasil

Hingga saat ini, bantuan default saya untuk bantuan pemrograman adalah ChatGPT. Itu hanya berhasil (kecuali jika tidak). Semua AI lainnya gagal dalam sebagian besar tes pengkodean saya. Tapi GPT-4o aneh. Jawaban terakhir itu membuat bulu kudukku merinding.

Saya tidak senang mendapatkan dua jawaban untuk satu pertanyaan, terutama ketika satu jawaban berisi kode yang bahasanya sendiri tidak mendukung. Apa yang terjadi di dalam GPT-4o yang menyebabkan hilangnya kepercayaan ini?

Bagaimanapun, ini masih merupakan AI dengan performa terbaik untuk pengujian coding saya, jadi saya mungkin akan terus menggunakannya dan mengenal lebih jauh GPT-4o. Opsi lainnya adalah kembali ke GPT-3.5 atau GPT-4 di ChatGPT Plus. Pantau terus. Saat ChatGPT memperbarui modelnya di lain waktu, saya pasti akan menjalankan kembali pengujian ini dan melihat apakah ChatGPT cukup pintar untuk memilih jawaban yang tepat untuk keempat pengujian.

Sudahkah Anda mencoba coding dengan Copilot, Meta AI, Gemini, atau ChatGPT? Apa pengalaman Anda? Beri tahu kami di komentar di bawah.

Artikel terkait