10 alasan utama AI menjadi arus utama dalam semalam - dan apa yang terjadi selanjutnya

Dalam beberapa tantangan, model berbasis GPT-4 menang. Di tempat lain, itu gagal. Bagaimana Anda tahu kapan harus mengandalkannya?

Hal yang menurut saya paling membingungkan tentang tes pemrograman yang telah saya jalankan adalah bahwa alat yang didasarkan pada model bahasa besar yang sama cenderung berkinerja sangat berbeda.

Misalnya, ChatGPT, Perplexity, dan GitHub Copilot semuanya didasarkan pada model GPT-4 dari OpenAI. Tapi, seperti yang akan saya tunjukkan di bawah ini, sementara paket pro ChatGPT dan Perplexity berkinerja sangat baik, GitHub Copilot gagal sesering yang berhasil.

Saya menguji GitHub Copilot yang disematkan di dalam instance VS Code. Saya akan menjelaskan cara mengaturnya dan menggunakan GitHub Copilot dalam artikel langkah demi langkah yang akan datang. Tapi pertama-tama, mari kita jalankan tesnya.

Jika Anda ingin tahu bagaimana saya menguji dan petunjuk untuk setiap tes individu, jangan ragu untuk membaca bagaimana saya menguji kemampuan pengkodean chatbot AI.

TL; DR: GitHub Copilot melewati dua dan gagal dua.

Tes 1: Menulis Plugin WordPress

Jadi, ini gagal total. Ini adalah tes pertama saya, jadi saya belum tahu apakah GitHub Copilot buruk dalam menulis kode atau apakah konteks di mana seseorang berinteraksi dengannya terbatas pada titik di mana ia tidak dapat memenuhi persyaratan ini.

Izinkan saya menjelaskan.

Tes ini melibatkan meminta AI untuk membuat plugin WordPress yang berfungsi penuh, lengkap dengan elemen antarmuka admin dan logika operasional. Plugin mengambil satu set nama, mengurutkannya, dan, jika ada duplikat, memisahkan duplikat sehingga tidak berdampingan.

Ini adalah aplikasi dunia nyata yang dibutuhkan istri saya sebagai bagian dari perangkat keterlibatan yang dia jalankan di grup Facebook-nya yang sangat aktif sebagai bagian dari bisnis e-commerce barang digitalnya.

Sebagian besar AI lainnya lulus tes ini, setidaknya sebagian. Lima dari 10 model AI yang diuji lulus tes sepenuhnya. Tiga dari mereka lulus sebagian dari ujian. Dua (termasuk Microsoft Copilot) gagal total.

Masalahnya adalah, saya memberi GitHub Copilot prompt yang sama dengan yang saya berikan semuanya, tetapi hanya menulis kode PHP. Untuk lebih jelasnya, masalah ini dapat diselesaikan hanya dengan menggunakan kode PHP. Tetapi beberapa AI suka menyertakan beberapa JavaScript untuk fitur interaktif. GitHub Copilot menyertakan kode untuk menggunakan JavaScript tetapi tidak pernah benar-benar menghasilkan JavaScript yang coba digunakan.

Yang lebih buruk lagi, ketika saya membuat file JavaScript dan, dari dalam file JavaScript, mencoba membuat GitHub Copilot menjalankan prompt, itu memberi saya skrip PHP lain, yang juga mereferensikan file JavaScript.

Seperti yang Anda lihat di bawah ini, di dalam file randomizer.js, ia mencoba mengantrekan (pada dasarnya untuk membawa untuk menjalankan) file randomizer.js, dan kode yang ditulisnya adalah PHP, bukan JavaScript.

Tes 2: Menulis ulang fungsi string

Tes ini cukup sederhana. Saya menulis fungsi yang seharusnya menguji dolar dan sen tetapi akhirnya hanya menguji bilangan bulat (dolar). Tes meminta AI untuk memperbaiki kode.

GitHub Copilot memang mengerjakan ulang kode, tetapi ada banyak masalah dengan kode yang dihasilkannya.

• Ini mengasumsikan nilai string selalu merupakan nilai string. Jika kosong, kode akan rusak.
• Kode ekspresi reguler yang direvisi akan rusak jika titik desimal (yaitu, "3.") dimasukkan, jika titik desimal di depan (yaitu, ".3") dimasukkan, atau jika nol di depan disertakan (yaitu, "00.30").

Untuk sesuatu yang seharusnya menguji apakah mata uang dimasukkan dengan benar, gagal dengan kode yang akan macet pada kasus tepi tidak dapat diterima.

Jadi, kami memiliki kegagalan lain.

Tes 3: Menemukan bug yang mengganggu

GitHub Copilot melakukan ini dengan benar. Ini adalah tes lain yang diambil dari petualangan pengkodean kehidupan nyata saya. Apa yang membuat bug ini begitu menjengkelkan (dan sulit diketahui) adalah bahwa pesan kesalahan tidak terkait langsung dengan masalah yang sebenarnya.

Bug ini semacam coder yang setara dengan pertanyaan trik. Menyelesaikannya membutuhkan pemahaman bagaimana panggilan API tertentu dalam kerangka kerja WordPress dan kemudian menerapkan pengetahuan itu pada bug yang bersangkutan.

Microsoft Copilot, Gemini, dan Meta Code Llama semuanya gagal dalam tes ini. Tapi GitHub Copilot menyelesaikannya dengan benar.

Tes 4: Menulis skrip

Di sini juga, GitHub Copilot berhasil di mana Microsoft Copilot gagal. Tantangannya di sini adalah saya menguji kemampuan AI untuk membuat skrip yang tahu tentang pengkodean di AppleScript, model objek Chrome, dan utilitas pengkodean pihak ketiga khusus Mac yang disebut Keyboard Maestro.

Untuk lulus tes ini, AI harus dapat mengenali bahwa ketiga lingkungan pengkodean perlu diperhatikan dan kemudian menyesuaikan baris kode individu untuk masing-masing lingkungan tersebut.

Kesimpulan

Mengingat bahwa GitHub Copilot menggunakan GPT-4, saya menemukan fakta bahwa itu gagal setengah dari tes yang mengecewakan. GitHub adalah lingkungan manajemen sumber paling populer di planet ini, dan orang akan berharap bahwa dukungan pengkodean AI cukup dapat diandalkan.

Seperti semua hal tentang AI, saya yakin kinerja akan menjadi lebih baik. Mari kita pantau terus dan periksa kembali dalam beberapa bulan untuk melihat apakah AI lebih efektif saat itu.

Apakah Anda menggunakan AI untuk membantu pengkodean? AI apa yang Anda sukai? Apakah Anda mencoba GitHub Copilot? Beri tahu kami di komentar di bawah.