Model AI terbaru Anthropic dapat menggunakan komputer seperti Anda - kesalahan dan sebagainya
Claude 3.5 Sonnet tersedia sebagai beta untuk dicoba oleh pengembang sekarang. Ia dapat melihat layar, menggerakkan kursor, mengklik tombol, dan bahkan memasukkan teks. Itu tidak sempurna, begitu pula Anda!
Bayangkan sebuah model AI yang dapat bekerja dengan komputer secara mandiri. Nah, jangan bayangkan lagi karena AI seperti itu telah hadir. Pada hari Selasa, Anthropic mengumumkan bahwa generasi terbaru model Claude AI-nya dapat menggunakan komputer-- sama seperti Anda dan saya. Dijuluki Claude 3.5 Sonnet, AI telah muncul dalam mode beta untuk digunakan pengembang melalui API.
Disebut-sebut oleh Anthropic sebagai "model AI terdepan pertama yang menawarkan penggunaan komputer dalam versi beta publik," Claude 3.5 Sonnet dapat dikodekan oleh pengembang untuk bekerja dengan komputer dalam beberapa cara. Dengan menggunakan produk atau layanan yang diprogram melalui API, Anda dapat memerintahkan AI untuk "melihat" layar komputer, menggerakkan kursor di sekitar layar, mengklik tombol, dan mengetik teks melalui keyboard virtual. Idenya adalah untuk meniru cara Anda berinteraksi dengan komputer Anda sendiri.
Untuk saat ini, AI baru masih dalam tahap percobaan, terkadang rumit dan rentan terhadap kesalahan. Namun, Anthropic telah merilis beta baru secara khusus untuk mendapatkan masukan dari pengembang sehingga dapat meningkatkan model seiring berjalannya waktu.
Mengapa penggunaan komputer oleh AI bermanfaat? Anthropic mengantisipasi dan telah menjawab pertanyaan itu.
“Sejumlah besar pekerjaan modern terjadi melalui komputer,” kata Anthropic. “Memungkinkan AI untuk berinteraksi langsung dengan perangkat lunak komputer dengan cara yang sama seperti yang dilakukan manusia akan membuka sejumlah besar aplikasi yang tidak mungkin dilakukan oleh asisten AI generasi saat ini.”
Dan bagaimana pengembang dan pengguna dapat memanfaatkan AI yang bekerja dengan komputer?
“Daripada membuat alat khusus untuk membantu Claude menyelesaikan tugas individu, kami mengajarkannya keterampilan komputer umum - memungkinkannya menggunakan berbagai alat standar dan program perangkat lunak yang dirancang untuk manusia,” jelas Anthropic. “Pengembang dapat menggunakan kemampuan baru ini untuk mengotomatisasi proses berulang, membangun dan menguji perangkat lunak, dan melakukan tugas-tugas terbuka seperti penelitian.”
Beberapa perusahaan telah memanfaatkan kehebatan Claude 3.5 Sonnet dengan komputer, termasuk Asana, Canva, Cognition, DoorDash, Replit, dan The Browser Company, kata Anthropic. Sebagai salah satu contoh, platform pengembangan dan penerapan perangkat lunak Replit menggunakan kemampuan ini untuk mengevaluasi aplikasi untuk produk Agen Replitnya.
Memprogram Claude untuk belajar bekerja dengan komputer, khususnya melihat layar dan mengambil tindakan tertentu sebagai respons, melibatkan banyak trial and error, menurut Anthropic.
Menggunakan komputer memerlukan kemampuan untuk melihat dan menafsirkan gambar, seperti gambar di layar komputer. Ini juga melibatkan kapasitas untuk menentukan bagaimana dan kapan menjalankan operasi tertentu berdasarkan apa yang ditampilkan di layar. Untuk memenuhi persyaratan ini, Claude 3.5 Sonnet melihat tangkapan layar yang menunjukkan apa yang Anda lihat. AI kemudian menghitung jumlah piksel vertikal dan horizontal untuk mengetahui ke mana harus memindahkan kursor. Keterampilan ini sangat penting dalam kemampuan AI dalam mengeluarkan perintah mouse.
Bagaimana nasib Claude sejauh ini?
Dalam tes benchmarking OSWorld, yang mengevaluasi upaya model AI untuk menggunakan komputer, Claude 3.5 Sonnet mendapat nilai 14,9%. Meskipun angka tersebut jauh lebih rendah dibandingkan keterampilan tingkat manusia yang mencapai 70%-75%, angka tersebut hampir dua kali lipat dari 7,7% yang diperoleh model AI terbaik berikutnya dalam kategori yang sama, kata Anthropic.
Upaya penggunaan komputer oleh AI ini masih dalam tahap awal. Dengan demikian, Claude tidak dapat melakukan tugas komputer yang lebih "canggih", seperti menyeret jendela atau memperbesar layar. Selain itu, cara Claude bekerja dengan komputer dengan melihat dan menyusun tangkapan layar berarti komputer dapat melewatkan tindakan dan pemberitahuan tertentu.
“Kami berharap penggunaan komputer akan meningkat pesat menjadi lebih cepat, lebih dapat diandalkan, dan lebih bermanfaat untuk tugas-tugas yang ingin diselesaikan oleh pengguna kami,” kata Anthropic. “Ini juga akan menjadi lebih mudah untuk diterapkan bagi mereka yang memiliki pengalaman pengembangan perangkat lunak yang lebih sedikit. Pada setiap tahap, peneliti kami akan bekerja sama dengan tim keselamatan kami untuk memastikan bahwa kemampuan baru Claude disertai dengan langkah-langkah keselamatan yang tepat.”
Claude 3.5 Sonnet sekarang tersedia untuk siapa saja. Pengembang dapat membangun aplikasi dengan versi beta penggunaan komputer di Anthropic API, Amazon Bedrock, dan Vertex AI Google Cloud.