Mengapa Nvidia mengajari robot memutar pena dan bagaimana AI generatif membantu

Nvidia menggunakan GPT-4 untuk meningkatkan pembelajaran penguatan robot dengan memberikan imbalan yang lebih baik daripada yang dapat dilakukan oleh pemrogram manusia.

Tangan robot Nvidia dalam simulasi.

Bidang robotika, sebuah aplikasi klasik kecerdasan buatan, baru-baru ini diperkuat oleh teknologi AI generatif yang sangat baru dan modis, program seperti model bahasa besar dari OpenAI yang dapat berinteraksi dengan pernyataan bahasa alami.

Misalnya, unit DeepMind Google tahun ini meluncurkan RT-2, model bahasa besar yang dapat disajikan dengan gambar dan perintah, dan kemudian mengeluarkan rencana tindakan dan koordinat yang diperlukan untuk menyelesaikan perintah tersebut.

Namun ada batasan yang tidak dapat dilewati oleh program generatif: Program generatif dapat menangani tugas-tugas "tingkat tinggi" seperti merencanakan rute robot ke suatu tujuan, namun tidak dapat menangani tugas-tugas "tingkat rendah", seperti memanipulasi sendi-sendi suatu robot. robot untuk kontrol motorik halus.

Karya baru dari Nvidia yang diterbitkan bulan ini menunjukkan bahwa model bahasa mungkin lebih dekat untuk melewati kesenjangan tersebut. Sebuah program bernama Eureka menggunakan model bahasa untuk menetapkan tujuan yang pada gilirannya dapat digunakan untuk mengarahkan robot pada tingkat rendah, termasuk mendorong mereka untuk melakukan tugas motorik halus seperti tangan robot yang memanipulasi objek.

Program Eureka hanyalah yang pertama dari upaya yang mungkin harus dilakukan untuk melintasi kesenjangan karena Eureka beroperasi di dalam simulasi komputer robotika; ia belum mengendalikan robot fisik di dunia nyata.

“Memanfaatkan [model bahasa besar] untuk mempelajari tugas-tugas manipulasi tingkat rendah yang kompleks, seperti memutar pena dengan cekatan, masih merupakan masalah terbuka,” tulis penulis utama Yecheng Jason Ma dan rekannya di Nvidia, University of Pennsylvania, Caltech, dan University of Texas di Austin, dalam makalah "Eureka: Tingkat manusia, desain penghargaan melalui pengkodean bahasa besar, model," diposting di server pra-cetak arXiv bulan ini.

Ada juga postingan blog pendamping dari Nvidia.

Pengamatan Ma dan tim sejalan dengan pandangan para peneliti lama di bidang robotika. Menurut Sergey Levine, profesor di departemen teknik elektro di Universitas California di Berkeley, model bahasa bukanlah pilihan yang tepat untuk "inci terakhir, bagian yang berkaitan dengan robot yang secara fisik menyentuh benda-benda di dunia" karena tugas seperti itu "sebagian besar tidak memiliki semantik".

“Ada kemungkinan untuk menyempurnakan model bahasa agar dapat memprediksi genggaman, namun tidak jelas apakah hal tersebut benar-benar akan membantu, karena, apa yang diajarkan bahasa kepada Anda tentang di mana meletakkan jari Anda pada objek?” Levine mengatakan kepada ZDNET. "Mungkin ini memberi tahu Anda sedikit, tapi mungkin tidak terlalu banyak sehingga benar-benar membuat perbedaan."

Makalah Eureka mengatasi masalah ini secara tidak langsung. Alih-alih membuat model bahasa memberi tahu simulasi robot apa yang harus dilakukan, model tersebut digunakan untuk menciptakan "hadiah", yaitu keadaan tujuan yang dapat diupayakan oleh robot. Hadiah sudah mapan sebagai metode yang disebut pembelajaran penguatan, suatu bentuk pembelajaran mesin AI yang diandalkan oleh Levine dari Berkeley dan ahli robot lainnya untuk pelatihan robot.

Hipotesis Ma dan timnya adalah bahwa model bahasa yang besar dapat melakukan pekerjaan yang lebih baik dalam merancang imbalan untuk pembelajaran penguatan dibandingkan pemrogram AI manusia.

Dalam proses yang dikenal sebagai "evolusi" penghargaan, pemrogram menuliskan semua detail masalah, data tentang simulasi robot, seperti batasan lingkungan pada kemampuan robot, sebagai perintah untuk GPT-4. dan imbalan yang telah dicoba, dan meminta GPT-4 untuk memperbaikinya. GPT-4 kemudian merancang imbalan baru dan menguji imbalan tersebut secara berulang.

Evolusi adalah nama dari program ini: "Universal REward Kit for Agents yang digerakkan oleh evolusi," atau Eureka.

Garis besar cara kerja Eureka: Mengambil semua desain dasar pemrogram manusia untuk robot sim, lalu membuat banyak hadiah dan mencobanya secara berulang.

Ma dan tim menerapkan penemuan mereka dalam banyak simulasi tugas seperti membuat lengan robot membuka laci. Eureka, mereka menceritakan, "mencapai kinerja tingkat manusia dalam desain hadiah di 29 lingkungan RL sumber terbuka yang beragam yang mencakup 10 morfologi robot berbeda, termasuk robot berkaki empat, quadcopter, berkaki dua, manipulator, serta beberapa tangan yang cekatan."

Sekumpulan tugas sim robot yang hadiahnya dibuat oleh program Eureka.

"Tanpa templat imbalan atau dorongan khusus tugas apa pun, Eureka secara mandiri menghasilkan imbalan yang mengungguli imbalan manusia ahli pada 83% tugas dan merealisasikan peningkatan rata-rata yang dinormalisasi sebesar 52%," lapor mereka.

Salah satu contoh paling mencolok dari apa yang telah mereka capai adalah membuat simulasi tangan robot yang memutar pena seperti yang dilakukan siswa yang bosan di kelas. “Kami mempertimbangkan pemintalan pena, di mana tangan dengan lima jari perlu memutar pena dengan cepat dalam konfigurasi pemintalan yang telah ditentukan sebelumnya untuk siklus sebanyak mungkin,” tulis mereka. Untuk melakukan hal ini, mereka menggabungkan Eureka dengan pendekatan pembelajaran mesin yang dikembangkan beberapa tahun lalu yang disebut “pembelajaran kurikulum”, yang mana suatu tugas dipecah menjadi beberapa bagian kecil.

“Untuk pertama kalinya kami mendemonstrasikan manuver memutar pena secara cepat pada simulasi Tangan Bayangan antropomorfik,” ungkap mereka.

Para penulis juga membuat penemuan yang mengejutkan: Jika mereka menggabungkan hadiah yang ditingkatkan dari Eureka dengan hadiah manusia, kombo tersebut akan berkinerja lebih baik dalam pengujian daripada hanya hadiah manusia atau Eureka saja. Mereka menduga alasannya adalah manusia mempunyai satu bagian dari teka-teki yang tidak dimiliki oleh program Eureka, yaitu pengetahuan tentang keadaan.

“Perancang manusia pada umumnya memiliki pengetahuan tentang variabel keadaan yang relevan namun kurang mahir dalam merancang imbalan dengan menggunakan variabel tersebut,” tulis mereka. "Hal ini masuk akal karena mengidentifikasi variabel keadaan relevan yang harus disertakan dalam fungsi penghargaan sebagian besar melibatkan penalaran yang masuk akal, namun desain penghargaan memerlukan pengetahuan dan pengalaman khusus dalam RL."

Hal ini mengarah pada kemungkinan kemitraan manusia-AI yang mirip dengan GitHub Copilot dan program asisten lainnya: "Secara keseluruhan, hasil ini menunjukkan kemampuan asisten penghargaan Eureka, yang secara sempurna melengkapi pengetahuan desainer manusia tentang variabel keadaan yang berguna dan mengimbangi kurangnya kemahiran mereka dalam merancang imbalan menggunakannya."