Microsoft merilis alat tim merah AI generatif internalnya ke publik
PyRIT dapat menghasilkan ribuan perintah berbahaya untuk menguji model gen AI, dan bahkan menilai responsnya.
Meskipun model AI generatif (gen AI) memiliki kemampuan yang canggih, kami telah melihat banyak contoh model yang bersifat nakal, berhalusinasi, atau memiliki celah yang dapat dieksploitasi oleh pelaku kejahatan. Untuk membantu mengurangi masalah tersebut, Microsoft meluncurkan alat yang dapat membantu mengidentifikasi risiko dalam sistem AI generatif.
Pada hari Kamis, Microsoft merilis Python Risk Identification Toolkit for generative AI (PyRIT), sebuah alat yang digunakan oleh Tim Merah AI Microsoft untuk memeriksa risiko dalam sistem gen AI-nya, termasuk Copilot.
Pada tahun lalu, Microsoft melakukan tim merah pada lebih dari 60 sistem AI generasi bernilai tinggi, yang melaluinya mereka mengetahui bahwa proses tim merah untuk sistem ini sangat berbeda dengan AI klasik atau perangkat lunak tradisional, menurut postingan blog tersebut.
Prosesnya terlihat berbeda karena Microsoft harus mempertimbangkan risiko keamanan yang biasa terjadi, selain risiko AI yang bertanggung jawab, seperti memastikan konten berbahaya tidak dapat dibuat dengan sengaja, atau model tidak menghasilkan disinformasi.
Selain itu, arsitektur model gen AI sangat bervariasi, dan terdapat penyimpangan dalam hasil yang dapat dihasilkan dari masukan yang sama, sehingga sulit untuk menemukan satu proses sederhana yang cocok untuk semua model.
Akibatnya, penyelidikan manual terhadap semua risiko yang berbeda ini berakhir menjadi proses yang memakan waktu, membosankan, dan lambat. Microsoft menyampaikan bahwa otomatisasi dapat membantu tim merah dengan mengidentifikasi area berisiko yang memerlukan lebih banyak perhatian dan mengotomatiskan tugas-tugas rutin, dan di situlah PyRIT berperan.
Toolkit tersebut, “telah diuji coba oleh tim Microsoft AI,” mengirimkan perintah berbahaya ke sistem AI generatif, dan setelah menerima tanggapan, agen penilaiannya memberikan skor kepada sistem, yang digunakan untuk mengirimkan perintah baru berdasarkan umpan balik penilaian sebelumnya.
Microsoft mengatakan bahwa keuntungan terbesar PyRIT adalah membantu upaya tim merah Microsoft menjadi lebih efisien, secara signifikan mempersingkat jumlah waktu yang diperlukan untuk suatu tugas.
“Misalnya, dalam salah satu latihan tim merah kami pada sistem Copilot, kami dapat memilih kategori bahaya, menghasilkan beberapa ribu perintah berbahaya, dan menggunakan mesin penilaian PyRIT untuk mengevaluasi output dari sistem Copilot, semuanya dalam hitungan jam. bukannya berminggu-minggu," kata Microsoft dalam rilisnya.
Toolkit ini tersedia untuk diakses hari ini dan menyertakan daftar demo untuk membantu membiasakan pengguna dengan alat tersebut. Microsoft juga mengadakan webinar tentang PyRIT yang mendemonstrasikan cara menggunakannya dalam sistem AI generatif tim merah, yang dapat Anda daftarkan melalui situs web Microsoft.