OpenAI mengumpulkan tim ahli untuk melawan risiko AI yang 'bencana' - termasuk perang nuklir

Tim tersebut - yang disebut Preparedness - berharap dapat menjaga model AI saat ini dan masa depan agar tidak mengalami kesalahan besar.

Ketika AI terus merevolusi cara kita berinteraksi dengan teknologi, tidak dapat disangkal bahwa hal ini akan memberikan dampak yang luar biasa pada masa depan kita. Tidak dapat disangkal juga bahwa AI mempunyai risiko yang cukup serius jika dibiarkan.

Masuki tim ahli baru yang dibentuk oleh OpenAI.

Dirancang untuk membantu melawan apa yang disebut risiko "bencana", tim ahli di OpenAI -- yang disebut Kesiapsiagaan -- berencana mengevaluasi model AI yang diproyeksikan saat ini dan masa depan untuk beberapa faktor risiko. Hal tersebut mencakup persuasi individual (atau mencocokkan isi pesan dengan apa yang ingin didengar oleh penerima), keamanan siber secara keseluruhan, replikasi dan adaptasi otonom (atau, AI mengubah dirinya sendiri), dan bahkan ancaman tingkat kepunahan seperti bahan kimia, biologi. , serangan radiologi, dan nuklir.

Jika AI memulai perang nuklir tampaknya tidak masuk akal, ingatlah bahwa pada awal tahun ini sekelompok peneliti, insinyur, dan CEO AI ternama termasuk CEO Google DeepMind Demis Hassabis memperingatkan, "Mengurangi risiko kepunahan AI harus menjadi prioritas global di samping risiko-risiko berskala sosial lainnya seperti pandemi dan perang nuklir.”

Bagaimana AI bisa menyebabkan perang nuklir? Komputer selalu hadir dalam menentukan kapan, di mana, dan bagaimana serangan militer terjadi saat ini, dan AI pasti akan terlibat. Namun, AI rentan terhadap halusinasi dan belum tentu memiliki filosofi yang sama dengan manusia. Singkatnya, AI mungkin memutuskan sudah waktunya untuk melakukan serangan nuklir, padahal sebenarnya belum waktunya.

“Kami percaya bahwa model-model AI terdepan, yang akan melampaui kemampuan yang ada pada model-model tercanggih yang ada saat ini,” sebuah pernyataan dari OpenAI berbunyi, “memiliki potensi untuk memberi manfaat bagi seluruh umat manusia. Namun mereka juga menimbulkan risiko yang semakin parah.”

Untuk membantu mengendalikan AI, OpenAI mengatakan, tim akan fokus pada tiga pertanyaan utama:

• Jika disalahgunakan dengan sengaja, seberapa berbahayakah sistem AI terdepan yang kita miliki saat ini dan di masa depan?
• Jika bobot model AI frontier dicuri, apa sebenarnya yang dapat dilakukan oleh pelaku kejahatan?
• Bagaimana kerangka kerja yang memantau, mengevaluasi, memprediksi, dan melindungi terhadap kemampuan berbahaya sistem AI terdepan dapat dibangun?

Tim ini dipimpin oleh Aleksander Madry, Direktur MIT Center for Deployable Machine Learning dan salah satu dosen yang memimpin Forum Kebijakan AI MIT.

Untuk memperluas penelitiannya, OpenAI juga meluncurkan apa yang disebutnya "Tantangan Kesiapsiagaan AI" untuk pencegahan penyalahgunaan yang bersifat bencana. Perusahaan ini menawarkan kredit API hingga $25.000 kepada hingga 10 kiriman teratas yang mempublikasikan kemungkinan penyalahgunaan OpenAI, namun berpotensi menimbulkan bencana.