Cerebras dan M42 Abu Dhabi membuat LLM yang didedikasikan untuk menjawab pertanyaan medis

Jaringan saraf Med42 sumber terbuka telah disempurnakan dengan kumpulan data 700.000 pasangan tanya jawab.

Penerapan kecerdasan buatan dalam pelayanan kesehatan sangat banyak. Namun sebagian besar didominasi oleh teknologi AI yang lebih tua; hal-hal baru seperti AI generatif dan model bahasa besar (LLM) sedang populer saat ini, namun dianggap terlalu berisiko untuk digunakan secara luas dalam layanan kesehatan mengingat sifat sensitif dari aplikasi kesehatan, seperti yang dilakukan ZDNET. baru-baru ini dilaporkan.

Upaya dalam perangkat lunak sumber terbuka dapat membantu memajukan AI generatif dengan membuatnya lebih mudah untuk melihat ke dalam "kotak hitam" AI dibandingkan dengan program tertutup seperti ChatGPT OpenAI.

Dalam semangat tersebut, pembuat komputer AI Cerebras Systems pekan lalu mengumumkan upaya bersama dengan mitranya M42, operator fasilitas kesehatan di 27 negara, untuk menawarkan LLM sumber terbuka yang dirancang untuk aplikasi kesehatan, untuk berfungsi sebagai "asisten" bagi penyedia layanan kesehatan. .

Program yang disebut Med42 ini merupakan penyempurnaan dari Llama 2, LLM sumber terbuka yang dirilis oleh Meta Properties tahun ini, menggunakan kumpulan data khusus terkait kesehatan yang dikumpulkan oleh perusahaan.

“Ini merupakan terobosan baru dalam penggunaan AI dalam memberikan layanan kesehatan,” kata salah satu pendiri dan CEO Cerebras Andrew Feldman dalam sebuah wawancara dengan ZDNET.

Penerapan program ini sebagai asisten dokter mencakup menjawab pertanyaan medis, meringkas catatan pasien, membantu diagnosis medis, dan tanya jawab kesehatan umum, menurut perusahaan. Hal ini tidak termasuk pelatihan dokter, mereka menekankan.

Program Med42 menggunakan versi Llama 2 dengan 70 miliar parameter. Pekerjaan penyesuaian dilakukan oleh Cerebras dan M42 bersama dengan Core42, sebuah perusahaan layanan terkelola dan TI yang melakukan penelitian AI mendasar. Baik M42 dan Core42 dimiliki oleh pelanggan Cerebras G42, sebuah konglomerat global.

Jaringan saraf Med42 telah disempurnakan dengan kumpulan data 700.000 pasangan tanya jawab dari sumber yang tersedia untuk umum, “dikurasi oleh M42 dan ditinjau oleh tim ahli medis kami,” kata M42 dalam email ke ZDNET. “Kumpulan datanya mencakup pertanyaan pilihan ganda, kartu flash medis, dan lain-lain,” katanya.

“Med42 belum dilatih menggunakan data pasien atau informasi identitas pribadi,” kata M42.

Kode M42 kini tersedia di HuggingFace, bersama dengan data kinerja.Perusahaan berencana untuk merilis penyempurnaan saat mereka "menyempurnakan dan menguji model secara kolaboratif" dengan profesional layanan kesehatan "untuk membantu meningkatkan kemampuan dan kinerjanya. " Ketika ditanya apakah kumpulan data itu sendiri akan dirilis, perusahaan tersebut mengatakan kepada ZDNET melalui email, "Ini masih harus ditentukan."

Penyempurnaan dilakukan pada Condor Galaxy, komputer AI raksasa yang dibuat oleh Cerebras untuk G42 tahun ini, yang oleh Cerebras disebut sebagai "superkomputer AI terbesar di dunia". Menurut Cerebras, "Pengaturan yang cepat dan pengurangan waktu pelatihan dimungkinkan oleh memori sebesar 82 terabyte dan 54 juta inti AI di 64 sistem Cerebras CS-2 di dalam CG-1."

“Apa yang Anda miliki adalah semua aplikasi menarik yang dijalankan di atas Condor Galaxy, dan itu tidak seperti perangkat keras startup lainnya,” kata Feldman. “Kami benar-benar memajukan industri ini.”

Feldman mencatat dalam email tindak lanjut bahwa "Semua parameter [Llama 2] telah disetel dengan baik, dan ini dimungkinkan oleh memori besar yang tersedia di Condor Galaxy 1 […] Pengaturan dan pelatihan untuk 3 Epoch diselesaikan dalam 5 hari, yang akan memakan waktu berbulan-bulan pada sekelompok besar GPU."

Dalam data kinerja di HuggingFace, perusahaan mencatat bahwa "Med42 mencapai kinerja kompetitif pada berbagai tolok ukur medis, termasuk topik klinis MedQA, MedMCQA, PubMedQA, HeadQA, dan Measurement Massive Multitask Language Understanding (MMLU)."

Pada Ujian Lisensi Medis AS, atau, USMLE, contoh ujian, program ini "mencapai akurasi 72%," menurut M42, "melampaui kecanggihan sebelumnya di antara LLM medis yang tersedia secara terbuka." Hal ini juga melampaui GPT 3.5 sumber tertutup OpenAI dengan selisih yang besar, yang memperoleh akurasi 59,6%, meskipun Med42 tidak mencapai akurasi GPT4 sebesar 84,3%.

“Anda mengambil model terlatih yang sangat besar seperti Llama 2, 70 miliar, dan jika Anda menghadirkan kumpulan data yang sangat menarik, kumpulan data perintis, Anda dapat membuat mereka melakukan hal-hal yang sangat menarik, dan dilakukan dalam waktu dan waktu yang sangat singkat. penggunaan daya seperti GPT 3.5," kata Feldman.

Cerebras akhir-akhir ini sangat aktif dalam proyek sumber terbuka. Pada bulan Maret, perusahaan menerbitkan beberapa versi program AI generatif sebagai sumber terbuka untuk digunakan tanpa batasan.

Pada bulan Agustus, perusahaan tersebut meluncurkan LLM berbahasa Arab terkuat di dunia, Jais-Chat, sebagai program sumber terbuka.

Untuk saat ini, Med42 tidak diproduksi. “Setelah pengujian berhasil, Med42 akan tersedia untuk penerapan klinis,” kata perusahaan tersebut melalui email ke ZDNET.

“Yang penting, Med42 akan memiliki kemampuan untuk diterapkan di lokasi, sepenuhnya disesuaikan dengan kebutuhan penyedia layanan kesehatan, menggunakan sumber data yang dimiliki dan membatasi kemampuan untuk intrusi eksternal,” tambah mereka. “Kami memprioritaskan penerapan teknologi yang aman dibandingkan kecepatan produksi dan berkomitmen untuk melakukan evaluasi keselamatan ekstensif terhadap model tersebut sebelum meluncurkannya.”