MedPerf bertujuan untuk mempercepat AI medis sekaligus menjaga privasi data
Disusun oleh grup MLCommons yang melakukan tolok ukur pada chip AI, MedPerf memungkinkan dokter menjaga kerahasiaan informasi pasien sambil membiarkan pengembang algoritme menguji program mereka pada data dunia nyata.
Penerapan bentuk pembelajaran mesin dari kecerdasan buatan pada bidang kedokteran terhambat oleh sensitivitas data yang akan digunakan untuk melatih model.
Upaya baru yang dikenal sebagai pelatihan AI "federasi" bertujuan untuk menjaga privasi data namun juga memungkinkan pengembang algoritme dan dokter mendapatkan manfaat dari interaksi kumpulan data nyata dan model ML baru.
MedPerf, sebuah grup yang dibentuk oleh MLCommons Association nirlaba, sebuah konsorsium industri, yang melakukan tolok ukur kinerja chip komputer dalam tugas-tugas AI, bertujuan untuk memecahkan kebuntuan data, seperti yang dijelaskan dalam makalah posisi perdana yang diterbitkan Senin oleh jurnal ilmiah bergengsi Nature .
Tolok ukur MedPerf mengambil model AI dan mengirimkannya ke dokter yang memiliki data; para dokter kemudian melaporkan kembali kinerja model terhadap data. Hal ini berarti pengembang program AI bisa mendapatkan akses ke kumpulan data pribadi yang sebelumnya tidak dapat mereka akses, kata kelompok tersebut, sementara para dokter dapat melihat apakah AI dapat memberikan jawaban tentang kesehatan pasien mereka dengan membuat prediksi pada data tersebut. Karena pertukaran, data tidak meninggalkan fasilitas aman para dokter.
“Pendekatan ini bertujuan untuk mengkatalisasi penerapan AI medis yang lebih luas, sehingga menghasilkan praktik klinis yang lebih manjur, dapat direproduksi, dan hemat biaya, yang pada akhirnya meningkatkan hasil pasien,” catat kelompok tersebut dalam makalah, “Federated benchmarking of Medical Artificial Intelligence with MedPerf,” diterbitkan di cetakan Nature Machine Intelligence of Nature.
Makalah ini ditulis oleh penulis utama Alexandros Karargyris dari Universitas Strasbourg, Prancis, dan 76 kontributor lainnya, mewakili lebih dari 20 perusahaan, termasuk Nvidia dan Microsoft, serta 20 institusi akademik dan sembilan rumah sakit di 13 negara dan lima benua.
Penggunaan awal MedPerf dalam tes benchmark sampel adalah di bidang radiologi dan bedah, catat Karargyris dan tim. Namun, mereka menulis, platform tersebut “dapat dengan mudah digunakan dalam tugas-tugas biomedis lainnya seperti patologi komputasi, genomik, pemrosesan bahasa alami (NLP), atau penggunaan data terstruktur dari rekam medis pasien.”
Ide inti dari pendekatan ini disajikan dalam skema ringkasan di situs Web MLCommons, dan juga postingan blog yang menyertainya.
David Kanter, direktur eksekutif MLCommons, mengatakan dalam pernyataan emailnya, “AI medis sangat penting karena potensi dampaknya terhadap semua orang di seluruh dunia, dan saya sangat bangga dengan keterlibatan komunitas luas yang telah kita lihat dengan MedPerf. -- peneliti, rumah sakit, ahli teknologi, dan banyak lagi.
“MedPerf merupakan upaya komunitas yang sangat besar, dan kami sangat gembira melihatnya tumbuh dan berkembang di masa depan, yang pada akhirnya meningkatkan layanan medis bagi semua orang,” kata Kanter.
Platform MedPerf terdiri dari MLCubs, sebuah metode untuk membuat wadah aplikasi aman yang mirip dengan Docker. Platform ini memiliki tiga MLCubes yang berbeda, satu untuk menyiapkan data, satu untuk menghosting model, dan yang ketiga untuk mengevaluasi keluaran guna menilai kinerja model pada pengujian benchmark.
Seperti yang dijelaskan oleh Karargyris dan tim dalam artikel tersebut,
Model MLCube berisi model AI yang telah dilatih sebelumnya untuk dievaluasi sebagai bagian dari tolok ukur. Ini menyediakan fungsi tunggal, infer, yang menghitung prediksi pada output data yang disiapkan oleh MLCube persiapan data. Dalam kasus model khusus API di masa mendatang, ini akan menjadi container yang menghosting wrapper API untuk menjangkau model pribadi.
MedPerf juga berkolaborasi dengan Hugging Face, gudang model AI yang populer. “Hugging Face Hub juga dapat memfasilitasi evaluasi model secara otomatis dan memberikan papan peringkat model terbaik berdasarkan spesifikasi benchmark,” tulis mereka.
Mitra lainnya adalah Sage Bionetworks, yang mengembangkan platform Synapse untuk berbagi data yang telah digunakan dalam tantangan data bersumber dari banyak orang. “Beberapa komponen ad-hoc yang diperlukan untuk integrasi MedPerf-FeTS dibangun di atas platform Synapse,” catat para penulis. "Synapse mendukung berbagi data penelitian dan dapat digunakan untuk mendukung pelaksanaan tantangan komunitas."
Pendekatan MedPerf telah diuji pada sebuah tantangan yang diselenggarakan oleh beberapa institusi akademik yang dikenal sebagai Federated Tumor Segmentation Challenge, di mana jaringan saraf ditantang untuk mengidentifikasi tumor otak -- khususnya, glioma -- dalam gambar MRI. Tantangan FeTS 2022 yang diikuti MedPerf berlangsung di 32 lokasi peserta di enam benua.
“Selanjutnya, MedPerf divalidasi melalui serangkaian studi percontohan dengan kelompok akademis yang terlibat dalam kolaborasi multi-institusi untuk tujuan penelitian dan pengembangan model AI medis,” kata para penulis.
MedPerf memperkirakan mereka akan memperluas platform ini ke lebih banyak peserta, dengan menyatakan, "Kami saat ini sedang mengerjakan evaluasi tujuan umum AI perawatan kesehatan melalui kolaborasi yang lebih besar."
Makalah ini menggambarkan MedPerf telah melewati tahap awal "pembuktian konsep", dan di tengah transisi dari tahap alfa ke tahap beta. Langkah selanjutnya termasuk membuka tugas benchmarking secara umum kepada peserta luar.
Bagian dari makalah ini adalah seruan bagi pihak-pihak di bidang kedokteran untuk mengambil tindakan dan berkontribusi, termasuk “pemangku kepentingan layanan kesehatan untuk membentuk komite benchmark yang menentukan spesifikasi dan mengawasi analisis,” dan “Pemilik data (misalnya, organisasi layanan kesehatan, dokter) untuk mendaftarkan data mereka. di platform (tidak perlu berbagi data)."
Kode untuk MedPerf diposting di GitHub.