Apple membangun model AI yang lebih ramping menggunakan inovasi Stanford dan Google
Model bahasa besar bersumber terbuka dari raksasa telepon ini mengalahkan model sebelumnya dengan memadukan wawasan banyak peneliti.
Dunia sedang menyaksikan apa yang akan dilakukan Apple untuk melawan dominasi Microsoft dan Google dalam AI generatif. Sebagian besar berasumsi bahwa inovasi raksasa teknologi itu akan berupa jaringan saraf pada iPhone dan perangkat Apple lainnya. Petunjuk kecil bermunculan di sana-sini yang mengisyaratkan apa yang sedang dikerjakan Apple.
Apple minggu lalu memperkenalkan OpenELM, sebuah model bahasa besar (LLM) "tertanam" yang berjalan pada perangkat seluler dan pada dasarnya menggabungkan terobosan dari beberapa lembaga penelitian, termasuk para sarjana dan akademisi pembelajaran mendalam Google di Stanford dan di tempat lain.
Semua kode OpenELM diposting di GitHub, bersama dengan berbagai dokumentasi untuk pendekatan pelatihannya. Apple juga telah merinci pekerjaannya dalam makalah yang ditulis oleh Sachin Mehta dan timnya, "OpenELM: Rangkaian Model Bahasa yang Efisien dengan Pelatihan Sumber Terbuka dan Kerangka Inferensi", yang diposting di server pra-cetak arXiv.
Peneliti Apple menggunakan jaringan saraf dengan hanya 1,3 miliar bobot saraf, atau parameter, yang menunjukkan bahwa perusahaan tersebut berfokus pada perangkat seluler. Angka tersebut jauh di bawah ratusan miliar parameter yang digunakan oleh model seperti GPT-4 OpenAI dan Gemini Google. Semakin banyak parameter secara langsung meningkatkan jumlah memori yang diperlukan -- jaringan saraf yang lebih kecil dapat masuk ke dalam perangkat seluler dengan lebih mudah.
OpenELM akan menjadi biasa-biasa saja tanpa kontribusi utama: efisiensi. Para peneliti menyesuaikan lapisan jaringan saraf dalam sehingga model AI lebih efisien dibandingkan model sebelumnya dalam hal jumlah data yang perlu dihitung saat melatih jaringan saraf. Secara khusus, mereka dapat memenuhi atau mengalahkan hasil dari serangkaian jaringan saraf untuk komputasi seluler "sementara membutuhkan token pra-pelatihan 2× lebih sedikit", di mana token adalah karakter, kata, atau fragmen kalimat individual dalam data pelatihan.
Apple memulai dari pendekatan yang sama seperti banyak LLM: transformator. Transformator adalah jaringan saraf khas dalam pemahaman bahasa, yang diperkenalkan oleh ilmuwan Google pada tahun 2017. Sejak itu, setiap model bahasa utama, termasuk model BERT Google dan rangkaian model GPT OpenAI, telah mengadopsi transformator.
Apple mencapai efisiensi tinggi dengan menggabungkan transformator dengan teknik yang diperkenalkan pada tahun 2021 oleh para peneliti di Universitas Washington, Facebook AI Research, dan Allen Institute for AI, yang disebut DeLighT. Pekerjaan tersebut memisahkan diri dari pendekatan konvensional di mana semua bobot saraf adalah sama untuk setiap "lapisan" jaringan, perhitungan matematis berturut-turut yang dilalui data.
Sebaliknya, para peneliti secara selektif menyesuaikan setiap lapisan agar memiliki jumlah parameter yang berbeda. Karena beberapa lapisan memiliki parameter yang relatif sedikit, mereka menyebut pendekatannya sebagai "transformator yang dalam dan ringan", oleh karena itu dinamakan DeLighT.
Para peneliti mengatakan bahwa "DeLighT menyamai atau meningkatkan kinerja Transformer dasar dengan rata-rata parameter 2 hingga 3 kali lebih sedikit." Menggunakan DeLighT, Apple membuat OpenELM, di mana setiap lapisan jaringan saraf memiliki jumlah parameter saraf yang berbeda, pendekatan parameter yang tidak seragam.
“LLM yang ada menggunakan konfigurasi yang sama untuk setiap lapisan transformator dalam model, sehingga menghasilkan alokasi parameter yang seragam di seluruh lapisan,” tulis Mehta dan timnya. “Tidak seperti model-model ini, setiap lapisan transformator di OpenELM memiliki konfigurasi yang berbeda (misalnya, jumlah head dan dimensi jaringan umpan maju), sehingga menghasilkan jumlah parameter yang bervariasi di setiap lapisan model.”
Pendekatan yang tidak seragam, tulis mereka, "memungkinkan OpenELM memanfaatkan anggaran parameter yang tersedia dengan lebih baik untuk mencapai akurasi yang lebih tinggi."
Persaingan yang dihadapi Apple menggunakan jaringan saraf kecil yang serupa, seperti MobiLlama dari Universitas AI Mohamed bin Zayed dan lembaga yang berkolaborasi, serta OLMo, yang diperkenalkan pada bulan Februari 2024 oleh para peneliti di Institut Allen untuk Kecerdasan Buatan dan pakar dari Universitas Washington, Universitas Yale, Universitas New York, dan Universitas Carnegie Mellon.
Eksperimen Apple tidak dilakukan pada perangkat seluler. Sebagai gantinya, perusahaan menggunakan workstation Ubuntu Linux berbasis Intel dengan satu GPU Nvidia.
Pada berbagai tes benchmark, OpenELM mencapai skor yang lebih baik, meskipun lebih kecil dan/atau menggunakan lebih sedikit token. Misalnya, pada enam dari tujuh pengujian, OpenELM mengalahkan OLMo meskipun memiliki parameter yang lebih sedikit -- 1,08 miliar berbanding 1,18 miliar -- dan hanya 1,5 triliun token pelatihan dibandingkan 3 triliun untuk OLMo.
Meskipun OpenELM dapat memberikan hasil yang lebih akurat dan lebih efisien, penulis mencatat area penelitian lebih lanjut di mana OpenELM dalam beberapa kasus lebih lambat dalam menghasilkan prediksinya.
Laporan menunjukkan bahwa Apple mungkin melisensikan teknologi AI untuk integrasi iOS 18 dari Google, OpenAI, atau perusahaan AI terkemuka lainnya. Investasi Apple dalam perangkat lunak sumber terbuka memberikan kemungkinan menarik bahwa perusahaan tersebut mungkin mencoba memperkuat ekosistem terbuka yang dapat dimanfaatkan oleh perangkatnya sendiri.