Terobosan kuantum Google 'benar-benar luar biasa' - namun masih banyak yang harus dilakukan
Komputasi AI akan terus berkembang pesat dalam hal inferensi, sehingga membutuhkan pusat data AI multi-gigawatt yang benar-benar baru.
Thomas Graham, kanan, salah satu pendiri startup chip Lightmatter, mengatakan kepada Mandeep Singh dari Bloomberg Intelligence bahwa pusat data yang setara dengan delapan kali konsumsi listrik di Kota New York akan dibangun pada tahun 2026 untuk melayani penerapan AI.
Nvidia dan mitra serta pelanggannya terus membangun fasilitas komputer yang semakin besar di seluruh dunia untuk menangani kebutuhan intensif pelatihan program kecerdasan buatan (AI) raksasa seperti GPT-4. Upaya tersebut akan semakin penting seiring dengan semakin banyaknya model AI yang diproduksi, kata salah satu startup yang melayani raksasa teknologi.
“Orang-orang akan menginginkan lebih banyak komputasi, bukan karena undang-undang penskalaan, tetapi karena Anda menerapkan hal-hal ini sekarang,” kata Thomas Graham, salah satu pendiri startup komputasi optik Lightmatter, saat wawancara minggu lalu di New York dengan Mandeep Singh. seorang analis teknologi senior di Bloomberg Intelligence.
Singh bertanya kepada Graham apakah model bahasa besar (LLM) seperti GPT-4 akan terus "berskala", yang berarti bertambah besar seiring OpenAI dan lainnya mencoba mencapai model yang lebih ambisius.
Graham membalikkan pertanyaan tersebut, dan menyatakan bahwa tahap selanjutnya dari selera komputasi AI adalah memasukkan jaringan saraf terlatih ke dalam produksi.
“Jika Anda memandang pelatihan sebagai penelitian dan pengembangan, penyimpulan sebenarnya adalah penerapan, dan saat Anda menerapkannya, Anda akan memerlukan komputer besar untuk menjalankan model Anda,” kata Graham. Diskusi tersebut merupakan bagian dari konferensi sehari penuh yang diselenggarakan oleh Bloomberg Intelligence yang bertajuk "Gen AI: Dapatkah AI memenuhi janji produktivitas?"
Pandangan Graham serupa dengan CEO Nvidia Jensen Huang, yang mengatakan kepada Wall Street dalam beberapa bulan terakhir bahwa “meningkatkan” bentuk “agen” AI akan memerlukan “pelatihan [model AI] yang lebih canggih, namun juga inferensi yang semakin canggih. " dan sebagai hasilnya, "komputasi inferensi berskala secara eksponensial."
“Jika Anda memandang pelatihan sebagai penelitian dan pengembangan, penyimpulan sebenarnya adalah penerapan, dan saat Anda menerapkannya, Anda akan memerlukan komputer besar untuk menjalankan model Anda,” kata Graham.
Lightmatter, yang didirikan pada tahun 2018, sedang mengembangkan teknologi chip yang dapat menggabungkan beberapa prosesor menjadi satu cetakan semikonduktor menggunakan koneksi optik -- yang dapat menggantikan tautan jaringan konvensional antara lusinan, ratusan, atau bahkan ribuan chip yang diperlukan untuk membangun pusat data AI. Interkoneksi optik, demikian sebutannya, dapat memindahkan data lebih cepat daripada kabel tembaga dengan konsumsi energi yang lebih sedikit.
Teknologi ini dapat digunakan antar komputer dalam rak pusat data dan antar rak untuk menyederhanakan jaringan komputer, menjadikan seluruh pusat data lebih ekonomis, kata Graham kepada Singh.
“Jadi, benar-benar menghilangkan jejak tembaga yang Anda miliki di pusat data, baik di server pada papan sirkuit printer maupun di kabel antar rak, atau mengganti semuanya dengan serat, semuanya dengan optik, yang benar-benar meningkatkan bandwidth Anda secara drastis. dapatkan," kata Graham.
Lightmatter bekerja sama dengan banyak perusahaan teknologi dalam rencana pembangunan pusat data baru, kata Graham. “Pusat data sedang dibangun dari awal,” katanya. Lightmatter telah mengumumkan kemitraan dengan produsen semikonduktor kontrak Global Foundries, yang memiliki fasilitas di bagian utara New York dan melayani banyak pembuat chip, termasuk Advanced Micro Devices.
Di luar kolaborasi tersebut, Graham menolak menyebutkan nama mitra dan pelanggannya. Implikasi dari pembicaraannya adalah bahwa perusahaannya bermitra dengan penyedia silikon seperti Broadcom atau Marvell untuk membuat suku cadang terintegrasi khusus untuk raksasa teknologi yang merancang prosesor mereka sendiri untuk pusat data mereka, seperti Google, Amazon, dan Microsoft.
Untuk mengetahui skala penerapannya, Graham menunjukkan bahwa setidaknya ada selusin pusat data AI baru yang direncanakan atau sedang dibangun yang memerlukan daya sebesar gigawatt untuk dapat beroperasi.
"Hanya untuk konteksnya, Kota New York menggunakan listrik rata-rata sebesar lima gigawatt setiap harinya. Jadi, banyak NYC." Pada tahun 2026, katanya, pemrosesan AI di dunia diperkirakan akan membutuhkan daya sebesar 40 gigawatt "khusus untuk pusat data AI, jadi delapan NYC."
Lightmatter baru-baru ini menerima suntikan modal ventura sebesar $400 juta, dan nilai perusahaannya mencapai $4,4 miliar. Lightmatter bermaksud untuk memasuki produksi "dalam beberapa tahun ke depan," kata Graham.
Ketika Singh bertanya kepadanya apa yang bisa menggagalkan rencana perusahaan, Graham menyatakan keyakinannya akan kebutuhan berkelanjutan untuk memperluas infrastruktur komputasi AI.
“Jika dalam beberapa tahun ke depan para peneliti menemukan algoritma baru untuk melakukan AI yang memerlukan komputasi jauh lebih sedikit, yang kinerjanya jauh lebih baik dibandingkan yang kita miliki saat ini, yang mencapai AGI [kecerdasan umum buatan] jauh lebih cepat, maka hal tersebut akan membuat kita gagal. memahami asumsi semua orang tentang keinginan untuk terus berinvestasi dalam komputasi eksponensial, "katanya.