Amazon AWS meluncurkan chip Trainium3, Project Rainier
Project Rainier adalah 'UltraCluster' yang akan mengelompokkan ratusan ribu chip Trainium.
Trainium2, pertama kali diumumkan setahun lalu, ditujukan untuk melatih model bahasa besar dengan triliunan parameter. Sekarang secara umum tersedia di instans EC2 Amazon AWS.
Pada konferensi tahunan re:Invent di Las Vegas, Senin, layanan komputasi awan AWS Amazon mengungkapkan generasi ketiga chip komputer Trainium untuk melatih model bahasa besar (LLM) dan bentuk kecerdasan buatan (AI) lainnya, setahun setelah debutnya. dari chip versi kedua.
Chip Trainium3 baru, yang akan tersedia tahun depan, akan dua kali lebih cepat dari Trainium2 yang ada sekaligus 40% lebih hemat energi, kata CEO AWS Matt Garman dalam pidato utamanya pada hari Selasa.
Trainum3 merupakan chip pertama dari AWS yang menggunakan teknologi proses manufaktur semikonduktor tiga nanometer.
Sementara itu, chip Trainium2 yang diluncurkan setahun lalu kini tersedia secara umum, kata Garman. Chip ini empat kali lebih cepat dibandingkan generasi sebelumnya. Chip tersebut ditujukan untuk pelatihan LLM, dan Garman menekankan kinerja pada model sumber terbuka Meta Platforms yang populer, Llama.
“Uji kinerja inferensi independen untuk Llama 405B Meta menunjukkan bahwa Amazon Bedrock, yang berjalan pada instans Trn2, memberikan throughput pembuatan token lebih dari 3x lebih tinggi dibandingkan dengan penawaran lain yang tersedia dari penyedia cloud besar,” kata perusahaan itu.
Amazon juga mengumumkan UltraServers, penawaran baru untuk layanan Elastic Compute Cloud AWS yang menghubungkan 64 chip Trainium2 saat ini "ke dalam satu server raksasa", menggunakan interkoneksi NeuronLink. Server sekarang tersedia di EC2.
Rak UltraServer akan menjalankan Trainium2 UltraServers yang mengoperasikan 64 chip Trainium2 untuk AI generatif.
UltraServer dirancang untuk menangani LLM dengan triliunan parameter, kata Amazon. Untuk membantu pengembangan komponen Trainium, perusahaan meluncurkan kit pengembangan perangkat lunak, yang dikenal sebagai Neuron, yang mencakup kompiler, pustaka runtime, dan alat yang dioptimalkan untuk Trainium. Neuron memiliki dukungan asli untuk "kerangka kerja populer" di AI seperti JAX dan PyTorch, dan "lebih dari 100.000 model di hub model Hugging Face".
Garman pun mengintip perkembangan ke depan. Versi baru dari UltraServer yang menjalankan Trainium3 diharapkan memiliki performa empat kali lebih baik dibandingkan UltraServers berbasis Trainium2, sehingga memungkinkan pelanggan untuk melakukan iterasi lebih cepat ketika membangun model dan memberikan kinerja real-time yang unggul ketika menerapkannya.
Perusahaan mengatakan pekerjaan sedang dilakukan untuk membangun "Project Rainier", yang akan menjadi "UltraCluster" yang mengelompokkan banyak UltraServer untuk memungkinkan akses ke "ratusan ribu chip Trainium2".
UltraCluster sedang dikembangkan dalam kemitraan dengan startup Gen AI, Anthropic.
Re:Invent berlangsung hingga Jumat, 6 Desember dan Anda dapat mendaftar secara gratis untuk menonton streaming langsung di situs acara.