Nvidia, şirketi trilyon dolarlık bir şirket haline getiren H100 çipi sayesinde yapay zeka çip yarışını uzun müddettir önde götürüyor. Fakat görünen o ki şirket, uzun mühlet daha liderlik koltuğunda kalmaya devam edecek. Zira yeni Blackwell B200 GPU ve GB200 “süper çip” ile pozisyonunu daha da güçlendirmek üzere.
Nvidia, yeni B200 GPU’sunun 208 milyar transistörüyle 20 petaflop’a kadar FP4 süreç gücü sunduğunu açıkladı. Birebir vakitte, bu GPU’lardan ikisini tek bir Grace CPU ile birleştiren bir GB200’ün, LLM çıkarım iş yükleri için 30 kat daha fazla performans sunabileceğini ve değerli ölçüde daha verimli olabileceğini argüman ediyor.
Nvidia, 1,8 trilyon parametreli bir modelin eğitilmesinin daha evvel 8.000 Hopper GPU ve 15 megawatt güç gerektirdiğini söz ediyor. Bugün ise Nvidia’nın CEO’su 2.000 Blackwell GPU’sunun yalnızca 4 megawatt harcayarak bunu yapabileceğini tez ediyor. Şirket ayrıyeten, 175 milyar parametreli bir GPT-3 LLM kıyaslamasında, GB200’ün H100’den 7 kat daha fazla performansa sahip olduğunu ve eğitim suratının 4 kat daha fazla olduğunu belirtiyor.
Nvidia, en değerli gelişmelerden birinin, her nöron için 8 yerine 4 bit kullanarak hesaplama, bant genişliği ve model boyutunu 2 katına çıkaran ikinci jenerasyon bir dönüştürücü motor olduğunu açıkladı. İkinci kıymetli fark ise çok sayıda GPU’yu birbirine bağladığınızda ortaya çıkıyor: 576 GPU’nun saniyede 1,8 terabayt çift istikametli bant genişliğiyle birbiriyle konuşmasını sağlayan yeni jenerasyon bir NVLink anahtarı. Bunun için Nvidia, 50 milyar transistörlü ve kendi yerleşik işlemcisine sahip yeni bir ağ anahtarı yongası üretmiş durumda.
Şirket, daha evvel sırf 16 GPU’dan oluşan bir data kümesinin vaktinin yüzde 60’ını birbirleriyle bağlantı kurarak ve yalnızca yüzde 40’ını hakikaten hesaplama yaparak geçirdiğini söylüyor.
Nvidia elbette şirketlerin bu GPU’lardan büyük ölçülerde satın almasına bel bağlıyor ve bunları, toplam 720 petaflop AI eğitim performansı yahut 1.440 petaflop çıkarım için 36 CPU ve 72 GPU’yu tek bir sıvı soğutmalı kabine sığdıran GB200 NVL72 üzere daha büyük dizaynlarda paketliyor.
Kabindeki her bir tepsi ya 2 GB200 yongası ya da 2 NVLink anahtarı barındırıyor ve her bir rafta birincisinden 18, ikincisinden ise 9 adet bulunuyor. Nvidia, bu kabinlerden birinin toplamda 27 trilyon parametreli bir modeli destekleyebileceğini söz ediyor.
Şirket, Amazon, Google, Microsoft ve Oracle’ın bulut hizmeti kapsamında NVL72 kabinlerini sunmayı planladıklarını, lakin kaç tane satın alacaklarının belirli olmadığını belirtti. Ek olarak tekrar şirketlere toplam 288 CPU, 576 GPU, 240 TB bellek ve 11,5 exaflop FP4 hesaplama için 8sistemi bir ortaya getiren DGX Superpod for DGX GB200 tahlili sağlanacak.
Nvidia, sistemlerinin yeni Quantum-X800 InfiniBand yahut Spectrum-X800 ethernet ile 800Gbps ağ ile birbirine bağlı on binlerce GB200 harika çipe ölçeklenebileceğini belirtiyor.
Henüz oyun GPU’ları hakkında yeni bir şey yok. Çünkü bu haber Nvidia’nın GPU Teknoloji Konferansı’ndan geliyor ve çoklukla burada büsbütün GPU hesaplama ve yapay zekaya odaklanılıyor. Lakin Blackwell GPU mimarisinin gelecekteki RTX 50 serisi masaüstü grafik kartı serisine de güç vermesi beklenen.
News
