Video: Diving into the TPU v2 and v3 (Kasım 2024)
Son birkaç haftada, Google'ın yeni "bulut TPU'ları" ve Nvidia'nın yeni Volta tasarımı da dahil olmak üzere, makine öğrenmesi için derin sinir ağları üzerinde çalışmak üzere özel olarak tasarlanmış yeni bilgisayar platformlarının tanıtımı yapıldı.
Bana göre bu, bilgisayar mimarisindeki en ilginç trend - AMD'den bile fazla ve şimdi Intel 16 çekirdekli ve 18 çekirdekli işlemcileri tanıtıyor. Elbette, başka alternatif yaklaşımlar var, ama Nvidia ve Google, benzersiz yaklaşımları için çok fazla dikkat çekiyor.
Google I / O’da, ne bir "bulut TPU" (Google’ın TensorFlow makine öğrenme çerçevesi için optimize edildiğini belirten Tensor İşleme Birimi için) getirdiğini gördüm. Geçen yılki fuarda tanıtılan önceki nesil TPU, öncelikle çıkarım için tasarlanmış bir ASIC'dir - makine öğrenme işlemlerini yürütüyor - ancak yeni sürüm, bu tür algoritmaların çıkarımı ve eğitimi için tasarlanmıştır.
Son bir makalede, Google, en fazla 92 teraopluk (toplam trilyon işlem başına) performansıyla 256'ya 256 çoklu birikimli (MAC) birimi (toplam 65.536) içeren bir matris içerdiğini tanımladığı orijinal TPU hakkında daha fazla ayrıntı verdi. ikinci). Talimatlarını bir ana bilgisayar CPU'sundan PCIe Gen 3 veri yolu üzerinden alır. Google bunun bir Intel Haswell Xeon 22nm işlemcisinin yarısı boyutundan daha az olduğu ve bu işlemci ve Nvidia'nın 28nm K80 işlemcisinden daha iyi performans gösterdiği 28nm'lik bir kalıp olduğunu söyledi.
TPU 2.0 veya cloud TPU adındaki yeni sürüm (yukarıda görüldüğü gibi) aslında anakartta dört işlemci var ve Google her kartın 180 teraflop'a (saniyede 180 trilyon kayan nokta operasyonu) ulaşabileceğini söyledi. En önemlisi, panolar, özel bir yüksek hızlı ağ kullanarak birlikte çalışacak şekilde tasarlanmıştır, bu nedenle Google’ın bir "TPU kapsülü" dediği süper bilgisayarlı bir bilgisayar öğrenme işlevi görürler.
Bu TPU bölmesi 64 ikinci nesil TPU içerir ve tek bir büyük makine öğrenme modelinin eğitimini hızlandırmak için 11.5'e kadar petaflops sağlar. Konferansta, Google’ın AI araştırmalarına başkanlık eden Fei Fei Li, şirketin çeviri için büyük ölçekli öğrenme modellerinden birinin, ticari olarak mevcut en iyi GPU’lardan 32 tanesinde eğitim almasının tam bir gün sürdüğünü belirtti. TPU kapsülünün sekizde birini kullanarak öğleden sonra da aynı doğruluk. Bu büyük bir sıçrama.
Bunların küçük sistemler olmadığını anlayın; bir Pod, dört normal bilgisayar rafının boyutuyla ilgili görünüyor.
Bireysel işlemcilerin her birinin çok büyük ısı emiciler var gibi görünüyor, bu da kartların çok sık istiflenememesi anlamına geliyor. Google, işlemcilerin bu sürümünde veya ara bağlantıda nelerin değiştiği hakkında henüz fazla bilgi vermedi, ancak bu muhtemelen 8 bitlik MAC'lere dayanıyor.
Nvidia, bir hafta önce, bu kategorideki en son girişini, yüksek seviye GPU'lar için tasarlanan bu yeni Volta mimarisiyle ilk CPU olarak tanımladığı Telsa V100 Volta olarak bilinen dev bir çip olarak tanıttı.
Nvidia, yeni çipin 120 TensorFlow teraflop (veya 15 adet 32-bit TFLOPS veya 7, 5 64-bit) kapasitesine sahip olduğunu söyledi. ve saat başına 64 FMA (Fused Multiply Add) işlemini gerçekleştirebilen bir 4x4x4 dizisidir. Nvidia, firmanın önceki P100 mimarisini kullanan önceki DGX-1'in ardından üçüncü çeyrekte 8 V100 anakartlı DGX-1V iş istasyonlarında çipi sunacağını söyledi.
Şirket, bu 149.000 $ 'lık kutunun 3200 watt kullanarak 960 teraflop eğitim performansı vermesi gerektiğini söyledi. Daha sonra, ilk olarak, dört V100'lü bir Kişisel DGX İstasyonu göndereceğini ve dördüncü çeyrekte büyük sunucu satıcılarının V100 sunucularını göndereceğini söyledi.
Bu çip, TSMC'nin 12nm işlemcisini ilk kez kullanan ve 815 milimetrekarelik kalıpta 21.1 milyar transistörlü dev bir çip olacak. Nvidia, Microsoft ve Amazon'u çip için erken müşteri olarak gösterdi.
Bu yaklaşımlar arasında büyük farklar olduğuna dikkat edin. Google TPU'lar, TensorFlow uygulamaları için tasarlanmış gerçekten özel yongalardır; Nvidia V100, diğer uygulamalar için farklı matematik türlerine sahip olan biraz daha genel bir yongadır.
Bu arada, diğer büyük bulut sağlayıcıları Microsoft'a hem eğitim için GPU'ları hem de çıkarım için alanla programlanabilir kapı dizilerini (FPGA'lar) kullanarak ve her ikisini de müşterilerine sunan alternatiflere bakıyorlar. Amazon Web Servisleri şimdi hem GPU hem de FPGA örneklerini geliştiricilere sunar. Intel, FPGA'ları ve bir dizi başka tekniği zorluyor. Bu arada, bir dizi yeni girişim alternatif yaklaşımlar üzerinde çalışıyor.
Bazı açılardan, bu, iş istasyonlarında ve sunucu işlemcilerinde yıllarca gördüğümüz en ciddi değişiklik, en azından geliştiriciler birkaç yıl önce "GPU compute" kullanmaya başladığından beri. Bunun nasıl geliştiğini görmek büyüleyici olacak.
