Yapay zekâ modellerinin giderek büyümesi, özellikle büyük dil modellerinde (LLM) bellek kapasitesi ve bant genişliği sorununu daha önemli hale getiriyor. Model boyutları büyürken KV önbelleğinin de genişlemesi, işlemcilerin hesaplama gücünden ziyade veriye ne kadar hızlı erişebildiğinin performansı belirlediği senaryoları artırıyor. d-Matrix ise bu soruna mevcut SRAM ve HBM teknolojileri arasında konumlanan yeni bir çözümle yaklaşarak 3D DRAM teknolojisinin artık yapay zekâ hızlandırıcılarında kullanılabilecek seviyeye geldiğini savunuyor.
Şirketin Raptor adını verdiği 3D DRAM çözümü, DRAM katmanlarının üzerine mantık devrelerinin istiflenmesiyle çalışıyor ve tasarımın en dikkat çekici noktası 100 TB/s’nin üzerinde bant genişliği sunabilmesi. Üstelik d-Matrix, bunun HBM’e kıyasla çok daha düşük enerji tüketimiyle gerçekleştirilebildiğini belirtiyor. Şirketin ölçümlerine göre Raptor yaklaşık 0,37 pJ/bit enerji tüketirken 100 TB/s seviyesinde bant genişliği sağlayabiliyor.
Bugün yapay zekâ sistemlerinde bellek tarafında iki temel yaklaşım öne çıkıyor: SRAM ve HBM. SRAM son derece yüksek bant genişliği ve düşük gecikme sunmasına rağmen kapasite açısından ciddi sınırlamalara sahip. Ayrıca büyük miktarlarda SRAM kullanmak, maliyet ve güç tüketimini hızla artırıyor. HBM ise çok daha yüksek kapasite sağlayarak büyük yapay zekâ modelleri için daha uygun bir çözüm oluşturuyor ancak bant genişliğini artırmak, güç tüketimi, paketleme, PHY ve fiziksel bağlantı sınırları nedeniyle giderek zorlaşıyor.
d-Matrix’in yaklaşımı tam olarak bu iki teknoloji arasındaki boşluğu doldurmayı hedefliyor. Raptor, SRAM’in yüksek bant genişliği özelliklerini DRAM’in daha yüksek kapasitesiyle bir araya getiriyor. Şirketin verdiği değerlere göre tek bir 3D DRAM yığını 32 GB kapasite ve 100 TB/s bant genişliği sunabiliyor. Bu yapı, özellikle sürekli olarak bellekten veri çekmek zorunda olan yapay zekâ çıkarım işlemleri için oldukça dikkat çekici.
Raptor’ın temelinde TSMC’nin 4 nm N4 üretim süreci kullanılarak hazırlanan mantık kalıbı bulunuyor. Bu mantık kalıbı özel DRAM’in üzerine yüz yüze (F2F) yöntemiyle yerleştiriliyor ve iki katman arasında yaklaşık 36 mikrometre bağlantı aralığı kullanılıyor. Böylece geleneksel HBM çözümlerindeki daha uzun bağlantılar yerine çok daha kısa dikey bağlantılar elde ediliyor. Bu da veri hareketi sırasında oluşan enerji tüketiminin azaltılmasına yardımcı oluyor.
Raptor 3D DRAM’in Öne Çıkan Teknik Özellikleri
Raptor’ın açıklanan teknik özellikleri, çözümün neden özellikle yapay zekâ hızlandırıcıları için geliştirildiğini açıkça gösteriyor. Tek yüksekli bir yığın için 32 GB kapasite, 100 TB/s bant genişliği ve ölçülmüş 0,37 pJ/bit enerji tüketimi hedefleniyor. Mantık tarafındaki güç yoğunluğu ise yaklaşık 0,5 W/mm² olarak belirtiliyor.
Çip üzerinde toplam 256 tensör motoru bulunuyor. Bu motorların DRAM bankalarıyla mümkün olduğunca doğrudan eşleştirilmesi, verinin gereksiz yere farklı bellek katmanları veya veri yolları arasında taşınmasını önlemeyi amaçlıyor. Böylece sistem yalnızca yüksek ham bant genişliği elde etmekle kalmıyor, aynı zamanda bu bant genişliğinin yapay zekâ hesaplama birimleri tarafından daha verimli kullanılmasını sağlıyor.
Buradaki önemli ayrıntılardan biri de DRAM bankalarının tensör motorlarıyla eşleştirilmesi. Raptor mimarisinde banka ve kanal tasarımı, tensör motorlarının veri ihtiyacına göre düzenlenmiş durumda. Her kanalda üç banka kullanılması durumunda toplam veri miktarı 96 bayta ulaşıyor ancak tensör motorlarının doğal veri aktarım boyutu 128 bayt. d-Matrix, bu uyumsuzluğu çözmek için dört yönlü toplama gibi yöntemlerden yararlanarak kullanılabilir bant genişliğini artırmaya çalışıyor.
3D DRAM’in en büyük avantajlarından biri ise veri yollarının fiziksel olarak kısalması. HBM’de bellek ile işlem mantığı arasındaki iletişim için çok sayıda bağlantı ve PHY yapısı gerekiyor. Bu bağlantılar bant genişliğini yükseltmek istendiğinde güç tüketiminin de artmasına neden oluyor. Raptor ise mantığı doğrudan DRAM’in üzerine yerleştirerek bu iletişim mesafesini ciddi şekilde azaltıyor.
d-Matrix’in verdiği karşılaştırmaya göre 100 TB/s bant genişliğine ulaşan bir HBM çözümünün yalnızca bellek G/Ç’si için yaklaşık 1,92 kW güç tüketmesi mümkün. Raptor tarafında ise aynı bant genişliği için yaklaşık 300 W seviyesinde G/Ç gücü öngörülüyor. Bu hâlâ oldukça yüksek bir değer olsa da yapay zekâ veri merkezlerinde toplam sistem tüketimi düşünüldüğünde aradaki fark oldukça önemli.
Şirket ayrıca Raptor’ın HBM4’e kıyasla yaklaşık 5,6 kat daha yüksek bant genişliği, 5 ila 8 kat daha düşük enerji tüketimi ve yaklaşık 7 kat daha yoğun G/Ç sunabileceğini belirtiyor. Bu değerler doğrudan aynı kullanım koşullarında bağımsız olarak doğrulanmış performans sonuçları değil, d-Matrix’in kendi mimari karşılaştırmaları olarak değerlendirilmesi gerekiyor.
3D DRAM’in önündeki en önemli sorunlardan biri ise ısı. DRAM hücreleri yüksek sıcaklıklarda daha fazla sızıntı yaşadığı için bellek yenileme işlemlerinin daha sık yapılması gerekiyor. Raptor, yaklaşık 105°C bağlantı sıcaklığını destekleyecek şekilde tasarlanıyor ve sıcaklık yükseldiğinde standart DRAM’e kıyasla yaklaşık sekiz kat daha hızlı yenileme yapılması gerekiyor.
Bu nedenle d-Matrix, mantık kalıbını DRAM’in üstüne yerleştirmeyi tercih ediyor. Böylece soğutma sisteminin doğrudan üst taraftaki mantık katmanına uygulanması ve oluşan ısının daha kolay uzaklaştırılması amaçlanıyor. Şirket, uygun sıvı soğutma ile DRAM sıcaklığının 100°C’nin altında tutulabileceğini belirtiyor.
Bellek yenileme işlemleri de performansı doğrudan etkileyebilecek bir başka konu. Raptor’da bellek yaklaşık 4 milisaniyede bir yenileniyor ve d-Matrix, bu işlemin toplam bant genişliği üzerindeki kaybını yalnızca %1,37 seviyesinde tutmayı hedefliyor. Bu sonuca ulaşmak için bellek yapısı çok küçük mikrobankalara bölünüyor. Her mikrobank yaklaşık 1.366 satır ve 5,33 MB kapasiteye sahip.
Bu küçük bellek blokları aynı zamanda üretim sırasında ortaya çıkabilecek hataların etkisini azaltmaya yardımcı oluyor. d-Matrix, yedek bankalar ve güçlü hata düzeltme mekanizmaları kullanarak üretim verimliliğini artırmayı amaçlıyor. Sistemde Reed-Solomon T=2 hata düzeltme kodu ve CRC kullanılıyor. Böylece 128 baytlık veri üzerinde belirli sembol hatalarının düzeltilmesi mümkün hale geliyor.
Ancak şirketin çözmesi gereken sorunlar yalnızca termal tasarımla sınırlı değil. 3D DRAM’in üretim verimliliği, güç dağıtımı, kanal simetrisi, banka eşleştirmesi ve yüksek hızlı G/Ç tasarımı da ciddi mühendislik problemleri oluşturuyor. Özellikle 100 TB/s seviyesindeki veri akışının yalnızca bellek tarafından değil, işlem mantığı tarafından da sürekli olarak işlenmesi gerekiyor.
d-Matrix bu nedenle Raptor’ı yalnızca daha hızlı bir bellek olarak değil, bellek ve hesaplama birimlerinin birlikte tasarlandığı bir yapay zekâ hızlandırıcı mimarisi olarak konumlandırıyor. Tensör motorlarının doğrudan kendilerini besleyen bellek bankalarıyla eşleştirilmesi, veri hareketini azaltarak enerji verimliliğinin artırılmasını amaçlıyor.
Bu yaklaşım özellikle yapay zekâ çıkarımının decode aşaması için önem taşıyor. Büyük dil modellerinde token üretimi sırasında işlemciler sürekli olarak büyük miktarda model verisine ve KV önbelleğine erişmek zorunda kalıyor. Bu aşamada hesaplama kapasitesinden çok bellek bant genişliği sınırlayıcı hale gelebiliyor. 100 TB/s seviyesindeki bant genişliği bu nedenle teorik olarak çok önemli bir avantaj sağlayabilir.
| Kriter / Parametre | Teknik Detaylar ve Avantajlar |
| Geliştirici Firma | d-matrix |
| Teknoloji Adı | Raptor 3D DRAM Mimari Entegrasyonu |
| Temel İnovasyon | PHY katmanının düşürülmesi ve DRAM’in hesaplama ünitesinin altına dikey kaynaştırılması |
| Bant Genişliği Seviyesi | SRAM sınıfı ultra yüksek veri aktarım hızı |
| Enerji Verimliliği | Standart HBM çözümlerinin güç tüketiminin 1/10’u |
d-Matrix ayrıca Raptor’ı NVIDIA Rubin R200 ve HBM4 tabanlı bir platformla karşılaştırıyor. Şirketin kendi değerlendirmesine göre %83-85 etkin bant genişliği kullanımı varsayıldığında Raptor, HBM4 tabanlı çözüme karşı GB/s/mm² başına 23,4 kata kadar daha yüksek bant genişliği ve mW/GB/s açısından 13,5 kata kadar daha iyi güç verimliliği sağlayabiliyor.
Bununla birlikte 3D DRAM’in HBM’nin tamamen yerini alacağını söylemek için henüz erken. HBM’nin en büyük avantajlarından biri çok yüksek kapasiteyi birden fazla bellek yığınıyla ölçeklendirebilmesi. Raptor’ın tek yığın başına 32 GB kapasitesi ise HBM’nin büyük veri merkezi sistemlerinde sunduğu toplam kapasitenin altında kalıyor. Dolayısıyla 3D DRAM’in özellikle çok yüksek bant genişliği isteyen ve kapasiteyi belirli seviyelerde tutabilen yapay zekâ iş yüklerinde daha avantajlı olması beklenebilir.
Bu teknoloji başarılı bir şekilde üretime geçirilebilirse yapay zekâ hızlandırıcılarının tasarımında önemli bir değişimin önünü açabilir. Bugünkü sistemlerde işlemci, HBM ve veri iletişim altyapısı arasındaki sınırlar performansın önemli bölümünü belirlerken 3D DRAM, belleği hesaplama mantığına fiziksel olarak çok daha fazla yaklaştırıyor.
Sonuç olarak d-Matrix’in Raptor 3D DRAM yaklaşımı, SRAM’in hızını DRAM’in kapasitesiyle birleştirmeye çalışan dikkat çekici bir mimari ortaya koyuyor. 32 GB kapasite, 100 TB/s üzeri bant genişliği ve 0,37 pJ/bit seviyesinde ölçülen enerji tüketimi kâğıt üzerinde son derece iddialı. Ancak termal yönetim, üretim verimi, güç dağıtımı ve yüksek hacimli üretim gibi konuların gerçek ürünlerde ne kadar başarılı şekilde çözülebileceği henüz görülmüş değil.
Yine de yapay zekâ modellerinin büyümeye devam ettiği bir dönemde bellek duvarının giderek daha büyük bir sorun haline geldiği açık. HBM’nin kapasite avantajı ile SRAM’in hız avantajı arasındaki boşluğu doldurmayı hedefleyen 3D DRAM, gelecekte yapay zekâ hızlandırıcılarında önemli bir bellek mimarisi haline gelebilir. d-Matrix’in Raptor projesi de bu yönde atılmış en dikkat çekici adımlardan biri olarak öne çıkıyor.
