Bilgisayar dünyası ve mobil teknoloji gündemini sıkı takip eden İlkcan, yaşanan tüm gelişmeleri DonanımHaber okurları ile paylaşıyor. Tasarım meraklısı ve sanata oldukça ilgi duyuyor.
Micron’un araştırdığı yaklaşım, “near-GPU NAND” olarak adlandırılıyor. Buna göre NAND Flash, geleneksel depolama sistemlerinde olduğu gibi GPU’dan uzakta konumlandırılmak yerine GPU’ya çok daha yakın bir noktaya taşınacak. Böylece GPU ile NAND arasında mevcut depolama protokollerinden kaynaklanan gecikmelerin azaltılması ve daha yüksek I/O performansı elde edilmesi amaçlanıyor.
Buradaki temel fikir, NAND Flash’ın HBM veya geleneksel DRAM’in yerini tamamen alması değil. Sistem içerisinde GPU belleği ile standart depolama arasında yeni bir katman oluşturulması planlanıyor. Bu katman, HBM ve GDDR7/LPDDR6 gibi GPU’ya doğrudan yakın çalışan belleklerden daha yüksek kapasite sunarken, klasik SSD depolamadan çok daha hızlı bir erişim katmanı oluşturabilir.
Böyle bir sistemin en önemli avantajlarından biri maliyet tarafında ortaya çıkıyor. NAND Flash’ın gigabayt başına maliyeti HBM ve DRAM’e kıyasla daha düşük olduğu için, GPU belleğini yalnızca pahalı yüksek hızlı belleklerle büyütmek yerine farklı bellek katmanlarını bir arada kullanmak mümkün olabilir. Bu yaklaşım, özellikle modelin tamamının HBM’e sığmadığı durumlarda önem kazanıyor.
Ancak teknolojinin önünde önemli teknik sorunlar bulunuyor. NAND Flash, HBM veya DRAM ile karşılaştırıldığında bant genişliği, gecikme ve yazma dayanıklılığı açısından geride kalıyor. Dolayısıyla NAND’ın GPU’ya fiziksel olarak yaklaştırılması tek başına HBM seviyesinde bir performans sağlamayacak.
Yapay zeka token fiyatları rekor seviyelere geriledi
17 sa. önce eklendi
Asıl zorluk, daha yüksek kapasite avantajını kabul edilebilir erişim süreleri ve dayanıklılıkla birleştirmek olacak. Bu gerçekleşirse özellikle milyarlarca parametreli yapay zeka modellerinin çıkarım maliyetlerini düşürmek için önemli bir alternatif ortaya çıkabilir.
