İşlemcilerde olduğu gibi GPU’lar da VRAM’le aralarında önbellekten faydalanıyor. AMD ve Nvidia’da farklı boyutlarda bulunan önbelleklerin tasarımı da bir o kadar önemli.
Öyle ki artan çeşitli uygulamalardaki artan gereksinimler dolayısıyla performansın olumsuz etkilenmemesi için firmalar önbellek tasarımlarını bir yandan geliştirirken diğer taraftan daha geniş önbellekler konumlandırıyor. Örneğin Nvidia’nın A100 GPU’sunda L2 seviyesinde 40 MB önbellek bulunuyor ki bu rakam V100’dekinin 7 katı.
Son yapılan testin konukları RDNA 2 ve Ampere mimarileri olmuş. GPU’ların önbelleklerine erişirken yaşadığı gecikmeyi ölçen ekip dikkat çeken sonuçlar ortaya koymuş.
OpenCL tabanlı basit işaretçi takibi testini kullanan test ekibinin gözlemlerine göre Nvidia’nın Ampere GPU’sunda L1’den L2’ye düşen verilere erişimde fazladan 116 ns’lik gecikme ekleniyor.
GA102’nin devasa yapısının L2 önbelleği için büyük bir sorun olduğu düşünülürken AMD kanadında bu rakam 66 ns olarak ölçülmüş.
Nvidia’nın Ampere’de 2 aşamalı önbelleğe yer vermesi nedeniyle 4 MB’ın aşılması neticesinde VRAM’lere düşülmüş ki burada 268 ns’lik gecikmeye ulaşılmış.
Diğer tarafta AMD’nin son aşaması Infinity Cache (L2) olarak bilinen 3 aşamalı önbellek yapısı L1’de daha düşük gecikme sunmasının yanı sıra L2’ye geçildiğinde de başlangıçta yalnızca 20 ns gecikmeye neden olmuş.
Ayrıca Ampere’nin gerekli verileri VRAM’de aradığı dönemde RDNA 2 mimarili GPU’nun Infinity Cache içerisindeki verilere düşük gecikmeyle erişmeye devam etmesi dikkat çekiyor. Her iki yonganın VRAM’lere erişirken beklediği süre ise eşit olarak ölçülmüş.
Yüksek önbelleğin AMD’nin düşük çözünürlüklerdeki başarısında katkısı olduğu söylenebilir. Diğer taraftan önceki nesillere bakıldığında AMD’nin geldiği yol ortaya çıkıyor.
Nvidia tarafında ise Maxwell ve Pascal çoğunlukla benzer olmasına karşın teste tabi tutulan 980 Ti’ın GPU boyutları nedeniyle geriye düştüğü düşünülüyor. Turing-Ampere kıyaslamasında ise benzer sonuçlar alınmış.
Kaynakça https://www.techpowerup.com/281178/gpu-memory-latency-tested-on-amds-rdna-2-and-nvidias-ampere-architecture https://chipsandcheese.com/2021/04/16/measuring-gpu-memory-latency/