NVIDIA, 6 Kasım 2026 tarihli Technical Blog yazısında, pekiştirmeli öğrenmede (RL) eğitim ile çıkarım arasındaki ağırlık aktarımını (refit) hızlandıran “Reshard” kolektifini anlattı ve kendi ölçümlerinde gather-and-broadcast yöntemine göre 2,7x ile 5,7x arası hızlanma bildirdi; bu sayfa yalnızca o yazıdaki rakamları aktarır, bağımsız doğrulama içermez.
Künye
| Yayıncı | NVIDIA Technical Blog |
|---|---|
| Yazı başlığı | Accelerating Reinforcement Learning Weight Refit with the Reshard Collective |
| Tarih | 6 Kasım 2026 |
| Yazarlar | Youngeun Kwon, Kaushik Kandadi Suresh, Sreeram Potluri, Terry Kong, Sangkug Lym |
| Bildirilen hızlanma | 2,7x – 5,7x (NVIDIA ölçümleri) |
| Açık kaynak | NVIDIA/nccl-extensions (nccl_m2n dizini), NVIDIA-NeMo/RL |
Sorun: Her Adımda Yaklaşık 10 TB
Pekiştirmeli öğrenmede model, eğitim tarafında güncellenir ve güncel ağırlıkların çıkarım (üretim) tarafına aktarılması gerekir; yazı bu işleme “refit” diyor. Yazıya göre güncel en büyük açık ağırlıklı modeller için refit yükü her eğitim adımında yaklaşık 10 TB düzeyindedir.
Yazıda iki örnek var: Kimi K3, 2,8 trilyon parametreyle BF16’da yaklaşık 5,6 TB ağırlık taşıyor ve iki aşamalı (all-gather ve broadcast) yöntemle tahmini yük yaklaşık 11,2 TB oluyor. Qwen 3.8 2.4T A95B ise 2,4 trilyon parametreyle yaklaşık 4,8 TB ağırlık ve yaklaşık 9,6 TB yük. Boyutlar, parametre başına 2 bayt varsayımına dayanıyor. Yazı bu iki model adını yalnızca büyüklük örneği olarak kullanıyor.
Reshard Ne Yapıyor?
Reshard, eğitim düzenindeki parçaların çıkarım düzenine doğrudan yeniden dağıtılmasını sağlayan bir NCCL kolektifi olarak sunuluyor; referans uygulama NCCL M2N Reshard adıyla NVIDIA/nccl-extensions deposunda (nccl_m2n dizini), NeMo RL tarafındaki uygulama ise NVIDIA-NeMo/RL deposunda (ilgili çekme isteği 2971) yer alıyor.
Tasarım hibrit: parametrelerin yaklaşık %95’ini oluşturan feed-forward projeksiyon ağırlıkları Reshard yolunu izliyor; QKV projeksiyonu ve Mamba ağırlıkları gibi küçük ağırlıklar geleneksel gather-and-broadcast yolunda kalıyor. Yazı bunun işlevsel kapsamı koruduğunu söylüyor.
Etkinleştirmek için iki yapılandırma anahtarı veriliyor: policy.generation.colocated.enabled değeri false, policy.generation.refit_transport değeri nccl_reshard.
Bildirilen Ölçümler
NeMo RL ölçümleri tablosunda DGX H100 üzerinde Qwen 3 235B için gather-and-broadcast 6,4 saniye, Reshard 1,9 saniye; DeepSeek v3 671B için 14,9 saniyeye karşı 2,6 saniye. DGX GB200 üzerinde DeepSeek v3 671B için 6,1 saniyeye karşı 2,3 saniye; Nemotron Ultra v3 için 8,2 saniyeye karşı 2,3 saniye. Yalnızca refit mikro ölçümünde Qwen3.8 2.4T BF16 için Reshard süresi 4,3 saniye.
Hata toleransı konusunda yazı şunu söylüyor: küme üyeliği değiştiğinde iletişim grubu yeniden oluşturuluyor; NCCL shrink/grow desteği gelecek güncellemeler için planlanmış, yani bugün mevcut değil.
NVIDIA’nın aynı haftadaki diğer çalışmaları için NVIDIA bellek duvarı ve tam yığın ortak tasarım sayfamıza bakabilirsiniz.
Bu Sayfada Ne Yok?
- Bağımsız doğrulama: yok; tüm rakamlar NVIDIA’nın kendi ölçümleridir.
- Lisans metni ve sürüm numarası: yazıdan okunan bölümde belirtilmemiş.
- Genel kullanılabilirlik takvimi: yok.
- A100 ve diğer GPU nesillerinde sonuç: yok; yalnızca H100 ve GB200 verilmiş.
- Türkiye’deki kullanıcılar için özel erişim bilgisi: yok.
- Fiyat bilgisi: yok.
- Model adlarına (Kimi K3, Qwen 3.8) dair başka iddia: yazılmadı; yalnızca boyut örneği olarak anıldılar.
Sık Sorulan Sorular
Refit nedir?
Pekiştirmeli öğrenmede eğitim tarafında güncellenen ağırlıkların çıkarım tarafına aktarılması işlemidir; yazı bu terimi kullanıyor.
Reshard ne kadar hızlandırıyor?
NVIDIA’nın kendi ölçümlerinde gather-and-broadcast yöntemine göre 2,7x ile 5,7x arasında.
Açık kaynak mı?
Referans uygulama NVIDIA/nccl-extensions deposunda, NeMo RL entegrasyonu NVIDIA-NeMo/RL deposunda yer alıyor; lisans bu okumada doğrulanmadı.
Hangi donanımda ölçüldü?
DGX H100 ve DGX GB200 sistemlerinde.
Hata toleransı var mı?
Üyelik değiştiğinde iletişim grubu yeniden kuruluyor; NCCL shrink/grow desteği yazıda gelecek güncellemeler için planlı olarak geçiyor.
Bu sonuçlar herkes için geçerli mi?
Bilinmiyor; yazıdaki rakamlar belirli düzenlerde (ör. TP4 x PP8 x EP16 ve TP8 x DP16) yapılan ölçümlerdir.
Kaynak ve kapsam: Bilgiler NVIDIA Technical Blog’un 6 Kasım 2026 tarihli yazısından okunmuştur: developer.nvidia.com. Lisans, fiyat ve bağımsız ölçümler kaynakta bulunmadığından yazılmamıştır. Veri tarihi: 9 Kasım 2026.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yapın.