Ai2 StateBench: Dil Modelleri Uzun Belgelerde Durum Değişikliğini Nasıl Takip Ediyor?

Ai2, 3 Kasım 2026’da yayımladığı StateBench ile dil modellerinin uzun belgelerde değişken atamaları takip etme becerisini dört zorluk düzeyinde ölçtü; yazarlara göre en zor düzeyde ve en uzun girdilerde sınır modellerin doğruluğu yüzde 13 veya altına düştü.

Künye

StateBench Ne Ölçüyor?

Ai2’nin tanımına göre StateBench, bir belge boyunca değişen durumu izleme becerisini sınıyor. Basit bir örnek: bir metinde bir değişkene önce bir değer atanıyor, sonra yeniden atanıyor ya da başka bir değişkenle takas ediliyor; modelden belgenin sonunda değişkenin değerini bulması isteniyor. Benchmark, bu görevi dört zorluk düzeyine ayırıyor. En kolay düzey değişmez atamaları, sonraki düzeyler yeniden atamayı ve x = x + 5 türü işlemleri içeriyor; en zor düzey ise referansla atama ve takas gerektiriyor. Yazı, düzeyleri Krohn-Rhodes teorisine bağlıyor.

Sonuçlar

Yazarlara göre önceden eğitilmiş açık modeller en kolay düzeyde iyi sonuç verdi, ikinci düzeyde girdi uzadıkça düştü ve en zor düzeyde şans düzeyinde kaldı. Gemini 3.8 Flash, Claude Opus 5.5 ile GPT-6 Sol ve Luna gibi sınır modeller ilk iki düzeyde iyiydi; üçüncü ve dördüncü düzeyde keskin bir düşüş yaşandı ve en uzun girdilerde en zor düzeyin doğruluğu yüzde 13 veya altında kaldı.

Sıfırdan eğitilen 275 milyon parametreli modellerle yapılan deneyde, 256 atamaya kadar eğitilen ve 64.000 atamaya kadar test edilen Gated DeltaNet ve hibrit mimariler ilk üç düzeyde on binlerce atamaya kadar neredeyse mükemmel sonuç verdi; Transformer modeller uzun dizilerde bozuldu ve en zor düzeyi hiç öğrenemedi.

Sınırlar ve Doğru Okuma

Yazarlar sabit değişken sayısı varsaydıklarını, yeni varlıkların ortaya çıktığı sohbet benzeri durumların kapsam dışı olduğunu belirtiyor. Sonuçlar yapılan deneylerle sınırlı: “Transformer modeller durum izleyemez” veya “sınır modeller uzun girdide bu görevleri çözemez” biçiminde genel bir iddia yazıda yok. Farkın mimariye mi eğitim düzenine mi bağlı olduğu da yazıda kesin biçimde ayrıştırılmıyor.

Dil modellerinin değerlendirilmesine dair bir başka sayfa için NVIDIA Nemotron 3.5 Super VL sayfamıza bakabilirsiniz.

Bu Sayfada Ne Yok?

• Yazar adları ve lisans bilgisi: okunan blog yazısı özetinde yok.
• Tam sonuç tabloları: bu sayfada yalnızca yazıdaki genel sonuçlar aktarıldı.
• Hesaplama maliyeti: yazıda yok.
• Genel “modeller durum izleyemez” hükmü: yazarlar böyle bir iddiada bulunmuyor.
• Rapor, veri seti ve kod içeriği: bağlantıları blogda var, ancak bu sayfada içerikleri okunmadı.
• Türkiye’ye dair bilgi: yok.
• Modellerin ticari karşılaştırması veya sıralaması: bu sayfada yapılmadı.

Sık Sorulan Sorular

StateBench nedir?

Ai2’nin dil modellerinin uzun belgelerde durum değişikliklerini takip etme becerisini ölçen benchmark’ıdır.

Kaç zorluk düzeyi var?

Dört: R-trivial, aperiodic, soluble ve general finite.

Sınır modeller ne kadar başarılı oldu?

İlk iki düzeyde iyi; üçüncü ve dördüncü düzeyde keskin düşüş. En uzun girdilerde en zor düzey yüzde 13 veya altında kaldı.

Transformer modeller durum izleyemez mi?

Yazarlar böyle genel bir iddia kurmuyor; sıfırdan eğitilen küçük Transformer modeller yapılan deneylerde en zor düzeyi öğrenemedi.

Hangi mimariler iyi sonuç verdi?

Gated DeltaNet ve hibrit mimariler, deneydeki küçük modellerde ilk üç düzeyde çok iyi sonuç verdi.

Veri seti ve kod açık mı?

Blog yazısı rapor, veri seti ve kod için bağlantı veriyor.

Kaynak ve kapsam: Bilgiler Ai2’nin 3 Kasım 2026 tarihli “StateBench” blog yazısından okunmuştur. Yazar adları, lisans, tam sonuç tabloları, hesaplama maliyeti ve Türkiye verisi yazıda bulunmadığından yazılmamıştır; sonuçlar yazarların kendi bildirimidir. Veri tarihi: 5 Kasım 2026.