Anthropic, Claude’un hafızasını boşta kalınca düzenleyen 'rüya' yöntemini denedi

Yöntem, insan beyninin uyku sırasında anıları pekiştirmesinden esinleniyor. Claude bu süreçte yanlış bilgileri tespit edebiliyor, mevcut notlarını iyileştirebiliyor ve sonraki oturumların erişebileceği yapılandırılmış bir bilgi birikimi oluşturabiliyor. Anthropic’in deneyleri, seçici hafızanın ve düzenli bakımın uzun soluklu, karmaşık görevlerde performansı artırabileceğini öne sürüyor.

Az dosya, daha çok rozet

Claude görev yaparken işe yarar bilgileri hafıza dosyalarına kaydedebiliyor. Her şeyi kaydetmek karmaşa yaratırken önemli ayrıntıları atlamak sonraki oturumları bağlamdan yoksun bırakıyor. Anthropic bu sorunu, modelin oyun dünyasında ilerleyip rozet kazanması gereken Pokémon Red üzerinde yaklaşık 10.000 oyun adımından sonra 2 modeli karşılaştırarak test etti.

Sonnet 3.7 karşılaştığı neredeyse her şeyi kaydetti ve 225 klasöre yayılmış 413 dosyada yaklaşık 978.000 karakter biriktirdi, ama yalnızca 1 rozet kazandı. Claude Fable 5 ise 3 konumda 10 dosya ve yaklaşık 43.400 karakterle 4 rozete ulaştı. Bu küçük hafıza, oyun içinde öğrenilen dersleri ve yön bulma stratejilerini öne çıkarıyor, güncel hedefleri ve planlanan adımları da merkezi bir dosyada tutuyordu.

Sonnet 3.7 neredeyse 978.000 karakterlik kayıtla 1 rozet kazanırken Claude Fable 5 yaklaşık 43.400 karakterle 4 rozete ulaştı.

Yanlış not, tekrarlanan çıkmaz

Hafıza dosyalarındaki hatalı bilgiler, sonraki oturumlarda kesin gerçek gibi kabul edilince sorun çıkarabiliyor. Bir deneyde Claude, Mt. Moon yakınındaki Pokémon Center’ın yerini yanlış kaydetti ve binadan çıktıktan sonra konumunu karıştırarak tek yönlü bir çıkıntıdan defalarca inip önceki yola döndü. Çevrim dışı bir gözden geçirmede notlarını oturumun orijinal kaydıyla karşılaştıran Claude hatayı buldu, düzeltilmiş bilgiyle Mt. Moon’a yeniden girip sonunda Cerulean City’ye ulaştı.

Anthropic ayrıca büyük belge yığınlarını, sayfaları birbirine bağlı wiki benzeri bilgi tabanlarına dönüştürmeyi denedi. Yazılım şirketi Stainless’a ait yaklaşık 350.000 iç belge ve 420 milyon token (modelin metni işlerken kullandığı küçük birimler) üzerinde 128 oturumda wiki geliştiren Claude’un 25 değerlendirme sorusundaki başarısı yüzde 13’ten yüzde 48’e çıktı. Birleşme belgeleriyle yapılan başka bir deneyde birden fazla belgeden bilgi gerektiren sorularda wiki ile yüzde 87, yalnızca doğrudan belge aramasıyla yüzde 73 doğruluk elde edildi.

Şirket yöntemin dikkatli yönetim gerektirdiğini kabul ediyor. Hafıza bakımı işlem kaynağı tüketiyor, fazla bilgi de sonraki oturumları boğabiliyor. Araştırmacılara göre ajanların bilgiyi ne zaman saklayıp ne zaman yeniden ele alacağını öğrenmesi gerekiyor.