Büyük dil modellerinin içindeki birkaç uyuyan nöron, yapay zekâ ajanlarını tehlikeli bir silaha dönüştürmeye yetebiliyor. The Next Web'in aktardığına göre Microsoft araştırmacıları, modellerde nadiren etkinleşen 10'dan az nöronu gizli bir arka kapıya dönüştürmenin yolunu buldu. Bu şekilde değiştirilen bir model, belirli bir tetikleyiciyle karşılaşana kadar beklendiği gibi davranıyor, tetiklendiğinde ise zararlı komutlar çalıştırabiliyor.
Lazarus adı verilen teknik, Microsoft Research'te baş araştırmacı olarak çalışan Dimitris Papailiopoulos'un yazısında anlatıldı. Teknik, modelin yeniden eğitilmesini gerektirmiyor.
50 örnek yetiyor
Araştırmacılar, ön eğitimin modelin içinde öyle düzenli bir temsil oluşturduğunu fark etti ki yaklaşık 50 örnekle eğitilen basit bir sınıflandırıcı, tetikleyici içeren girdileri sıradan girdilerden ayırabiliyor. Ardından uyuyan bir nöron, bu tetikleyiciyi tanıyacak şekilde yeniden programlanabiliyor.
Tetikleyici geldiğinde nöron, modelin çıktısına seçilen bir sözcük parçasını zorla ekliyor. Saldırgan, birkaç değiştirilmiş nöronu birbirine bağlayarak terminalde çalışacak daha uzun komut dizileri ürettirebiliyor.
Tetikleyici tamamen sıradan bir şey olabiliyor. Araştırmacıların gösteriminde bir yapay zekâ ajanı, tarih 2027'ye dönene kadar bekliyor ve ardından saldırganın sağladığı kodu indirip çalıştırıyor.
Güvenlik testlerinden geçebiliyor
Saldırının en endişe verici yanı, ne kadar az erişim gerektirdiği. Değiştirilen model standart güvenlik değerlendirmelerinden yine de geçebiliyor. Teknik için yalnızca modeli çalıştırmaya yetecek kadar hesaplama gücü ve modelin ağırlıklarını içeren dosyaya yazma erişimi gerekiyor.
Şirketlerin kendi içinde geliştirdiği modeller de herkese açık ağırlıklı modeller kadar savunmasız. Bir hesabı, geliştirme hattını ya da depolama alanını ele geçiren bir saldırgan bu değişiklikleri yapabilir. Sonuçlar, araçlara ya da terminale erişimi olan yapay zekâ ajanları için özellikle ciddi. Etkinleşen bir arka kapı, ajana zaten verilmiş izinleri kullanarak zararlı kod çalıştırabilir, kimlik bilgilerini çalabilir ya da yıkıcı komutlar yürütebilir.
Tekniği Claude Code kendi başına keşfetti
Saldırıyı tespit etmek mümkün, ancak bunun için modelin değiştirilmemiş bir sürümüyle karşılaştırma yapmak gerekiyor. Microsoft, gelişmiş yapay zekâ ajanlarının özel olarak istendiğinde model ağırlıklarındaki şüpheli değişiklikleri bulabildiğini, ancak güvenilir tespitin değiştirilmiş ağırlıkları orijinaliyle karşılaştırmayı gerektirdiğini belirtti. Araştırmacılar, Anthropic'in Opus 4.5 modeliyle çalışan Claude Code'un araştırma sırasında tekniğin büyük bölümünü kendi başına keşfettiğini de kaydetti.
Microsoft, kendi Foundry platformu için modellerin kaynağını denetleme, taranmış konteynerler ve güvenilir yayıncı şartı gibi önlemler geliştiriyor. Şirket ayrıca yapay zekâ destekli ağırlık taraması, model düzeyindeki kurcalamayı bulmaya yönelik saldırı testi araçları ve bir modelin bütünlüğünü doğrulayabilecek kriptografik imzalar üzerinde çalışıyor.
Araştırmacılar, yapay zekâ modeli kullanan kurumlara modellerin nereden geldiğini kontrol etmelerini, ağırlıklarını beyan edilen orijinal sürümlerle karşılaştırmalarını, ajanların erişebileceği alanları kısıtlamalarını ve hassas işlemleri gerçekleşmeden önce gözden geçirmelerini öneriyor. Şimdiye kadar yazılım güvenliği büyük ölçüde çalıştırılan kod ve dosyaların doğrulanmasına odaklanıyordu. Lazarus ise model ağırlıklarının da gizli talimatlar barındırabileceğini, bu yüzden kaynaklarının ve bütünlüklerinin de aynı titizlikle doğrulanması gerektiğini gösteriyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Windows Server 2028 varsayılan olarak kilitli geliyor
Microsoft, herkese açık önizlemeye sunduğu Windows Server 2028'de yüzlerce güvenlik ayarını ilk açılıştan itibaren etki…
PowerShell 7 artık Windows'la birlikte gelecek
Microsoft, açık kaynaklı ve platformlar arası PowerShell 7'nin bir sonraki Windows sürümüyle birlikte kurulu geleceğini…
Microsoft'un yapay zekâ ajan paketine parola hırsızı gizlendi
Microsoft'un yapay zekâ ajanları geliştirmek için sunduğu agent-framework paketinin PyPI'da yayımlanan iki sürümüne kim…

MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji
Wolf Alice ve Disclosure Boardmasters 2027'nin manşetindeMüzik



