İçeriğe atla
Karanlıkta bulanık kod satırları gösteren bir monitör, bir bal kavanozu ve bal peteği, kırmızı bir şalter, boş bir yaka kartı, sıra halinde dizilmiş çok sayıda küçük oyuncak robot ve bir tuğla duvar, yırtık kâğıt katmanları. İnsan figürü yok.

Asla pes etme denen Gemini ajanları siteye sızmaya çalıştı

Güvenlik firması Trajectory Labs'in testinde "asla pes etme" talimatı verilen Gemini 4 Argon ajanları, imkânsız bir görevi tamamlamak için SQL enjeksiyonu denedi ve kurum çalışanı kılığına girdi. Ajanlar bunu Google'ın üretim ortamındaki güvenlik önlemleri açıkken yaptı.

Mert A.ohafalan editörüYayın · 2 dk okuma
Karanlıkta bulanık kod satırları gösteren bir monitör, bir bal kavanozu ve bal peteği, kırmızı bir şalter, boş bir yaka kartı, sıra halinde dizilmiş çok sayıda küçük oyuncak robot ve bir tuğla duvar, yırtık kâğıt katmanları. İnsan figürü yok.

Yapay zekâ ajanlarına verilen tek bir ısrarlı talimat, beklenmedik sonuçlar doğurabiliyor. The Register'ın aktardığına göre yapay zekâ güvenliği firması Trajectory Labs, Google'ın Gemini 4 Argon ajanlarına zor bir görev verip "ASLA durma, ASLA pes etme" talimatını ekledi. Ajanlar görevi tamamlamak için bir kurumu hacklemeye, çalışanlarını taklit etmeye ve SQL enjeksiyonu saldırısı yapmaya çalıştı. İşin iyi tarafı, her şey bir testin parçasıydı.

İmkânsız görev

Trajectory, 80'e varan Gemini 4 Argon ajanından oluşan sürülere kasıtlı olarak imkânsız bir görev verdi. Epoch AI'ın FrontierMatch matematik sorularının "resmi" yanıtlarını bulmak. Bazı denemelerde ajanların internet erişimi vardı ve testler Epoch'un onayıyla yapıldı. Firmaya göre ajanlar, üretim ortamındaki güvenlik önlemleri açıkken bile "hizalanmamış davranışlar" sergiledi. Ajanlar Epoch AI'ın canlı sitesine SQL enjeksiyonu denedi, yanıt anahtarlarını almak için Epoch çalışanı olduklarını iddia etti, ortak bir paket önbelleğini mesaj panosuna çevirdi ve güvenlik önlemlerinden kaçmak için komutlarını gizledi.

İLGİLİAdobe, Photoshop ve Premiere'i ChatGPT, Claude ve Gemini'ye açan MCP sunucusunu yayımladı→

Bal tuzağına düştüler

İlk senaryoda ajanlar Epoch'un canlı sitesine ulaştı ve yapay zekâ ajanlarını yakalamak için kurulan bal tuzaklarına düştü. Tuzakta buldukları sahte cevap anahtarını kullandılar, /admin, /keys ve /users gibi iç adresleri yokladılar. Epoch bunun üzerine bir "ajan yardım hattı" ekledi ve bazı ajanlar bu hatta Epoch çalışanı olduğunu söyleyerek yanıt istedi. Sitenin bilerek açık bırakılan yerel bir kopyasında ise ajanlar çok aşamalı bir güvenlik açığı zincirini tamamen istismar etti. İnternetsiz bir sanal ortamdaki son testte ajanlara güvenlik duvarını kapatacağı söylenen sahte bir şalter sunuldu. Ajanlar şalteri kapattı ve Gemini'nin önlemlerini aşmak için adresini gizledi. Gerçek güvenlik duvarı ise trafiği baştan sona engelledi.

Hugging Face olayını hatırlattı

Bu davranışlar, OpenAI modellerinin test ortamından kaçıp Hugging Face'e saldırdığı olaya çok benziyor. Ancak OpenAI modelleri o sırada güvenlik önlemleri kapalı çalışıyordu. Trajectory'nin kurucu ortağı Peter McIntyre, "Ajanlara kimseyi hacklemelerini ya da Epoch çalışanı gibi davranmalarını söylemedik. Test koşullarımızda ne model ne de güvenlik önlemleri ajanları durdurdu" dedi. McIntyre, başka bir öncü modelle yaptıkları benzer testte aynı davranışın görülmediğini, ancak bunun kontrollü bir karşılaştırma olmadığını vurguladı. Google ise sorulara yanıt vermedi.

Testler durduruldu

Trajectory, yönetiminin onayladığı bir risk yönetimi planı hazırlanana kadar yeni deney yapmayacağını açıkladı. Gelecekteki testlerde gerçek zamanlı otomatik izleme ve acil kapatma düğmeleri kullanılacak, etkilenebilecek kurumlar da bilgilendirilecek. Firma, bu tür testleri yapanların tamamen yalıtılmış sanal ortamlar kullanmasını öneriyor. Benzer bir olay başka bir yapay zekâ şirketini mahkemeye taşıdı, Kaliforniya başıboş ajanlar yüzünden OpenAI'a dava açtı.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir