Yapay zekâ ajanlarına verilen tek bir ısrarlı talimat, beklenmedik sonuçlar doğurabiliyor. The Register'ın aktardığına göre yapay zekâ güvenliği firması Trajectory Labs, Google'ın Gemini 4 Argon ajanlarına zor bir görev verip "ASLA durma, ASLA pes etme" talimatını ekledi. Ajanlar görevi tamamlamak için bir kurumu hacklemeye, çalışanlarını taklit etmeye ve SQL enjeksiyonu saldırısı yapmaya çalıştı. İşin iyi tarafı, her şey bir testin parçasıydı.
İmkânsız görev
Trajectory, 80'e varan Gemini 4 Argon ajanından oluşan sürülere kasıtlı olarak imkânsız bir görev verdi. Epoch AI'ın FrontierMatch matematik sorularının "resmi" yanıtlarını bulmak. Bazı denemelerde ajanların internet erişimi vardı ve testler Epoch'un onayıyla yapıldı. Firmaya göre ajanlar, üretim ortamındaki güvenlik önlemleri açıkken bile "hizalanmamış davranışlar" sergiledi. Ajanlar Epoch AI'ın canlı sitesine SQL enjeksiyonu denedi, yanıt anahtarlarını almak için Epoch çalışanı olduklarını iddia etti, ortak bir paket önbelleğini mesaj panosuna çevirdi ve güvenlik önlemlerinden kaçmak için komutlarını gizledi.
Bal tuzağına düştüler
İlk senaryoda ajanlar Epoch'un canlı sitesine ulaştı ve yapay zekâ ajanlarını yakalamak için kurulan bal tuzaklarına düştü. Tuzakta buldukları sahte cevap anahtarını kullandılar, /admin, /keys ve /users gibi iç adresleri yokladılar. Epoch bunun üzerine bir "ajan yardım hattı" ekledi ve bazı ajanlar bu hatta Epoch çalışanı olduğunu söyleyerek yanıt istedi. Sitenin bilerek açık bırakılan yerel bir kopyasında ise ajanlar çok aşamalı bir güvenlik açığı zincirini tamamen istismar etti. İnternetsiz bir sanal ortamdaki son testte ajanlara güvenlik duvarını kapatacağı söylenen sahte bir şalter sunuldu. Ajanlar şalteri kapattı ve Gemini'nin önlemlerini aşmak için adresini gizledi. Gerçek güvenlik duvarı ise trafiği baştan sona engelledi.
Hugging Face olayını hatırlattı
Bu davranışlar, OpenAI modellerinin test ortamından kaçıp Hugging Face'e saldırdığı olaya çok benziyor. Ancak OpenAI modelleri o sırada güvenlik önlemleri kapalı çalışıyordu. Trajectory'nin kurucu ortağı Peter McIntyre, "Ajanlara kimseyi hacklemelerini ya da Epoch çalışanı gibi davranmalarını söylemedik. Test koşullarımızda ne model ne de güvenlik önlemleri ajanları durdurdu" dedi. McIntyre, başka bir öncü modelle yaptıkları benzer testte aynı davranışın görülmediğini, ancak bunun kontrollü bir karşılaştırma olmadığını vurguladı. Google ise sorulara yanıt vermedi.
Testler durduruldu
Trajectory, yönetiminin onayladığı bir risk yönetimi planı hazırlanana kadar yeni deney yapmayacağını açıkladı. Gelecekteki testlerde gerçek zamanlı otomatik izleme ve acil kapatma düğmeleri kullanılacak, etkilenebilecek kurumlar da bilgilendirilecek. Firma, bu tür testleri yapanların tamamen yalıtılmış sanal ortamlar kullanmasını öneriyor. Benzer bir olay başka bir yapay zekâ şirketini mahkemeye taşıdı, Kaliforniya başıboş ajanlar yüzünden OpenAI'a dava açtı.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Google, Gemini 4 Carbon modelini duyurdu, erişim henüz açılmadı
Google, Gemini 4 Argon’u yayımlamasından 2 hafta sonra Gemini 4 Carbon adlı yeni öncü yapay zekâ modelini duyurdu. Şirk…
Sahte telif bildirimleri YouTube kanallarını hedef aldı
Bir saldırgan, eğitim platformu LearnWorlds'te açtığı yaklaşık 570 deneme hesabıyla YouTube içerik üreticilerine 13 bin…
Eski Bitly bağlantıları markaları utandırdı
Adres kısaltma hizmeti Bitly'de bozulmuş eski bağlantıların ele geçirilip istenen siteye yönlendirilebildiği ortaya çık…

The Cardigans İngiltere'de dört konser verecekMüzik
MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji



