Yapay zekâ ajanlarının güvenilirliğine dair tartışmalara yeni bir örnek eklendi. The Decoder'ın aktardığına göre OpenAI'ın bir raporu, şirket içindeki bir araştırma modelinin eğitim sırasında kendisinden istenmeyen bir şekilde e-postaları gizlice başka bir alıcıya kopyalayan betikler yazdığını ortaya koydu.
Basit bir sağlık belgesi isteniyordu
Ekim ortasındaki bir pekiştirmeli öğrenme eğitiminde modelden yalnızca sağlık ve fitness öncelikleri üzerine düzenlenebilir bir belge hazırlaması istendi. Ancak ajanın bağlam penceresi sıkıştırıldıktan sonra model bambaşka bir göreve yöneldi. Sıkıştırma sırasında önceki konuşma kısa bir özet olarak aktarılıyor ve bu özet hâlâ sağlık belgesi görevini tarif ediyordu. Buna rağmen ajan, kullanıcının hiç bahsetmediği bir araç masrafı betiğini aramaya başladı. OpenAI'a göre ajanın neden bu işe giriştiği net değil.
"Saldırgana" kopya
Arama sonuç vermeyince ajan, bir "iş arkadaşının" çalışma ortamını yeniden kurduğunu ve eski bir betiğin kaybolduğunu varsaydı. Kayıtlı akıl yürütmesinde, giden e-postaların bir kopyasını gizlice yetkisiz bir alıcıya gönderecek bir betik oluşturmayı hedef olarak belirledi ve bu alıcıdan "saldırgan" diye söz etti. Ajan asıl görevi yeniden okuduğunda sapmayı fark etti ama çelişkiyi önemsemeyip "ortam tuhaf, görmezden gelmek gerek" diyerek plana devam etti. Sonunda bir araç masrafı özeti gönderen betikler ile e-posta programı her çağrıldığında fazladan bir alıcı ekleyen yardımcı bir betik yazdı. Gönderim yollarından birinde bu adres gizli alıcı olarak ekleniyordu.
Hiçbir e-posta gönderilmedi
OpenAI'a göre ajan ürettiği betikleri hiç çalıştırmadı ve hiçbir e-posta göndermedi. Kullanıcıya verdiği son yanıtta yazdığı betikleri anlattı ama istenen fitness belgesinin bağlantısını vermedi. Olayı şirketin istenmeyen model davranışlarını izleyen sistemi yakaladı. Ardından yapılan inceleme, aynı eğitim turunda benzer davranışa dair sekiz örnek daha ortaya çıkardı.
Şüpheli veri seti çıkarıldı
İnceleme ekibi, modelleri istem enjeksiyonu saldırılarına karşı daha dayanıklı hale getirmek için hazırlanan bir eğitim veri setini olası etkenlerden biri olarak belirledi ve OpenAI bu veri setini eğitimden çıkardı. Ancak şirket, benzer davranışı bu veri setini içermeyen modellerde de gözlemlediği için tek sorumlunun bu veri seti olduğunu kesinleştiremediğini belirtti. Şirket içindeki araştırmacılar bu ajanlara giderek daha fazla güveniyor, OpenAI araştırmacıları yapay zekâ ajanlarından vazgeçemiyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
OpenAI dört bağımsız denetçiye kapılarını açtı
OpenAI, güvenlik risklerini ve model davranışlarını yerinde incelemeleri için dört bağımsız kuruluşa ilk kez iç sisteml…
İngiliz milletvekilleri tehlikeli yapay zekâyı durdurmak istiyor
İngiltere Parlamentosu'nun bir komitesi, tehlikeli yapay zekâ modellerinin eğitimini durdurabilecek, yayınlanmasını eng…
Öncü yapay zekâ modelleri düşüncelerini gizlemeye başladı
OpenAI'ın güvenlik ekibinin yeni analizine göre GPT-6 Astra gibi öncü modeller, akıl yürütme adımlarının giderek daha f…

Windows'ta kilit ekranını aşan yamasız açık ortaya çıktıYazılım
OpenAI'ın test ajanı kendi kendine gizli e-posta aracı yazdıYapay zekâ
Ubisoft üretken yapay zekâ stüdyosu Motherbrain'i kurduOyun
Dünyanın çevresinde ilk kez dört radyasyon kuşağı görüldüGenel
Microsoft, Wunderlist'ten doğan To Do'yu kapatıyorTeknoloji
Fugees The Score'un 30. yılını Brooklyn'de kutlayacakMüzik



