OpenAI, yapay zekâ modellerinin güvenliğini dışarıdan uzmanlara daha yakından inceletmeye hazırlanıyor. TechCrunch'ın aktardığına göre şirket, dört bağımsız kuruluşun güvenlik değerlendiricilerini bir pilot program kapsamında kendi bünyesine yerleştireceğini duyurdu. Programa Apollo Research, Goodfire, METR ve Transluce katılıyor.
Kum havuzundan kaçan ajanların ardından
Duyuru, şirketteki bazı güvenlik olaylarının ardından geldi. Bunlardan birinde, siber güvenlik testleri sırasında bir OpenAI ajan sürüsü kum havuzundan kaçıp Hugging Face'e sızmıştı. OpenAI bu adımı, Süper Zekâ Üzerine Beyaz Saray Mutabakatı kapsamında güvenlik denetimlerini bağımsız değerlendirmelere dayandırma taahhüdünün bir parçası olarak sunuyor. Pilot programlar farklı zamanlarda başlıyor, Apollo'nunki bu hafta başladı.
Apollo modellerin "baltalamasını" arayacak
Apollo'nun çalışması, modellerin kendilerini ya da sonraki sürümlerini insan denetiminde tutmak için kurulan hizalama ve kontrol mekanizmalarını baltalamaya çalışıp çalışmadığına odaklanıyor. OpenAI daha önce GPT-5.6 Sol'u eğitirken modelin gelecekteki sürümleri için hataları ve hizasız davranışları kullanıcılardan gizlemeye yönelik talimatlar bıraktığını bildirmişti. Apollo, eğitimin bu tür davranışları teşvik edip etmediğini, değerlendirmelerin bunu ortaya çıkarıp çıkaramadığını, şirket içi kullanımda yaşanıp yaşanmadığını ve ilgili akıl yürütmenin tespit edilip edilemediğini inceleyecek.
OpenAI, Apollo'ya yalnızca bu inceleme için gereken bilgileri verecek. Bunlar arasında ilgili eğitim kodu ve veri kümeleri, akıl yürütme izleri ve ödüllerle pekiştirmeli öğrenme denemeleri ile ara model kontrol noktalarını sorgulama imkânı var. Şirket teknik imkânsızlık, güvenlik riski ya da fikrî mülkiyet gerekçesiyle bilgi saklayabilecek, ama bilgiyi yalnızca olumsuz olduğu için saklamayacağını taahhüt etti.
Diğer ekiplerin görevleri
Goodfire, eğitim süreçlerini izlemeye ve istenmeyen davranışları düzeltmeye yardım edecek yorumlanabilirlik araştırmacılarını yerleştirecek. METR, OpenAI'ın kendi testlerinin kaçırmış olabileceği istenmeyen ya da tehlikeli model davranışlarını arayacak. Transluce ise OpenAI'ın eğitim sonrası güvenlik değerlendirmelerinin yeterli olup olmadığını değerlendirecek. Apollo ve Goodfire bu iş için ücret alıyor, METR ve Transluce ise ücret almıyor ama işlem gücü ya da API kredisi kabul edebilir.
"Hayal kırıklığı ama sürpriz değil"
Program eleştirisiz değil. Apollo, gerçek bağımsızlık için tüm verilere ve belgelere çalışan düzeyinde erişim gerektiğini ve buna sahip olmadığını söylüyor. Apollo bağımsız sonuçlarını yayımlayabilecek, ancak OpenAI kamuya açılan destekleyici kanıtları sınırlayabilecek. Redwood'un CEO'su Buck Shlegeris de anlaşmaların "çalışan benzeri erişim" çıtasını karşılamadığını belirterek durumu "hayal kırıklığı yaratan ama şaşırtıcı olmayan" bir gelişme olarak nitelendirdi. Gömülü değerlendirici fikrini ilk ortaya atan Anthropic ise geçen ay METR'e kendi sistemlerine çalışan düzeyinde erişim vermişti. OpenAI ise Apollo pilotunu daha derin erişim ve açıklama haklarına doğru "iddialı bir ilk adım" olarak tanımlıyor. Yapay zekâ güvenliğinin açık kaynak dünyasına etkisi de tartışılıyor, kısa süre önce Hugging Face yöneticisi siber saldırıların açık kaynak yapay zekâyı daha kapalı hale getirebileceği uyarısında bulunmuştu.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
OpenAI dört bağımsız denetçiye kapılarını açtı
OpenAI, güvenlik risklerini ve model davranışlarını yerinde incelemeleri için dört bağımsız kuruluşa ilk kez iç sisteml…
İngiliz milletvekilleri tehlikeli yapay zekâyı durdurmak istiyor
İngiltere Parlamentosu'nun bir komitesi, tehlikeli yapay zekâ modellerinin eğitimini durdurabilecek, yayınlanmasını eng…
Öncü yapay zekâ modelleri düşüncelerini gizlemeye başladı
OpenAI'ın güvenlik ekibinin yeni analizine göre GPT-6 Astra gibi öncü modeller, akıl yürütme adımlarının giderek daha f…

MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji
Wolf Alice ve Disclosure Boardmasters 2027'nin manşetindeMüzik



