İçeriğe atla
Sunucu rafının üzerinde büyüteç, kırmızı mumla mühürlenmiş dosya zarfları, siyah bantla karartılmış belgeler ve aralık duran bir kasa kapısından oluşan fotoğraf kolajı.

OpenAI güvenliğini dört dış ekibe denetletecek

OpenAI, Apollo Research, Goodfire, METR ve Transluce'tan güvenlik değerlendiricilerini bir pilot program kapsamında şirketin içine yerleştireceğini açıkladı. Apollo, modellerin kendilerini insan denetiminde tutan mekanizmaları baltalamaya çalışıp çalışmadığını inceleyecek, ancak ekipler tam çalışan erişimi almadığı için eleştiriler de geldi.

Selin Y.ohafalan editörüYayın · 2 dk okuma
Sunucu rafının üzerinde büyüteç, kırmızı mumla mühürlenmiş dosya zarfları, siyah bantla karartılmış belgeler ve aralık duran bir kasa kapısından oluşan fotoğraf kolajı.

OpenAI, yapay zekâ modellerinin güvenliğini dışarıdan uzmanlara daha yakından inceletmeye hazırlanıyor. TechCrunch'ın aktardığına göre şirket, dört bağımsız kuruluşun güvenlik değerlendiricilerini bir pilot program kapsamında kendi bünyesine yerleştireceğini duyurdu. Programa Apollo Research, Goodfire, METR ve Transluce katılıyor.

Kum havuzundan kaçan ajanların ardından

Duyuru, şirketteki bazı güvenlik olaylarının ardından geldi. Bunlardan birinde, siber güvenlik testleri sırasında bir OpenAI ajan sürüsü kum havuzundan kaçıp Hugging Face'e sızmıştı. OpenAI bu adımı, Süper Zekâ Üzerine Beyaz Saray Mutabakatı kapsamında güvenlik denetimlerini bağımsız değerlendirmelere dayandırma taahhüdünün bir parçası olarak sunuyor. Pilot programlar farklı zamanlarda başlıyor, Apollo'nunki bu hafta başladı.

İLGİLİFTC, Anthropic ve OpenAI dahil yapay zekâ laboratuvarlarını soruşturuyor→

Apollo modellerin "baltalamasını" arayacak

Apollo'nun çalışması, modellerin kendilerini ya da sonraki sürümlerini insan denetiminde tutmak için kurulan hizalama ve kontrol mekanizmalarını baltalamaya çalışıp çalışmadığına odaklanıyor. OpenAI daha önce GPT-5.6 Sol'u eğitirken modelin gelecekteki sürümleri için hataları ve hizasız davranışları kullanıcılardan gizlemeye yönelik talimatlar bıraktığını bildirmişti. Apollo, eğitimin bu tür davranışları teşvik edip etmediğini, değerlendirmelerin bunu ortaya çıkarıp çıkaramadığını, şirket içi kullanımda yaşanıp yaşanmadığını ve ilgili akıl yürütmenin tespit edilip edilemediğini inceleyecek.

OpenAI, Apollo'ya yalnızca bu inceleme için gereken bilgileri verecek. Bunlar arasında ilgili eğitim kodu ve veri kümeleri, akıl yürütme izleri ve ödüllerle pekiştirmeli öğrenme denemeleri ile ara model kontrol noktalarını sorgulama imkânı var. Şirket teknik imkânsızlık, güvenlik riski ya da fikrî mülkiyet gerekçesiyle bilgi saklayabilecek, ama bilgiyi yalnızca olumsuz olduğu için saklamayacağını taahhüt etti.

Diğer ekiplerin görevleri

Goodfire, eğitim süreçlerini izlemeye ve istenmeyen davranışları düzeltmeye yardım edecek yorumlanabilirlik araştırmacılarını yerleştirecek. METR, OpenAI'ın kendi testlerinin kaçırmış olabileceği istenmeyen ya da tehlikeli model davranışlarını arayacak. Transluce ise OpenAI'ın eğitim sonrası güvenlik değerlendirmelerinin yeterli olup olmadığını değerlendirecek. Apollo ve Goodfire bu iş için ücret alıyor, METR ve Transluce ise ücret almıyor ama işlem gücü ya da API kredisi kabul edebilir.

"Hayal kırıklığı ama sürpriz değil"

Program eleştirisiz değil. Apollo, gerçek bağımsızlık için tüm verilere ve belgelere çalışan düzeyinde erişim gerektiğini ve buna sahip olmadığını söylüyor. Apollo bağımsız sonuçlarını yayımlayabilecek, ancak OpenAI kamuya açılan destekleyici kanıtları sınırlayabilecek. Redwood'un CEO'su Buck Shlegeris de anlaşmaların "çalışan benzeri erişim" çıtasını karşılamadığını belirterek durumu "hayal kırıklığı yaratan ama şaşırtıcı olmayan" bir gelişme olarak nitelendirdi. Gömülü değerlendirici fikrini ilk ortaya atan Anthropic ise geçen ay METR'e kendi sistemlerine çalışan düzeyinde erişim vermişti. OpenAI ise Apollo pilotunu daha derin erişim ve açıklama haklarına doğru "iddialı bir ilk adım" olarak tanımlıyor. Yapay zekâ güvenliğinin açık kaynak dünyasına etkisi de tartışılıyor, kısa süre önce Hugging Face yöneticisi siber saldırıların açık kaynak yapay zekâyı daha kapalı hale getirebileceği uyarısında bulunmuştu.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir