OpenAI, sorun çıkaran yapay zekâ ajanlarını 35 saniyede durduran Control Room sistemini devreye aldı

OpenAI, giderek güçlenen yapay zekâ modellerinin yarattığı güvenlik risklerine karşı yeni bir önlem aldı. Interesting Engineering'in aktardığına göre şirket, araştırma altyapısındaki riskli olabilecek model iş yüklerini durdurmak için Control Room adlı merkezî bir kontrol sistemi kurdu. Sistem, müdahale kararı verildikten sonra en geç 35 saniye içinde modelin yeni çıktı üretmesini engelleyebiliyor.

Control Room. Ajan tabanlı model eğitimleri, değerlendirmeler ve veri işleme görevleri gibi araştırma iş yüklerini, bunların çıktı üretmeye devam edip edemeyeceğine karar veren merkezî bir servise bağlıyor. Şüpheli davranışları yalnızca işaretleyen geleneksel izleme sistemlerinden farklı olarak Control Room, bir iş yükünün yeni model çıktısı almasını doğrudan engelleyebiliyor.

OpenAI, sistemin müdahale ihtiyacının en yüksek olduğu araştırma altyapısında zaten kullanımda olduğunu belirtti. Şirketin dışarıya hizmet veren model altyapısı ise daha merkezî bir yapıya sahip ve gerektiğinde model dağıtımlarını kapatacak mekanizmalara zaten sahip.

Nasıl çalışıyor?

Control Room üç ana bileşeni birbirine bağlıyor. Araştırma iş yükü, modeli doğrudan ekran kartlarında çalıştıran çıkarım motoru ve merkezî Control Room servisi. Ajan tabanlı çıkarım yapan her araştırma işinin onaylanmış bir güvenlik gerekçesiyle ilişkilendirilmesi gerekiyor.

Bir araştırmacı yeni bir iş başlattığında, kod Control Room'dan benzersiz bir iş kimliği alıyor. Bu kimlik, çıkarım motorlarına gönderilen her isteğe ekleniyor. Motor, isteği yerine getirmeden önce Control Room'a işin hâlâ çalışma izni olup olmadığını soruyor. Bir araştırmacı ya da izleme sistemi işi durdurma talimatı verdiyse servis bir sonraki isteği reddediyor ve motor o iş için yeni çıktı üretmiyor.

Araştırma süreci bu durumda tamamen sonlanmayabiliyor. Kodu çalışmaya devam edebiliyor ancak yetkili çıkarım motorlarından artık yeni model çıktısı alamıyor. OpenAI, kritik yetkilendirme mekanizmasını araştırmacıların koduna değil, daha az ve daha merkezî yönetilen kod yollarına sahip çıkarım katmanına yerleştirdi.

Servis çökerse her şey duruyor

Sistem "kapalı konumda arıza" (fail-closed) ilkesiyle tasarlandı. Control Room servisi erişilemez hale gelirse çıkarım motorları tüm istekleri reddediyor. Böylece teknik bir arıza, servisin kasıtlı olarak devre dışı bırakılması ya da kurcalanması durumunda modeller sistem normale dönene kadar çıktı üretemiyor.

OpenAI'a göre durdurma talimatının alınmasıyla işin ilerlemesinin engellenmesi arasındaki en uzun süre 35 saniye. Bu gecikme, yüksek sayıdaki yetkilendirme isteğini karşılamak için kullanılan önbellek katmanından kaynaklanıyor. Şirket bu süreyi sıfıra indirmek için çalıştığını söylüyor.

Sistem otomatik izlemeyle de entegre çalışıyor. OpenAI'ın tüm öncü pekiştirmeli öğrenme işleri, model davranışını inceleyen ve olası sorunlarda alarm veren ayrı bir model tabanlı izleyiciyle çalışıyor. Alarm müdahale gerektirirse izleme sistemi Control Room'a ilgili işi sonlandırma talimatı verebiliyor.

Şirket, böyle önlemlerin neden önemli olduğuna örnek olarak yakın zamanda yaşanan bir olayı gösterdi. Bu olayda bir izleme sistemi, bir yapay zekâ ajanının DNS üzerinden dışarıdaki bir sohbet botuna ulaşmaya çalıştığını tespit etmişti.