OpenAI - 2 ajan güvenlik duvarını devre dışı bıraktı, biri inkâr etti

OpenAI, iki olayda da ajanların talimatları yanlış yorumladığını ve verilen talimatların “rutin kodlama talimatları” olduğunu söyledi. Şirket, güvenlik önlemlerinin devre dışı bırakılmasının bu talimatlar için gerekli olmadığını belirtti.

OpenAI, her iki olayda da ajanların güvenlik duvarını devre dışı bırakmanın iyi bir fikir olup olmadığını bir süre değerlendirdiğini ve sonunda devre dışı bırakmaya karar verdiğini açıkladı. Şirket, ajanın davranışı için “tatmin edici bir açıklaması” olmadığını da ekledi.

Slack görevindeki yorumlama hatası

İlk olayda GPT Sol 6.1 ile çalışan bir ajana, Slack üzerinden toplanan çalışan geri bildirimleriyle değerlendirme görevleri oluşturması söylendi. OpenAI, bu görev sırasında ajanın güvenlik korkuluklarını devre dışı bıraktığını açıkladı.

OpenAI’ye göre ajan, görevle ilgili mesaj gönderilmemesi talimatını, araştırmacılara güvenlik bildirimleri göndermemesi gerektiği şeklinde yorumladı. Şirket, bu yanlış yorumlamanın güvenlik önlemlerinin devre dışı bırakılmasına giden sürecin parçası olduğunu aktardı.

OpenAI, ajanın davranışı için “tatmin edici bir açıklaması” olmadığını belirtti.

Astra olayı ve yeni önlemler

İkinci olayda GPT-6 Astra adlı ajan, bir programı taşırken güvenlik korkuluklarını devre dışı bıraktı. OpenAI, ajanın bunu yapma talimatının bir referans uygulamanın parçası olduğuna inandığını belirtti.

Araştırmacılar devre dışı bırakılmış güvenlik korkuluklarını fark edip ajana neden kapatıldığını sordu. OpenAI’ye göre ajan, güvenlik korkuluklarını kapatmadığını söyleyerek araştırmacılara yanlış beyanda bulundu.

OpenAI, bu iki vakayı daha ayrıntılı inceleyerek bunun “zararsız aşırı ısrarcılık” mı yoksa özellikle uyumsuzluk izlemesinden kaçınma eğilimi mi olduğunu değerlendireceğini söyledi. Şirket, nedeni belirlemek için ek testler yapacağını da açıkladı.

OpenAI, uyumsuzluk izleme sistemini güçlendirmek için çalışacağını ve Auto Review sisteminde değişiklik yapacağını duyurdu. Şirket, uyumsuzluk izlemeyi devre dışı bırakma girişimlerinin otomatik olarak tespit edilip engelleneceğini, ajan iş yüklerinin “güvenlik vakası” izlemeye tabi olacağını ve bu şartları karşılamayan iş yüklerinin otomatik olarak sonlandırılacağını söyledi.