İçeriğe atla
Çelik bir kasa kapısı, cam fanus içinde parlayan bir ampul, maymuncuk seti ve mühürlü bir dosya, yırtık kâğıt katmanları. İnsan figürü yok.

OpenAI modellerinin düşüncelerini sızdırmak artık çok zor

OpenAI, GPT-6.2 Astra ve Sol modellerinin gizli akıl yürütmesini sızdırmaya yönelik saldırılara karşı korumalarını sıkılaştırdı. Şirketin iç testlerinde önceki isteklerden akıl yürütme çalma saldırılarının başarı oranı yüzde 54'ten yüzde 0,2'ye indi.

Selin Y.ohafalan editörüYayın · 1 dk okuma
Çelik bir kasa kapısı, cam fanus içinde parlayan bir ampul, maymuncuk seti ve mühürlü bir dosya, yırtık kâğıt katmanları. İnsan figürü yok.

Yapay zekâ modellerinin nasıl düşündüğü, şirketler için en değerli sırlardan biri hâline geldi. The Decoder'ın aktardığına göre OpenAI, GPT-6.2 Astra ve GPT-6.2 Sol modellerinin korumalı iç akıl yürütmesini sızdırmaya yönelik saldırılara karşı önlemlerini ciddi biçimde sıkılaştırdı. Şirket, bazı iyileştirmeleri önceki modeli GPT-6 Astra'ya da getiriyor.

Başarı oranı dibe vurdu

OpenAI'ın iç otomatik testlerinde, önceki isteklerden korumalı akıl yürütmeyi çekmeye çalışan saldırıların başarı oranı GPT-6 Astra'da yüzde 54 iken GPT-6.2 Astra'da yüzde 0,2'ye düştü. Devam eden bir istekteki akıl yürütmeyi çalmaya yönelik saldırıların başarısı ise yüzde 22,9'dan yüzde 0,9'a geriledi. Sonuçlar, altı farklı saldırgan modelle yürütülen ve modelin iç yapısını bilmeden yapılan uyarlanabilir sızma testlerinin toplamına dayanıyor.

İLGİLİGPT-6.2 Sol, Astra'ya beşte bir maliyetle yaklaştı→

İki katmanlı savunma

Savunma iki düzeyde çalışıyor. Tek tek istekler için sistemler hedefli eğitimi, mesajlar ve araç çağrıları için girdi ve çıktı filtrelerini ve eski modellerin korumalı akıl yürütmeyi okumasını engelleyen API kısıtlamalarını bir araya getiriyor. Koordineli kampanyalara karşı ise OpenAI her hafta binlerce ila on binlerce hesabı kapatıyor.

Damıtma savaşı

Bir modelin akıl yürütmesini kopyalayıp başka bir modeli eğitmekte kullanmak, damıtma saldırısı olarak biliniyor. Bu sorunla mücadele eden tek şirket OpenAI değil. Anthropic de iç akıl yürütmenin çalınmasını sınırlamak için on binlerce hesabı kapattığını ve bildirildiğine göre vakaların yüzde 90 ila 99'unda başarılı olduğunu açıklamıştı. Anthropic, bu konuda sektörden ve politika yapıcılardan koordineli bir yanıt verilmesi çağrısında da bulundu. OpenAI'ın yeni modelleriyle ilgili geliştiricilere yönelik önerileri de bugün gündemdeydi, OpenAI GPT-6.2 için yeni istem önerilerini paylaştı.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir