İçeriğe atla
Mengene arasında sıkıştırılan ansiklopedi ciltleri, vakumlu paketlenmiş bir kitap yığını, bir sunucu ekran kartı, kum saati ve takvim yaprakları, yırtık kâğıt katmanları. İnsan figürü yok.

Yapay zekâ 1 GB Vikipedi'yi 105 MB'a sıkıştırdı

Tufa Labs'in geliştirdiği tufazip, 1 GB'lık Vikipedi metnini hiçbir veri kaybı olmadan 105,39 MB'a indirdi. Yalnızca bir yapay sinir ağını tahminci olarak kullanan yöntem, işlemi iki Nvidia B200 ile yaklaşık bir haftada tamamlıyor.

Selin Y.ohafalan editörüYayın · 2 dk okuma
Mengene arasında sıkıştırılan ansiklopedi ciltleri, vakumlu paketlenmiş bir kitap yığını, bir sunucu ekran kartı, kum saati ve takvim yaprakları, yırtık kâğıt katmanları. İnsan figürü yok.

Yapay zekâ modelleri metin üretmenin yanında metni sıkıştırmada da sınırları zorluyor. Tom's Hardware'in aktardığına göre Tufa Labs'ten araştırmacı Tommy He'nin geliştirdiği tufazip, Vikipedi'den alınan 1 GB'lık metni hiçbir veri kaybı olmadan yalnızca 105,39 MB'a sıkıştırdı. Yöntem, el yapımı sıkıştırma modelleri yerine tahminci olarak yalnızca 163 milyon parametreli bir Transformer modeli kullanıyor. Bu, Büyük Metin Sıkıştırma Testi'nde (Large Text Compression Benchmark) tek tahmincisi bir sinir ağı olan girişler arasında elde edilen en küçük sonuç.

Kendi kendine öğrenen sıkıştırıcı

Tufazip, bir sohbet botu ya da bulut tabanlı bir yapay zekâ gibi çalışmıyor. Sıkıştırma sırasında her parçayı tahmin edip onunla eğitilen, kendi içinde kapalı bir dil modeli kullanıyor. Açma tarafı aynı adımları tekrarlıyor ve model metinle birlikte yeniden inşa ediliyor. Kayıpsız sıkıştırma olduğu için bu güncellemelerin tamamen belirlenimci olması gerekiyor. Paketin içinde, düşük hassasiyetle saklanan 4,33 MB'lık küçük bir başlangıç modeli de bulunuyor. 34 milyon parametreli bu başlangıç modeli önceden eğitiliyor ve 12 katmanlı tam modeli oluşturmak için kopyalanıyor. Her kopya kendi başına öğrenmeye devam ediyor.

İLGİLİYapay zekâ sektörü hâlâ hızlı büyüyor ama ivme düşüyor→

Bir haftalık işlem süresi

Tufazip, sıralamada kendisinden önde gelen 12 girişin aksine Transformer'ı el yapımı modellerle karıştırmıyor. Eylülde gönderilen ilk sürümü ikinci sıraya yerleşmişti, 105,39 MB'lık sürüm ise 19 kasım güncellemesinde 13. sırada yer aldı. Ancak yöntem bir ürün değil, bir araştırma çalışması. İki Nvidia B200 ekran kartı ve iki Intel Xeon Platinum 8570 işlemciden oluşan test sistemi, sıkıştırma için 631.548 saniye, açma için 645.748 saniye harcıyor. Bu da sırasıyla yaklaşık 7,3 ve 7,5 güne karşılık geliyor.

Daha fazlası her zaman daha iyi değil

Araştırma, iyileştirmenin pahalı olabileceğini de gösteriyor. Ek eğitim için kullanılan önceki metin penceresini 15 milyondan 35 milyon parçaya genişletmek, sonucu yalnızca yüzde 1,21 küçültürken işlem yükünü yüzde 40 artırdı. Tommy He, bir sonraki araştırma sorusunu daha küçük bir modelin tahmin kalitesini ne kadar koruyabileceği olarak tanımlıyor. Test yalnızca metin üzerinde yapılıyor, yani sonuç fotoğraf ya da video gibi medya dosyaları için geçerli değil. Yapay zekâ modellerini daha verimli düşündürme arayışı başka çalışmalarda da sürüyor, Inkling 2 Mini katmanlarını döngüye sokarak düşünüyor.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

OHA!falan Yemek

Bugün ne pişirsem?

Ev yemeği, bugünkü market fiyatıyla

Bütün tarifler

İlginizi çekebilir