Yapay zekâ modelleri metin üretmenin yanında metni sıkıştırmada da sınırları zorluyor. Tom's Hardware'in aktardığına göre Tufa Labs'ten araştırmacı Tommy He'nin geliştirdiği tufazip, Vikipedi'den alınan 1 GB'lık metni hiçbir veri kaybı olmadan yalnızca 105,39 MB'a sıkıştırdı. Yöntem, el yapımı sıkıştırma modelleri yerine tahminci olarak yalnızca 163 milyon parametreli bir Transformer modeli kullanıyor. Bu, Büyük Metin Sıkıştırma Testi'nde (Large Text Compression Benchmark) tek tahmincisi bir sinir ağı olan girişler arasında elde edilen en küçük sonuç.
Kendi kendine öğrenen sıkıştırıcı
Tufazip, bir sohbet botu ya da bulut tabanlı bir yapay zekâ gibi çalışmıyor. Sıkıştırma sırasında her parçayı tahmin edip onunla eğitilen, kendi içinde kapalı bir dil modeli kullanıyor. Açma tarafı aynı adımları tekrarlıyor ve model metinle birlikte yeniden inşa ediliyor. Kayıpsız sıkıştırma olduğu için bu güncellemelerin tamamen belirlenimci olması gerekiyor. Paketin içinde, düşük hassasiyetle saklanan 4,33 MB'lık küçük bir başlangıç modeli de bulunuyor. 34 milyon parametreli bu başlangıç modeli önceden eğitiliyor ve 12 katmanlı tam modeli oluşturmak için kopyalanıyor. Her kopya kendi başına öğrenmeye devam ediyor.
Bir haftalık işlem süresi
Tufazip, sıralamada kendisinden önde gelen 12 girişin aksine Transformer'ı el yapımı modellerle karıştırmıyor. Eylülde gönderilen ilk sürümü ikinci sıraya yerleşmişti, 105,39 MB'lık sürüm ise 19 kasım güncellemesinde 13. sırada yer aldı. Ancak yöntem bir ürün değil, bir araştırma çalışması. İki Nvidia B200 ekran kartı ve iki Intel Xeon Platinum 8570 işlemciden oluşan test sistemi, sıkıştırma için 631.548 saniye, açma için 645.748 saniye harcıyor. Bu da sırasıyla yaklaşık 7,3 ve 7,5 güne karşılık geliyor.
Daha fazlası her zaman daha iyi değil
Araştırma, iyileştirmenin pahalı olabileceğini de gösteriyor. Ek eğitim için kullanılan önceki metin penceresini 15 milyondan 35 milyon parçaya genişletmek, sonucu yalnızca yüzde 1,21 küçültürken işlem yükünü yüzde 40 artırdı. Tommy He, bir sonraki araştırma sorusunu daha küçük bir modelin tahmin kalitesini ne kadar koruyabileceği olarak tanımlıyor. Test yalnızca metin üzerinde yapılıyor, yani sonuç fotoğraf ya da video gibi medya dosyaları için geçerli değil. Yapay zekâ modellerini daha verimli düşündürme arayışı başka çalışmalarda da sürüyor, Inkling 2 Mini katmanlarını döngüye sokarak düşünüyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Yapay zekâ şüphesi Nasdaq'ı ayı piyasasına soktu
ABD'nin teknoloji ağırlıklı Nasdaq 100 endeksi bir haftada yüzde 10,4 değer kaybederek pandemiden bu yana en kötü hafta…
Inkling 2 Mini katmanlarını döngüye sokarak düşünüyor
Thinking Machines, bazı katmanlarını her kelime parçası için üç kez çalıştırarak daha az metinle daha uzun düşünebilen …
Etsy satıcıları yapay zekâ şartı yüzünden dükkân kapatıyor
Etsy'nin satıcı içeriklerinin yapay zekâ eğitiminde kullanılmasına izin veren yeni kullanım şartları, platformda tepkiy…

Tek bir web sayfası Meta Muse'u ele geçirdiYazılım
Yapay zekâ 1 GB Vikipedi'yi 105 MB'a sıkıştırdıYapay zekâ
GTA 6'nın yayaları kurşun yiyip geri saldırıyorOyun
Antik fırtınalarda 405 bin yıllık gizemli döngüGenel
Güney Kore sınavda acil durum uyarısıyla 54 kopyacı yakaladıTeknoloji
Michael Stipe'ın ilk solo albümü mayısta geliyorMüzik






