Reddit kullanıcısı 2,8 trilyon parametreli Kimi K3'ü ekran kartsız, eski Optane'la çalıştırdı

Yapay zekâ meraklıları, dev dil modellerini evde çalıştırmanın yeni bir yolunu buldu. Tom's Hardware'in aktardığına göre bir Reddit kullanıcısı, Moonshot AI'ın 2,8 trilyon parametreli Kimi K3 modelini üretimi durdurulmuş ikinci nesil Intel Optane PMem 200 bellekler üzerinde çalıştırdı. Sistemde ekran kartı yerine 40 çekirdekli 3. nesil bir Xeon Scalable işlemci kullanıldı.

Ucuz ama çok yavaş

Kimi K3 aslında evde kullanım için tasarlanmış bir model değil. Moonshot AI modeli çalıştırmak için veri merkezi çıkarım motorlarını öneriyor ve topluluğun hazırladığı en küçük sıkıştırılmış sürüm bile en az 610 GB RAM gerektiriyor. İkinci el Optane bellekler, bu kapasiteye evde ulaşmanın az sayıdaki yollarından biri. DRAM fiyatlarının fırladığı bu dönemde kullanıcı, Optane'ın eşdeğer RAM'in çok küçük bir kısmına mal olduğunu söylüyor.

Ancak performans oldukça düşük. Sistem 1 bitlik sıkıştırmayla saniyede yalnızca 0,85 token üretiyor, 3 bitlik sıkıştırmada bu hız 0,75 token'a iniyor. Bir yorumcu 50 bin token'lık bir işin bu hızda yaklaşık 13 saat süreceğini hesapladı, bir başkası ise gece boyunca çalışan toplu işler için hızın o kadar önemli olmadığını hatırlattı.

"Bellek soğutması şart"

Projenin en dikkat çekici uyarısı ısıyla ilgili. Uzun süreli çıkarım sırasında Optane modülleri "aşırı ısınıyor" ve yanlarındaki DRAM'i tehlikeye atabiliyor. Kullanıcı, belleklere doğrultulmuş 2 adet 12 watt'lık üfleyici fanla sıcaklığı kontrol altına aldı ve aktif bellek soğutmasının "zorunlu" sayılması gerektiğini söylüyor.

Intel'in teknik değerlerine göre her Optane modülü 12 ya da 15 watt harcıyor ve saniyede 2,4 ile 2,7 metrelik bir hava akışıyla soğutulmalı. Modüller 83 derecede yavaşlıyor, 85 derecede ise kendini kapatıyor. 4 modüllü bir sistemde bu, RAM'in hemen yanında 60 watt'a kadar ısı demek.

Daha önce 1 trilyonluk model çalışmıştı

Bu proje, başka bir kullanıcının bu yılın başında birinci nesil Optane ile yaptığı denemenin devamı. O sistem, 1 trilyon parametreli Kimi K2.5 modelini RTX 3060 ekran kartının da yardımıyla saniyede yaklaşık 4 token hızında çalıştırmıştı. Yeni sistemin sahibi, performans ayarlarını henüz yapmadığını, ileride ekran kartı ekleyip modelin bir kısmını daha hızlı DRAM'e taşıyacağını söylüyor.