Bir avukat, müvekkil dosyaları buluta gitmesin diye 8 ikinci el Nvidia V100 ile kendi yapay zekâ sunucusunu kurdu

Müvekkil dosyalarını bulut tabanlı yapay zekâ hizmetlerine göndermek istemeyen bir avukat, sorunu kendi donanımıyla çözdü. Tom's Hardware'in aktardığına göre Reddit'te paylaşım yapan avukat, 2018 yapımı sekiz ikinci el Nvidia Tesla V100 veri merkezi ekran kartıyla dosyaların ofisten hiç çıkmamasını sağlayan özel bir yapay zekâ sunucusu kurdu.

Sistem, dörder kartlık iki SXM2 NVLink kartı, dört PEX anahtar kartı ve çok sayıda SlimSAS kablodan oluşuyor. Her biri 32 GB HBM2 belleğe sahip sekiz kart, toplamda 256 GB'lık hızlı bir bellek havuzu sunuyor. Avukat bu sayede açık kaynaklı DeepSeek V4.1 Flash modelini, modelin tüm "uzman" katmanları ekran kartı belleğinde olacak şekilde çalıştırabiliyor. Dört kartlık kartların her biri satın alındığı dönemde yaklaşık 2.400 dolara mal olmuştu.

Her gün dava dosyası okuyor

Sunucu şu anda dava dosyalarının ilk elden incelenmesinde her gün kullanılıyor. Bir klasördeki kayıtları okuyup olgu, tarih ve rakamları çıkarıyor, bunları özetliyor ve rutin yazışmaların ilk taslağını hazırlıyor. Avukat, "Gerçek bir incelemeden geçmeden hiçbir şey kapıdan çıkmıyor" diyor. Sistem, dosyaların buluta ya da öncü yapay zekâ modellerine gönderilemediği davalarda gizliliği de koruyor.

Performans, bu boyuttaki bir model için oldukça iyi. Kod üretiminde hız saniyede 215 token'a kadar çıkarken, sunucunun asıl amacı olan hukuki metinlerde saniyede 118 token'a ulaşıyor. Model 524 bin token'a kadar bağlamı kabul edebiliyor, ancak 128 bin token'lık uzun bir belgede ilk yanıtın gelmesi yaklaşık bir dakika sürüyor.

Yanık konnektör ve bellek hataları

Kurulum sorunsuz geçmedi. Sistem iki kez ölümcül bir PCIe hatasıyla kendini yeniden başlattı. Avukat, kartların saat hızlarını sınırlayıp güç konnektöründe yanık izi olan bir kartı çıkardıktan sonra sorunun ortadan kalktığını söylüyor ve "Konnektörlerinizi kontrol edin millet" uyarısında bulunuyor. Her kart şu anda 300 watt'lık kapasitesinin yarısı olan 150 watt ile sınırlandırılmış durumda. Sistem belleğinde görülen düzeltilemeyen hatalar da bellek hızı düşürülünce ortadan kalktı.

Avukata göre mevcut yapay zekâ iş akışlarının yüzde 50 ila 60'ı artık bu sunucuda çalışabiliyor. Sistem, API fiyatlarına kıyasla tasarruf sağlıyor gibi görünse de daha hızlı değil. Tom's Hardware, ikinci el V100 kartlarının fiyatının da yükseldiğini hatırlatıyor. Paylaşımdaki kart başına yaklaşık 400 dolarlık fiyat, eBay'de şimdiden 900 dolar civarına çıkmış durumda. Avukat şimdilik bunun daha çok bir hobi olduğunu, ama gelecekte bir iş fikrine dönüşebileceğini söylüyor.