Google'ın makine öğrenmesi çalışmalarındaki yaklaşımı kısaca "Python'da eğit, C++ ile sun" olarak özetlenebilir. The Register'ın aktardığına göre şirket, bu yaklaşımın önemli bir parçası olan XLA Serving Engine'i, kısaca XSE'yi açık kaynak olarak yayımladı.
Python, veri bilimciler için kullanımı kolay bir dil. Ancak Python yorumlayıcısını sunum hattında tutmak ek yük ve dağıtım sorunları yaratabiliyor. Sektörün desteklediği OpenXLA projesi, makine öğrenmesi hesaplamalarını farklı işlemciler için yerel koda derleyen araçlar sunuyor. XSE de bu yapının açık kaynak yapılan son bileşeni oldu.
Büyük dil modelleri için değil
XSE, büyük ölçekli dil modeli çıkarımı için değil, Google'da sayıca çok olan daha küçük ve belirli görevlere odaklı modeller için tasarlandı. Büyük dil modelleri için vLLM ya da SGLang gibi araçlar daha uygun.
Google'ın ürün yönetimi direktörü Nathan Beach, "Şu anda ilgiyi en çok büyük dil modellerinin sunumu çekiyor, ancak üretimdeki çıkarımın önemli bir kısmı hâlâ sıralama, öneri, gömme ve görüntü modellerinden oluşuyor. Bunlar genellikle çok yüksek saniye başına sorgu sayısına ve sıkı gecikme bütçelerine sahip kısa isteklerdir" diye yazdı.
Dörtte bir bellekle beş kata kadar hız
XSE, Google'da YouTube Shorts, Google Ads ve Arama gibi hizmetlerde saniyede 6 milyondan fazla sorguyu işliyor. Bu modeller sonuçları sıralıyor, video öneriyor ve kullanıcılar çoğu zaman fark etmeden anlık kararlar veriyor. Her isteği bir Python yorumlayıcısının işlemesi bu noktada ciddi bir darboğaz yaratırdı. Google'ın kısa isteklerle yaptığı testlerde XSE, şirketin en iyi optimize edilmiş Python sunucusunun iki ile beş katı verim sağladı ve bunu dörtte bir bellekle yaptı.
Bu yapıda yapay zekâ geliştiricileri model kodunu Python'da, Google'ın JAX kütüphanesini kullanarak yazıyor. Google, PyTorch kullanıcılarının da modellerini TPU'larda C++ ile sunulmak üzere dışa aktarabilmesi için TorchTPU entegrasyonu planlıyor. Bir dışa aktarma aracı, modelin hesaplamalarını taşınabilir bir ara gösterim olan StableHLO biçiminde, eğitilmiş ağırlıklarıyla birlikte "XLA SavedModel" olarak paketliyor. C++ sunum çalışma ortamı ise XLA'yı kullanarak bu hesaplamaları hedef donanım için yerel koda derliyor. Bu süreçte Python yorumlayıcısı hiç devreye girmiyor.
XLA SavedModel'ler GPU'larda ve işlemcilerde çalışabiliyor. Google, XLA ekosistemini geliştirmek için hem Arm hem de Intel ile iş birliği yaptı. Ancak şirketin asıl hedefi, modellerin kendi TPU hızlandırıcılarında çalıştırılması.
Python'ın yavaşlığı makine öğrenmesi topluluğu için sorun olmaya devam ediyor. XSE dışında da Python kodundan olabildiğince hızlı kurtulmaya dayanan başka yaklaşımlar var. PyTorch, LibTorch adlı yerel bir C++ çalışma ortamı sunarken, Microsoft ve ortakları da Python bağlantılarına sahip açık bir grafik biçimini destekleyen ONNX Runtime'ı geliştiriyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Codeberg alan adı askıya alınınca saatlerce erişilemedi
GitHub'ın kâr amacı gütmeyen alternatifi Codeberg, alan adı kayıt şirketi NameSilo'nun codeberg.org'u açıklama yapmadan…
Redis'ten ayrılan Redict projesi sona erdi
Redis'in 2024'teki lisans değişikliğinin ardından kurulan açık kaynak çatallama Redict, yeterli topluluk oluşturamadığı…
Microsoft'un yapay zekâ ajan paketine parola hırsızı gizlendi
Microsoft'un yapay zekâ ajanları geliştirmek için sunduğu agent-framework paketinin PyPI'da yayımlanan iki sürümüne kim…

Analogue 3D'nin uykudaki Wi-Fi'ı nihayet açıldıTeknoloji
The Cardigans İngiltere'de dört konser verecekMüzik
MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel



