AWS, PyTorch uygulamalarını Trainium’a taşıyan TorchNeuron’u yayımladı

AWS, TorchNeuron’un PyTorch ile yazılmış yapay zekâ uygulamalarını Trainium üzerinde yalnızca yapılandırmada tek satır değişiklikle çalıştırabildiğini belirtiyor. AWS, bu kullanımda kodun yeniden yazılmasına gerek olmadığını savunuyor.

AWS’ye göre yapay zekâ uygulamalarının yaklaşık %85’i PyTorch ile yazılıyor. PyTorch’un ilk olarak Facebook tarafından geliştirildiği ve 2022’den beri Linux Foundation bünyesinde yer aldığı bilgisi de paylaşıldı.

PyTorch ve donanım geçişi

Nvidia’nın, PyTorch ile yazılmış yapay zekâ uygulamalarını sorunsuz desteklemek için CUDA yazılım altyapısına yıllardır yatırım yaptığı ifade ediliyor. TorchNeuron’un ise PyTorch’tan uyarlanmış bir araç olduğu belirtiliyor.

PyTorch kullanıcılarının basit bir yapılandırma değişikliğiyle uygulamalarını AMD grafik işlemcilerine taşıyabildiği aktarılıyor. Benzer şekilde uygulamaların Apple çiplerine de basit bir yapılandırma değişikliğiyle taşınabildiği bilgisi veriliyor.

AWS, token başına en ucuz fiyatı sunmasa bile toplam maliyetin düşebileceğini savundu.

Maliyet, bulut ve bağımlılık vurgusu

AWS, Trainium’a taşımanın kolay olmasının yanı sıra girişimlere Amazon’un bulut hizmetlerinin tamamına erişim sağladığını savundu. AWS ayrıca, neocloud olarak anılan bazı bulut sağlayıcılarının Nvidia donanımına bağımlı olduğunu söyleyerek CoreWeave, Nebius ve Firmus’u örnek gösterdi.

AWS Annapurna Labs Teknoloji Yazılımları Başkan Yardımcısı Colin Brace, AWS üzerinde prototipten üretime geçiş için gereken altyapının zaten mevcut olduğunu söyledi. AWS, aynı çipin hem eğitim hem de çıkarım işlerini yürütmesi ve bulut altyapısıyla sıkı entegrasyon nedeniyle bulut kullanımının maliyet tasarrufu sağlayabileceğini, token başına en ucuz fiyatı sunmasa bile toplam maliyetin düşebileceğini savundu.

Brace, Trainium’un değerinin fiyat-performans ve eğitim ile çıkarım için tek platform olmasından geldiğini söyledi. Brace ayrıca, yapay zekâ ses uygulaması sağlayıcısı Deepgram’ın yerel PyTorch desteğiyle Trainium’a geçtiğini ve üretim düzeyi doğrulukta dolar başına %70 daha fazla ses işlediğini aktardı.

Amazon, PyTorch’un Nvidia merkezli olmasını azaltmak için PyTorch’un ana projesine kod katkısı yapacağını açıkladı. Şirket, PyTorch topluluğuyla birlikte çerçeveyi belirli çiplere bağlayan kodu kaldırmak üzere PyTorch’a doğrudan katkı yaptığını ve hedefin PyTorch’u yalnızca Trainium kullanıcıları için değil tüm geliştirici topluluğu için donanımdan daha bağımsız hale getirmek olduğunu belirtti.