Üretken video modelleriyle tanınan yapay zekâ şirketi Runway, video alanındaki araştırmalarını robotiğe taşıdı. The Decoder'ın aktardığına göre şirket, robot kontrol modeli Praxis-1'i açık ağırlıklar ve kaynak koduyla yayımladı. Model ve kod, ticari kullanıma izin veren Apache 2.0 lisansıyla sunuluyor. Runway, Praxis-1'i ilk kez eylül sonunda tanıtmış, ancak başlangıçta yalnızca seçili iş ortaklarının erişimine açmıştı.
Önce videoyu izliyor, sonra robotu oynatıyor
Praxis-1, kamera görüntülerini, metin talimatlarını ve robotun konum bilgisini girdi olarak alıyor. Bu girdilerden ortamın nasıl değişeceğini tahmin ediyor ve buna uygun robot hareketlerini hesaplıyor. Yeni kamera kareleri geldikçe de kontrolünü sürekli güncelliyor. Runway bu yüzden Praxis-1'i, bir sahnenin nasıl değişeceğini tahmin edip bu tahminden robot hareketi çıkaran bir "dünya eylem modeli" olarak tanımlıyor.
Model, nesnelerin nasıl hareket ettiğini ve birbirleriyle nasıl etkileşime girdiğini sıradan görüntülerden öğrenen bir video modeli üzerine kuruldu. Runway daha sonra modeli insan hareketlerini gösteren videolar ve robot verileriyle ince ayardan geçirdi. Bu yaklaşım, geleneksel olarak yalnızca bu tür sistemleri eğitmek için toplanan pahalı robot verisine olan ihtiyacı azaltabilir. Yine de Praxis-1'in bir Franka robot koluna uyarlanması için 277 saat, iki kollu bir robot için ise 1.400 ila 2.600 saat robot kaydı kullanıldı. Bu yüzden yaklaşımın gerçekten daha az veri gerektirip gerektirmediği henüz net değil.
100 görevin 88'i başarıldı
Praxis-1, Nvidia'nın nesneleri sıralama, kavrama ya da üst üste koyma gibi 120 görevi simülasyonda test eden RoboLab-120 sıralamasında yüzde 46,2 başarı oranına ulaştı. Aynı koşullarda FLUX 3 Action modeli yüzde 42,9'da kaldı. Bu sonuç Praxis-1'i dünya eylem modelleri kategorisinde ilk sıraya, genel sıralamada ise beşinci sıraya taşıdı. Gerçek bir Franka robot koluyla yapılan ve muzu tabağa koymak, çekmece kapatmak gibi on görevin her birinin onar kez denendiği testte Praxis-1 100 denemenin 88'inde başarılı oldu, FLUX 3 Action ise 80'de kaldı.
Runway, modelin daha önce hiç görmediği bir robot türüne ne kadar iyi uyum sağladığını da test etti. Google'ın RT-1 modelini geliştirirken kullandığı mobil bir robot platformunun yaklaşık 95 saatlik verisiyle ince ayar yapılan Praxis-1, simülasyon testlerinde ortalama yüzde 80 başarı oranına ulaştı. Google'ın özgün RT-1 modeli aynı testte yüzde 52,4'te kalmıştı. Ancak testlerin hepsini Runway kendisi yaptı ve sonuçlar henüz bağımsız olarak doğrulanmadı. Standard Bots, Noble Machines ve Ultra gibi robotik şirketleri eylülden bu yana modeli insansı bir robot, endüstriyel bir robot kol ve iki kollu bir depo robotu üzerinde test ediyor.
Muzu tabağa koyuyor ama planlayamıyor
Runway'in araştırma raporuna göre model zaman zaman benzer görünen nesneleri karıştırıyor ve belirsiz talimatlarda zorlanıyor. Uzun görevlerde adımların tek tek açıklanması gerekiyor, çünkü Praxis-1 karmaşık eylem dizilerini henüz kendi başına güvenilir şekilde planlayamıyor. Runway, Praxis-1'i öncelikle robot hareketlerini hızlı uygulayan bir sistem olarak görüyor ve gelecekte karmaşık görevleri adımlara bölen genel amaçlı yapay zekâ modelleriyle birlikte çalışabileceğini düşünüyor. Bu yaklaşım, OpenAI'ın genel amaçlı GPT-6 Astra'nın robotları doğrudan yönetebileceği görüşüyle de kesişiyor.
Geliştiriciler Praxis-1'i kayıt olup erişim koşullarını kabul ettikten sonra Hugging Face'ten indirebiliyor. Standart sürüm 80 GB belleğe sahip bir ekran kartı gerektirirken, sıkıştırılmış sürümün 32 GB'lık bir RTX 5090'a sığması bekleniyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
OpenAI robotik ekibini yeniden yapılandırdı, araştırmacılar diğer ekiplere taşındı, genel amaçlı GPT-6 Astra robotları doğrudan kontrol edebiliyor
OpenAI, robotik araştırmacılarını ana araştırma ekibine, uygulamalı robotik ve donanım ekiplerini ise Greg Brockman'ın …
NVIDIA'nın GR00T 2 modeli, robotlara insanları izleyerek beş denemede yeni iş öğretiyor
NVIDIA'nın yeni robot modeli GR00T 2, insan videolarından ve başka robotların gösterimlerinden öğrendiği becerileri hiç…
Genesis AI eldivenli robotları için 500 milyon dolar topladı
Robotlara el becerisi kazandırmaya odaklanan Genesis AI, Khosla Ventures, Premji Invest ve Eclipse liderliğinde 500 mil…

Analogue 3D'nin uykudaki Wi-Fi'ı nihayet açıldıTeknoloji
The Cardigans İngiltere'de dört konser verecekMüzik
MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel



