İçeriğe atla
Kâğıt kolaj tarzında karelerinde muzun tabağa taşındığı film şeridi, muzu tabağa koyan gerçek robot kol, açık asma kilit, rakam paneli ve videodan öğrenen robot beyni, Runway Praxis-1'i herkese açtı başlığı

Video yapay zekâsıyla tanınan Runway, robot kontrol modeli Praxis-1'i açık kaynak yaptı, robot kol 100 görevin 88'ini başardı

Üretken video modelleriyle tanınan Runway, videolardan öğrendiklerini robotları kontrol etmek için kullanan Praxis-1 modelinin ağırlıklarını ve kaynak kodunu ticari kullanıma izin veren Apache 2.0 lisansıyla yayımladı. Model, Nvidia'nın RoboLab-120 testinde dünya eylem modelleri arasında ilk sıraya yerleşti, ancak benzer görünen nesneleri karıştırması ve karmaşık görevleri kendi başına planlayamaması gibi sınırları da var.

Selin Y.ohafalan editörüYayın · 2 dk okuma
Kâğıt kolaj tarzında karelerinde muzun tabağa taşındığı film şeridi, muzu tabağa koyan gerçek robot kol, açık asma kilit, rakam paneli ve videodan öğrenen robot beyni, Runway Praxis-1'i herkese açtı başlığı

Üretken video modelleriyle tanınan yapay zekâ şirketi Runway, video alanındaki araştırmalarını robotiğe taşıdı. The Decoder'ın aktardığına göre şirket, robot kontrol modeli Praxis-1'i açık ağırlıklar ve kaynak koduyla yayımladı. Model ve kod, ticari kullanıma izin veren Apache 2.0 lisansıyla sunuluyor. Runway, Praxis-1'i ilk kez eylül sonunda tanıtmış, ancak başlangıçta yalnızca seçili iş ortaklarının erişimine açmıştı.

Önce videoyu izliyor, sonra robotu oynatıyor

Praxis-1, kamera görüntülerini, metin talimatlarını ve robotun konum bilgisini girdi olarak alıyor. Bu girdilerden ortamın nasıl değişeceğini tahmin ediyor ve buna uygun robot hareketlerini hesaplıyor. Yeni kamera kareleri geldikçe de kontrolünü sürekli güncelliyor. Runway bu yüzden Praxis-1'i, bir sahnenin nasıl değişeceğini tahmin edip bu tahminden robot hareketi çıkaran bir "dünya eylem modeli" olarak tanımlıyor.

Model, nesnelerin nasıl hareket ettiğini ve birbirleriyle nasıl etkileşime girdiğini sıradan görüntülerden öğrenen bir video modeli üzerine kuruldu. Runway daha sonra modeli insan hareketlerini gösteren videolar ve robot verileriyle ince ayardan geçirdi. Bu yaklaşım, geleneksel olarak yalnızca bu tür sistemleri eğitmek için toplanan pahalı robot verisine olan ihtiyacı azaltabilir. Yine de Praxis-1'in bir Franka robot koluna uyarlanması için 277 saat, iki kollu bir robot için ise 1.400 ila 2.600 saat robot kaydı kullanıldı. Bu yüzden yaklaşımın gerçekten daha az veri gerektirip gerektirmediği henüz net değil.

İLGİLİSuno şarkılara yapay zekâyla video da üretiyor→

100 görevin 88'i başarıldı

Praxis-1, Nvidia'nın nesneleri sıralama, kavrama ya da üst üste koyma gibi 120 görevi simülasyonda test eden RoboLab-120 sıralamasında yüzde 46,2 başarı oranına ulaştı. Aynı koşullarda FLUX 3 Action modeli yüzde 42,9'da kaldı. Bu sonuç Praxis-1'i dünya eylem modelleri kategorisinde ilk sıraya, genel sıralamada ise beşinci sıraya taşıdı. Gerçek bir Franka robot koluyla yapılan ve muzu tabağa koymak, çekmece kapatmak gibi on görevin her birinin onar kez denendiği testte Praxis-1 100 denemenin 88'inde başarılı oldu, FLUX 3 Action ise 80'de kaldı.

Runway, modelin daha önce hiç görmediği bir robot türüne ne kadar iyi uyum sağladığını da test etti. Google'ın RT-1 modelini geliştirirken kullandığı mobil bir robot platformunun yaklaşık 95 saatlik verisiyle ince ayar yapılan Praxis-1, simülasyon testlerinde ortalama yüzde 80 başarı oranına ulaştı. Google'ın özgün RT-1 modeli aynı testte yüzde 52,4'te kalmıştı. Ancak testlerin hepsini Runway kendisi yaptı ve sonuçlar henüz bağımsız olarak doğrulanmadı. Standard Bots, Noble Machines ve Ultra gibi robotik şirketleri eylülden bu yana modeli insansı bir robot, endüstriyel bir robot kol ve iki kollu bir depo robotu üzerinde test ediyor.

Muzu tabağa koyuyor ama planlayamıyor

Runway'in araştırma raporuna göre model zaman zaman benzer görünen nesneleri karıştırıyor ve belirsiz talimatlarda zorlanıyor. Uzun görevlerde adımların tek tek açıklanması gerekiyor, çünkü Praxis-1 karmaşık eylem dizilerini henüz kendi başına güvenilir şekilde planlayamıyor. Runway, Praxis-1'i öncelikle robot hareketlerini hızlı uygulayan bir sistem olarak görüyor ve gelecekte karmaşık görevleri adımlara bölen genel amaçlı yapay zekâ modelleriyle birlikte çalışabileceğini düşünüyor. Bu yaklaşım, OpenAI'ın genel amaçlı GPT-6 Astra'nın robotları doğrudan yönetebileceği görüşüyle de kesişiyor.

İLGİLİGoogle, Gemini Omni 1.2 Flash ile video süresini 15 saniyeye çıkardı→

Geliştiriciler Praxis-1'i kayıt olup erişim koşullarını kabul ettikten sonra Hugging Face'ten indirebiliyor. Standart sürüm 80 GB belleğe sahip bir ekran kartı gerektirirken, sıkıştırılmış sürümün 32 GB'lık bir RTX 5090'a sığması bekleniyor.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir