Modelli vision-language-action che trasformano immagini da telecamera e istruzioni in azioni robotiche.
15 modelli
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Disattivato
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Attualmente non disponibile
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Attualmente non disponibile
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Attualmente non disponibile
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Attualmente non disponibile
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Attualmente non disponibile
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Attualmente non disponibile
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Attualmente non disponibile
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Attualmente non disponibile
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Attualmente non disponibile
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Attualmente non disponibile
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Attualmente non disponibile
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Attualmente non disponibile
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Attualmente non disponibile
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Attualmente non disponibile
I modelli vision-language-action (VLA) collegano percezione, linguaggio e controllo motorio. Un VLA prende frame della telecamera più un'istruzione in linguaggio naturale ('prendi la tazza rossa') e produce azioni robot di basso livello — angoli articolari, comandi per il gripper, pose dell'end-effector. La maggior parte sono artefatti di ricerca da laboratori come Physical Intelligence, Google DeepMind, Stanford e Berkeley.
Il pricing in questa categoria non è ancora standardizzato. La maggior parte dei modelli su questa pagina gira su infrastruttura GPU dedicata — Vast.ai, Replicate, self-hosted — e si paga per secondo di calcolo di inferenza piuttosto che per chiamata o per token. Il costo di uno step di inferenza dipende dalla GPU e dalla dimensione del modello. Su Railwail questi modelli sono elencati come riferimento e al momento non si possono eseguire.
Il triangolo di compromessi è generalizzazione, latenza e scopo fisico. VLA più grandi (RT-2-X, OpenVLA-7B) generalizzano a oggetti e istruzioni nuove ma inferiscono a 1-3 Hz, troppo lento per controllo closed-loop e dexterous. I modelli distillati più piccoli (Octo, π-0-fast, RDT-1B) raggiungono 30-50 Hz ma generalizzano solo all'interno della loro distribuzione di training. Per la manipolazione tabletop in una cella controllata, il modello piccolo e veloce è di solito quello giusto. Per la ricerca che richiede generalizzazione linguistica e visuale, lo è il modello più grande.
Attenzione al gap sim-to-real: la maggior parte dei dati di training VLA viene raccolta in simulazione o su embodiment robot specifici. Distribuire su un braccio, un gripper o una geometria di telecamera diversi richiede tipicamente fine-tuning su un centinaio fino a qualche migliaio di nuove dimostrazioni. Attenzione anche alla sicurezza — questi modelli ogni tanto producono traiettorie articolari non sicure; eseguite sempre un filtro di sicurezza a basso livello (limiti articolari, limiti di forza, confini di workspace) tra la policy e l'hardware.
Le top picks qui sopra coprono il flagship di ricerca più generalizzabile, l'opzione più economica run-on-shared-GPU, il più grande modello open-weights e la policy di controllo in tempo reale più veloce. Le offerte commerciali managed-API verranno aggiunte man mano che i fornitori le lanciano.
La maggior parte dei modelli VLA su questa pagina è solo per ricerca — licenza Apache 2.0 o MIT sul codice, limitata alla ricerca non commerciale sui pesi. Alcuni (π-0-fast, RDT-1B) escono con licenze più ampie. Leggete sempre la model card prima di distribuire su un prodotto a pagamento. Si prevede che le offerte commerciali managed-API si diffondano nel 2026.
L'inferenza richiede tipicamente una singola GPU H100 o A100 per robot a 10-50 Hz. Le policy distillate più piccole (Octo-small, π-0-fast) possono girare su una singola 4090 o A6000. Per la ricerca, la maggior parte dei laboratori le esegue su workstation adiacenti al robot. Per la produzione, prevedete di dedicare una GPU per robot attivo o una GPU condivisa su una piccola flotta.
Sulle piattaforme GPU condivise (Vast.ai, Replicate) si paga per secondo di calcolo; il costo di uno step di inferenza dipende dalla GPU e dalla dimensione del modello. In self-hosting sul proprio hardware sono elettricità più ammortamento. Su Railwail i modelli VLA al momento non si possono eseguire.
La maggior parte dei VLA è addestrata su piattaforme specifiche — Franka Panda, UR5, ALOHA, mobile ALOHA, Cobot Magic, ecc. La generalizzazione cross-embodiment sta migliorando (Octo e RT-X erano tentativi espliciti), ma distribuire su un braccio nuovo richiede tipicamente 100-1.000 dimostrazioni di fine-tuning. Controllate la model card per gli embodiment di training.
Il pick-and-place tabletop è affidabile sulla maggior parte dei VLA. La dexterity multi-finger, la manipolazione in-hand e l'uso di tool sono ancora difficili — funzionano nelle demo ma generalizzano male. π-0 e RT-2 mostrano oggi la dexterity più forte nella ricerca aperta; aspettatevi rapidi progressi durante il 2026.
Una policy normale mappa osservazioni in azioni. Un VLA condiziona inoltre su un'istruzione in linguaggio naturale, così la stessa policy può fare 'prendi la tazza rossa' e 'prendi la tazza blu' dallo stesso modello. Questo sposta la complessità dal training per task al pretraining su larga scala su coppie istruzione-azione.
Raccogliete 100-1.000 dimostrazioni teleoperate dei vostri task target, poi eseguite supervised fine-tuning (tipicamente LoRA) sul checkpoint pre-addestrato. La maggior parte dei repository include uno script di fine-tuning. Prevedete 4-24 ore di tempo GPU per fine-tune su una singola H100, più qualche giorno di iterazione di evaluation.
Physical Intelligence, Skild AI, Covariant e una manciata di laboratori in stealth stanno costruendo esplicitamente VLA commerciali general-purpose con API gestite. Aspettatevi che le prime offerte commerciali (probabilmente verticalmente integrate con OEM robot specifici) arrivino tra 2026 e 2027. Railwail le elencherà qui man mano che vengono lanciate.
Tutti i modelli disponibili tramite un'API compatibile con OpenAI. Crediti prepagati in USD, nessun abbonamento.
