Modelos Vision-Language-Action que transformam imagens de câmera e instruções em ações de robô.
15 modelos
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Desativado
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Não oferecido no momento
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Não oferecido no momento
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Não oferecido no momento
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Não oferecido no momento
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Não oferecido no momento
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Não oferecido no momento
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Não oferecido no momento
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Não oferecido no momento
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Não oferecido no momento
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Não oferecido no momento
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Não oferecido no momento
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Não oferecido no momento
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Não oferecido no momento
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Não oferecido no momento
Os modelos vision-language-action (VLA) ligam perceção, linguagem e controlo motor. Um VLA recebe frames de câmara mais uma instrução em linguagem natural ('apanha a chávena vermelha') e devolve ações de robô de baixo nível — ângulos de articulação, comandos para o gripper, poses do end-effector. A maior parte são artefactos de investigação de laboratórios como Physical Intelligence, Google DeepMind, Stanford e Berkeley.
O pricing nesta categoria ainda não é standardizado. A maior parte dos modelos nesta página corre em infraestrutura GPU dedicada — Vast.ai, Replicate, self-hosted — e paga-se por segundo de computação de inferência em vez de por chamada ou por token. O custo de um passo de inferência depende da GPU e do tamanho do modelo. No Railwail, estes modelos estão listados como referência e não podem ser executados de momento.
O triângulo de compromissos é generalização, latência e âmbito físico. Os VLAs maiores (RT-2-X, OpenVLA-7B) generalizam para objetos e instruções novos mas fazem inferência a 1-3 Hz, demasiado lento para controlo dexterous em malha fechada. Modelos destilados mais pequenos (Octo, π-0-fast, RDT-1B) atingem 30-50 Hz mas só generalizam dentro da distribuição de treino. Para manipulação tabletop numa célula controlada, o modelo pequeno e rápido é normalmente o correto. Para investigação que precisa de generalização linguística e visual, é o modelo maior.
Atenção ao gap sim-to-real: a maior parte dos dados de treino dos VLA é recolhida em simulação ou sobre embodiments de robô específicos. Implementar num braço, gripper ou geometria de câmara diferentes requer normalmente fine-tuning sobre centenas a milhares de novas demonstrações. Atenção também à segurança — estes modelos por vezes geram trajetórias de articulação inseguras; coloque sempre um filtro de segurança de baixo nível (limites de articulação, limites de força, fronteiras de workspace) entre a policy e o hardware.
As top picks acima cobrem o flagship de investigação mais generalizável, a opção mais barata para correr em GPU partilhada, o maior modelo open-weights e a policy de controlo em tempo real mais rápida. Ofertas comerciais com API gerida serão acrescentadas à medida que os fornecedores as lançarem.
A maior parte dos modelos VLA nesta página é só para investigação — licença Apache 2.0 ou MIT no código, restrita a investigação não comercial nos pesos. Alguns (π-0-fast, RDT-1B) saem com licenças mais alargadas. Leia sempre o cartão do modelo antes de implementar num produto pago. Espera-se que ofertas comerciais com API gerida se generalizem ao longo de 2026.
A inferência exige normalmente uma única GPU H100 ou A100 por robô a 10-50 Hz. As policies destiladas mais pequenas (Octo-small, π-0-fast) podem correr numa única 4090 ou A6000. Em investigação, a maior parte dos laboratórios fá-las correr em workstations próximas do robô. Em produção, conte dedicar uma GPU por robô ativo ou uma GPU partilhada por uma pequena frota.
Em plataformas de GPU partilhada (Vast.ai, Replicate) paga-se por segundo de computação; o custo de um passo de inferência depende da GPU e do tamanho do modelo. Em self-hosting no seu próprio hardware é eletricidade mais amortização. No Railwail, os modelos VLA não podem ser executados de momento.
A maior parte dos VLA é treinada em plataformas específicas — Franka Panda, UR5, ALOHA, mobile ALOHA, Cobot Magic, etc. A generalização cross-embodiment está a melhorar (Octo e RT-X foram tentativas explícitas), mas implementar num braço novo exige tipicamente 100-1.000 demonstrações de fine-tuning. Verifique o cartão do modelo para os embodiments de treino.
Pick-and-place tabletop é fiável na maior parte dos VLA. Dexterity multi-finger, manipulação in-hand e uso de ferramentas continuam difíceis — funcionam em demos mas generalizam mal. O π-0 e o RT-2 mostram hoje a dexterity mais forte em investigação aberta; espere progresso rápido ao longo de 2026.
Uma policy normal mapeia observações em ações. Um VLA condiciona adicionalmente sobre uma instrução em linguagem natural, pelo que a mesma policy pode fazer 'apanha a chávena vermelha' e 'apanha a chávena azul' a partir do mesmo modelo. Isto desloca a complexidade do treino por tarefa para o pretrain em larga escala de pares instrução-ação.
Recolha 100-1.000 demonstrações teleoperadas das tarefas-alvo e corra supervised fine-tuning (tipicamente LoRA) no checkpoint pretrained. A maior parte dos repositórios inclui um script de fine-tuning. Planeie 4-24 horas de tempo de GPU por fine-tune numa única H100, mais alguns dias de iteração de avaliação.
Physical Intelligence, Skild AI, Covariant e meia dúzia de laboratórios em stealth estão a construir explicitamente VLAs comerciais de uso geral com APIs geridas. Espere que as primeiras ofertas comerciais (provavelmente verticalmente integradas com OEMs específicos de robôs) sejam lançadas ao longo de 2026 e 2027. O Railwail listá-las-á aqui à medida que forem chegando.
Todos os modelos disponíveis através de uma API compatível com OpenAI. Créditos pré-pagos em USD, sem assinatura.
