Modelos vision-language-action que convierten imágenes de cámara e instrucciones en acciones de robot.
15 modelos
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Desactivado
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Actualmente no disponible
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Actualmente no disponible
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Actualmente no disponible
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Actualmente no disponible
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Actualmente no disponible
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Actualmente no disponible
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Actualmente no disponible
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Actualmente no disponible
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Actualmente no disponible
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Actualmente no disponible
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Actualmente no disponible
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Actualmente no disponible
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Actualmente no disponible
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Actualmente no disponible
Los modelos visión-lenguaje-acción (VLA) tienden un puente entre percepción, lenguaje y control motor. Un VLA toma fotogramas de cámara más una instrucción en lenguaje natural («coge la taza roja») y emite acciones de bajo nivel del robot — ángulos articulares, comandos de pinza, poses del efector final. La mayoría son artefactos de investigación de laboratorios como Physical Intelligence, Google DeepMind, Stanford y Berkeley.
La tarificación en esta categoría aún no está estandarizada. La mayoría de los modelos en esta página corren en infraestructura GPU dedicada — Vast.ai, Replicate, auto-alojada — y pagas por segundo de cómputo de inferencia en lugar de por llamada o por token. Lo que cuesta un paso de inferencia depende de la GPU y del tamaño del modelo. En Railwail, estos modelos se listan como referencia y no se pueden ejecutar por ahora.
El triángulo de compromiso es generalización, latencia y alcance físico. Los VLA más grandes (RT-2-X, OpenVLA-7B) generalizan a objetos e instrucciones nuevas pero infieren a 1-3 Hz, lo cual es demasiado lento para control diestro en bucle cerrado. Los modelos destilados más pequeños (Octo, π-0-fast, RDT-1B) alcanzan 30-50 Hz pero solo generalizan dentro de su distribución de entrenamiento. Para manipulación sobre mesa en una celda controlada, el modelo pequeño y rápido suele ser correcto. Para investigación que necesita generalización lingüística y visual, lo es el modelo más grande.
Cuidado con la brecha sim-to-real: la mayoría de los datos de entrenamiento de VLA se recogen en simulación o en encarnaciones robóticas específicas. Desplegar en un brazo, pinza o geometría de cámara distintas suele requerir afinado con unos cientos o unos miles de demostraciones nuevas. Cuidado también con la seguridad — estos modelos ocasionalmente emiten trayectorias articulares inseguras; ejecuta siempre un filtro de seguridad de bajo nivel (límites articulares, límites de fuerza, límites de área de trabajo) entre la política y el hardware.
Las selecciones principales arriba cubren el puntero de investigación más generalizable, la opción más barata para correr en GPU compartida, el modelo de pesos abiertos más grande y la política de control en tiempo real más rápida. Las ofertas comerciales de API gestionada se añadirán según los proveedores las lancen.
La mayoría de los modelos VLA en esta página son solo para investigación — licencia Apache 2.0 o MIT en el código, restringida a investigación no comercial en los pesos. Unos pocos (π-0-fast, RDT-1B) llegan con licencias más amplias. Lee siempre la ficha del modelo antes de desplegar en un producto de pago. Se espera que las ofertas comerciales de API gestionada vayan saliendo a lo largo de 2026.
La inferencia típicamente requiere una sola GPU H100 o A100 por robot a 10-50 Hz. Las políticas destiladas más pequeñas (Octo-small, π-0-fast) pueden correr en una sola 4090 o A6000. Para investigación, la mayoría de los laboratorios las ejecutan en estaciones de trabajo adyacentes al robot. Para producción, espera dedicar una GPU por robot activo o una GPU compartida entre una pequeña flota.
En plataformas de GPU compartida (Vast.ai, Replicate) pagas por segundo de cómputo; lo que cuesta un paso de inferencia depende de la GPU y del tamaño del modelo. Auto-alojado en tu propio hardware es electricidad más amortización. En Railwail, los modelos VLA no se pueden ejecutar por ahora.
La mayoría de los VLA están entrenados en plataformas específicas — Franka Panda, UR5, ALOHA, ALOHA móvil, Cobot Magic, etc. La generalización entre encarnaciones está mejorando (Octo y RT-X fueron intentos explícitos) pero desplegar en un nuevo brazo aún suele requerir 100-1 000 demostraciones de afinado. Consulta la ficha del modelo para las encarnaciones entrenadas.
El pick-and-place sobre mesa es fiable en la mayoría de los VLA. La destreza multi-dedo, la manipulación en mano y el uso de herramientas siguen siendo difíciles — funcionan en demos pero generalizan mal. π-0 y RT-2 muestran la mayor destreza hasta la fecha en investigación abierta; espera progresos rápidos a lo largo de 2026.
Una política normal mapea observaciones a acciones. Un VLA además condiciona sobre una instrucción en lenguaje natural, así la misma política puede hacer «coge la taza roja» y «coge el vaso azul» desde el mismo modelo. Esto desplaza la complejidad del entrenamiento por tarea al preentrenamiento instrucción-acción a gran escala.
Recoge 100-1 000 demostraciones teleoperadas de tus tareas objetivo, luego ejecuta afinado supervisado (típicamente LoRA) sobre el checkpoint preentrenado. La mayoría de los repositorios incluyen un script de afinado. Planifica 4-24 horas de tiempo de GPU por afinado en una sola H100, más unos días de iteración de evaluación.
Physical Intelligence, Skild AI, Covariant y un puñado de laboratorios en sigilo están construyendo explícitamente VLA comerciales de propósito general con APIs gestionadas. Espera las primeras ofertas comerciales (probablemente integradas verticalmente con OEMs de robots específicos) a lo largo de 2026 y 2027. Railwail las listará aquí según vayan lanzándose.
Todos los modelos disponibles a través de una API compatible con OpenAI. Créditos prepagados en USD, sin suscripción.
