Modèles vision-langage-action qui transforment les images de caméra et les instructions en actions robotiques.
15 modèles
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Désactivé
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Actuellement non proposé
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Actuellement non proposé
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Actuellement non proposé
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Actuellement non proposé
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Actuellement non proposé
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Actuellement non proposé
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Actuellement non proposé
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Actuellement non proposé
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Actuellement non proposé
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Actuellement non proposé
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Actuellement non proposé
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Actuellement non proposé
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Actuellement non proposé
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Actuellement non proposé
Les modèles vision-langage-action (VLA) font le pont entre perception, langage et contrôle moteur. Un VLA prend des frames de caméra plus une instruction en langage naturel (« prends la tasse rouge ») et sort des actions robot bas niveau — angles articulaires, commandes de pince, poses d'effecteur final. La plupart sont des artefacts de recherche de laboratoires comme Physical Intelligence, Google DeepMind, Stanford et Berkeley.
La tarification dans cette catégorie n'est pas encore standardisée. La plupart des modèles de cette page tournent sur infrastructure GPU dédiée — Vast.ai, Replicate, auto-hébergé — et vous payez à la seconde de compute d'inférence plutôt qu'à l'appel ou au token. Le coût d'une étape d'inférence dépend du GPU et de la taille du modèle. Sur Railwail, ces modèles sont listés à titre de référence et ne peuvent pas être exécutés pour le moment.
Le triangle de compromis est généralisation, latence et portée physique. Les VLA plus grands (RT-2-X, OpenVLA-7B) généralisent à des objets et instructions inédits mais inférent à 1 à 3 Hz, ce qui est trop lent pour le contrôle dextérité en boucle fermée. Les modèles distillés plus petits (Octo, π-0-fast, RDT-1B) atteignent 30 à 50 Hz mais ne généralisent que dans leur distribution d'entraînement. Pour la manipulation sur table dans une cellule contrôlée, le petit modèle rapide est généralement correct. Pour la recherche qui a besoin de généralisation langagière et visuelle, le plus grand l'est.
Attention au gap sim-to-real : la plupart des données d'entraînement VLA sont collectées en simulation ou sur des embodiments robot précis. Déployer sur un autre bras, une autre pince ou une autre géométrie de caméra nécessite typiquement un fine-tuning sur quelques centaines à quelques milliers de nouvelles démonstrations. Attention aussi à la sécurité — ces modèles sortent occasionnellement des trajectoires articulaires unsafe ; lancez toujours un filtre de sécurité bas niveau (limites articulaires, limites de force, limites de workspace) entre la politique et le matériel.
Les top picks ci-dessus couvrent le phare de recherche le plus généralisable, l'option à exécuter sur GPU mutualisé la moins chère, le plus grand modèle open-weights et la politique de contrôle temps réel la plus rapide. Les offres API managées commerciales seront ajoutées au fur et à mesure que les fournisseurs les lanceront.
La plupart des modèles VLA sur cette page sont uniquement pour la recherche — licence Apache 2.0 ou MIT sur le code, restreints à la recherche non commerciale sur les poids. Quelques-uns (π-0-fast, RDT-1B) livrent avec des licences plus larges. Lisez toujours la fiche modèle avant de déployer sur un produit payant. Les offres API managées commerciales sont attendues au cours de 2026.
L'inférence nécessite typiquement un seul GPU H100 ou A100 par robot à 10 à 50 Hz. Les politiques distillées plus petites (Octo-small, π-0-fast) peuvent tourner sur un seul 4090 ou A6000. Pour la recherche, la plupart des labos les exécutent sur des workstations adjacentes au robot. Pour la production, prévoyez de dédier un GPU par robot actif ou un GPU partagé sur une petite flotte.
Sur les plateformes GPU mutualisé (Vast.ai, Replicate), vous payez à la seconde de compute ; le coût d'une étape d'inférence dépend du GPU et de la taille du modèle. L'auto-hébergement sur votre propre matériel est l'électricité plus la dépréciation. Sur Railwail, les modèles VLA ne peuvent pas être exécutés pour le moment.
La plupart des VLA sont entraînés sur des plateformes précises — Franka Panda, UR5, ALOHA, mobile ALOHA, Cobot Magic, etc. La généralisation cross-embodiment s'améliore (Octo et RT-X étaient des tentatives explicites) mais déployer sur un nouveau bras nécessite encore typiquement 100 à 1 000 démonstrations de fine-tuning. Consultez la fiche modèle pour les embodiments entraînés.
Le pick-and-place sur table est fiable sur la plupart des VLA. La dextérité multi-doigt, la manipulation en main et l'usage d'outils restent durs — ils fonctionnent en démo mais généralisent mal. π-0 et RT-2 montrent la dextérité la plus forte à ce jour en recherche ouverte ; attendez-vous à des progrès rapides en 2026.
Une politique classique mappe des observations à des actions. Un VLA conditionne en plus sur une instruction en langage naturel, donc la même politique peut faire « prends la tasse rouge » et « prends la coupe bleue » depuis le même modèle. Ceci déplace la complexité d'un entraînement par tâche vers un pré-entraînement instruction-action à grande échelle.
Collectez 100 à 1 000 démonstrations téléopérées de vos tâches cibles, puis lancez un fine-tuning supervisé (typiquement LoRA) sur le checkpoint pré-entraîné. La plupart des dépôts incluent un script de fine-tuning. Prévoyez 4 à 24 heures de temps GPU par fine-tune sur un seul H100, plus quelques jours d'itération d'évaluation.
Physical Intelligence, Skild AI, Covariant et une poignée de labos furtifs construisent explicitement des VLA commerciaux généralistes avec API managées. Attendez-vous aux premières offres commerciales (probablement verticalement intégrées avec des OEM robot précis) au cours de 2026 et 2027. Railwail les listera ici à mesure de leur sortie.
Tous les modèles disponibles via une API compatible OpenAI. Crédits prépayés en USD, sans abonnement.
