Vision-Language-Action-modellen die camerabeelden en instructies omzetten in robotacties.
15 modellen
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Gedeactiveerd
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Momenteel niet beschikbaar
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Momenteel niet beschikbaar
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Momenteel niet beschikbaar
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Momenteel niet beschikbaar
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Momenteel niet beschikbaar
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Momenteel niet beschikbaar
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Momenteel niet beschikbaar
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Momenteel niet beschikbaar
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Momenteel niet beschikbaar
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Momenteel niet beschikbaar
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Momenteel niet beschikbaar
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Momenteel niet beschikbaar
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Momenteel niet beschikbaar
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Momenteel niet beschikbaar
Vision-language-action (VLA) modellen overbruggen perceptie, taal en motorische besturing. Een VLA neemt camerabeelden plus een natuurlijke-taalinstructie ('pak de rode mok') en levert robotacties op laag niveau — gewrichtshoeken, gripper-opdrachten, end-effector-posities. De meeste zijn onderzoeksartefacten van labs als Physical Intelligence, Google DeepMind, Stanford en Berkeley.
Pricing in deze categorie is nog niet gestandaardiseerd. De meeste modellen op deze pagina draaien op dedicated GPU-infrastructuur — Vast.ai, Replicate, self-hosted — en je betaalt per seconde inference-compute in plaats van per call of per token. Wat een inference-stap kost, hangt af van de GPU en de modelgrootte. Op Railwail staan deze modellen ter referentie in de catalogus en kunnen ze momenteel niet worden uitgevoerd.
De afwegingsdriehoek is generalisatie, latency en fysieke reikwijdte. Grotere VLA's (RT-2-X, OpenVLA-7B) generaliseren naar nieuwe objecten en instructies maar inferereren op 1-3 Hz, te traag voor gesloten-lus dexterieuze besturing. Kleinere gedistilleerde modellen (Octo, π-0-fast, RDT-1B) halen 30-50 Hz maar generaliseren alleen binnen hun trainingsdistributie. Voor tafelmanipulatie in een gecontroleerde cel is het kleine snelle model meestal de juiste keuze. Voor onderzoek dat taal- en visuele generalisatie nodig heeft, is het grotere model dat.
Pas op met de sim-to-real-gap: de meeste VLA-trainingsdata wordt in simulatie verzameld of op specifieke robot-embodiments. Uitrollen op een andere arm, gripper of camerageometrie vereist meestal fine-tuning op enkele honderden tot enkele duizenden nieuwe demonstraties. Pas ook op met veiligheid — deze modellen produceren af en toe onveilige gewrichtstrajecten; laat altijd een low-level safety filter (gewrichtsgrenzen, krachtgrenzen, workspace-grenzen) tussen policy en hardware draaien.
De topkeuzes hierboven dekken het meest generaliseerbare research-flagship, de goedkoopste run-op-gedeelde-GPU-optie, het grootste open-weights-model en de snelste realtime besturingspolicy. Commerciële managed-API-aanbiedingen worden toegevoegd zodra providers ze lanceren.
De meeste VLA-modellen op deze pagina zijn research-only — Apache 2.0- of MIT-licentie op de code, beperkt tot niet-commercieel onderzoek op de weights. Een paar (π-0-fast, RDT-1B) hebben bredere licenties. Lees altijd de modelkaart voor je in een betaald product uitrolt. Commerciële managed-API-aanbiedingen worden in de loop van 2026 verwacht.
Inference vereist meestal één H100 of A100 GPU per robot op 10-50 Hz. Kleinere gedistilleerde policies (Octo-small, π-0-fast) kunnen op een enkele 4090 of A6000 draaien. Voor onderzoek draaien de meeste labs ze op workstations naast de robot. Voor productie reken op één GPU per actieve robot of een gedeelde GPU over een kleine vloot.
Op gedeelde GPU-platforms (Vast.ai, Replicate) betaal je per seconde compute; wat een inference-stap kost, hangt af van de GPU en de modelgrootte. Self-hosted op eigen hardware is het stroom plus afschrijving. Op Railwail kunnen de VLA-modellen momenteel niet worden uitgevoerd.
De meeste VLA's worden getraind op specifieke platforms — Franka Panda, UR5, ALOHA, mobile ALOHA, Cobot Magic, enz. Cross-embodiment-generalisatie verbetert (Octo en RT-X waren expliciete pogingen), maar uitrollen op een nieuwe arm vereist meestal nog 100-1.000 fine-tuning demonstraties. Controleer de modelkaart voor getrainde embodiments.
Tafel-pick-and-place is betrouwbaar op de meeste VLA's. Multi-finger dexterity, in-hand manipulation en tool use zijn nog moeilijk — ze werken in demo's maar generaliseren slecht. π-0 en RT-2 tonen tot nu toe de sterkste dexterity in open onderzoek; verwacht snelle vooruitgang gedurende 2026.
Een gewone policy mapt observaties naar acties. Een VLA conditioneert daarnaast op een natuurlijke-taalinstructie, zodat hetzelfde model 'pak de rode mok' en 'pak de blauwe beker' kan doen vanuit hetzelfde model. Dat verschuift complexiteit van per-task-training naar grootschalig instructie-actie-pretrainen.
Verzamel 100-1.000 teleoperatieve demonstraties van je doeltaken en draai supervised fine-tuning (meestal LoRA) op het pretrained checkpoint. De meeste repositories bevatten een fine-tuning script. Plan 4-24 uur GPU-tijd per fine-tune op een enkele H100, plus enkele dagen evaluatie-iteratie.
Physical Intelligence, Skild AI, Covariant en een handvol stealth labs bouwen expliciet aan algemene commerciële VLA's met managed API's. Verwacht dat de eerste commerciële aanbiedingen (waarschijnlijk verticaal geïntegreerd met specifieke robot-OEM's) in 2026 en 2027 uitrollen. Railwail vermeldt ze hier zodra ze worden gelanceerd.
Elk beschikbaar model via één OpenAI-compatibele API. Prepaid credits in USD, geen abonnement.
