Vision-Language-Action-Modelle, die aus Kamerabildern und Anweisungen Roboteraktionen ableiten.
15 Modelle
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Deaktiviert
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Derzeit nicht im Angebot
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Derzeit nicht im Angebot
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Derzeit nicht im Angebot
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Derzeit nicht im Angebot
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Derzeit nicht im Angebot
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Derzeit nicht im Angebot
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Derzeit nicht im Angebot
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Derzeit nicht im Angebot
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Derzeit nicht im Angebot
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Derzeit nicht im Angebot
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Derzeit nicht im Angebot
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Derzeit nicht im Angebot
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Derzeit nicht im Angebot
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Derzeit nicht im Angebot
Vision-Language-Action-Modelle (VLA) verbinden Wahrnehmung, Sprache und Motorsteuerung. Ein VLA nimmt Kameraframes plus eine natürlichsprachliche Anweisung ('hebe den roten Becher auf') und gibt Low-Level-Roboteraktionen aus — Gelenkwinkel, Greiferbefehle, Endeffektor-Posen. Die meisten Modelle sind Forschungsartefakte aus Laboren wie Physical Intelligence, Google DeepMind, Stanford und Berkeley.
Die Preisgestaltung in dieser Kategorie ist noch nicht standardisiert. Die meisten Modelle auf dieser Seite laufen auf dedizierter GPU-Infrastruktur — Vast.ai, Replicate, selbst gehostet — und du zahlst pro Sekunde Inferenz-Rechenzeit statt pro Aufruf oder pro Token. Was ein Inferenz-Schritt kostet, hängt von GPU und Modellgrösse ab. Auf Railwail sind diese Modelle zur Orientierung gelistet und lassen sich derzeit nicht ausführen.
Das Trade-off-Dreieck heisst Generalisierung, Latenz und physischer Umfang. Grössere VLAs (RT-2-X, OpenVLA-7B) generalisieren auf neue Objekte und Anweisungen, inferieren aber mit 1–3 Hz, was für Closed-Loop-Dexterous-Control zu langsam ist. Kleinere destillierte Modelle (Octo, π-0-fast, RDT-1B) erreichen 30–50 Hz, generalisieren aber nur innerhalb ihrer Trainingsverteilung. Für Tisch-Manipulation in einer kontrollierten Zelle ist meist das kleine schnelle Modell korrekt. Für Forschung, die Sprach- und visuelle Generalisierung braucht, ist es das grössere.
Achte auf den Sim-to-Real-Gap: Die meisten VLA-Trainingsdaten werden in der Simulation oder auf bestimmten Roboter-Embodiments erhoben. Deployment auf einem anderen Arm, Greifer oder einer anderen Kamera-Geometrie braucht typisch Fine-Tuning auf einigen Hundert bis einigen Tausend neuen Demonstrationen. Achte auch auf Sicherheit — diese Modelle geben gelegentlich unsichere Gelenktrajektorien aus; lass immer einen Low-Level-Safety-Filter (Gelenklimits, Kraftlimits, Arbeitsraumgrenzen) zwischen Policy und Hardware laufen.
Die Top-Picks oben decken das generalisierbarste Forschungs-Flagship, die günstigste Option für geteilte GPUs, das grösste Open-Weights-Modell und die schnellste Echtzeit-Control-Policy ab. Kommerzielle Managed-API-Angebote werden ergänzt, sobald Anbieter sie ausspielen.
Die meisten VLA-Modelle auf dieser Seite sind reine Forschungsmodelle — Apache 2.0 oder MIT-Lizenz auf dem Code, auf nicht-kommerzielle Forschung beschränkt bei den Gewichten. Wenige (π-0-fast, RDT-1B) liefern breitere Lizenzen aus. Lies die Modellkarte immer, bevor du in einem bezahlten Produkt ausspielst. Kommerzielle Managed-API-Angebote werden voraussichtlich über 2026 ausgerollt.
Inferenz braucht typisch eine einzelne H100 oder A100 GPU pro Roboter bei 10–50 Hz. Kleinere destillierte Policies (Octo-small, π-0-fast) laufen auf einer einzelnen 4090 oder A6000. In der Forschung laufen sie in den meisten Laboren auf Workstations direkt am Roboter. Für die Produktion plane mit einer dedizierten GPU pro aktivem Roboter oder einer geteilten GPU über eine kleine Flotte.
Auf geteilten GPU-Plattformen (Vast.ai, Replicate) zahlst du pro Sekunde Rechenzeit; was ein Inferenz-Schritt kostet, hängt von GPU und Modellgrösse ab. Selbst gehostet auf eigener Hardware sind es Strom plus Abschreibung. Auf Railwail lassen sich die VLA-Modelle derzeit nicht ausführen.
Die meisten VLAs werden auf bestimmten Plattformen trainiert — Franka Panda, UR5, ALOHA, Mobile ALOHA, Cobot Magic usw. Cross-Embodiment-Generalisierung verbessert sich (Octo und RT-X waren explizite Versuche), aber Deployment auf einem neuen Arm braucht typisch immer noch 100–1.000 Fine-Tuning-Demonstrationen. Schau in die Modellkarte für trainierte Embodiments.
Tischbasiertes Pick-and-Place ist auf den meisten VLAs zuverlässig. Mehrfinger-Geschicklichkeit, In-Hand-Manipulation und Tool-Use sind weiterhin schwer — sie funktionieren in Demos, generalisieren aber schlecht. π-0 und RT-2 zeigen aktuell die stärkste Geschicklichkeit in der offenen Forschung; rechne mit raschen Fortschritten bis 2026.
Eine normale Policy mappt Beobachtungen auf Aktionen. Ein VLA konditioniert zusätzlich auf eine natürlichsprachliche Anweisung, sodass dieselbe Policy 'hebe den roten Becher auf' und 'hebe die blaue Tasse auf' aus demselben Modell heraus kann. Das verschiebt Komplexität vom Per-Task-Training hin zu grossmassstäblichem Instruction-Action-Pretraining.
Sammle 100–1.000 teleoperierte Demonstrationen deiner Zielaufgaben und führe dann supervised Fine-Tuning (typisch LoRA) auf dem vortrainierten Checkpoint aus. Die meisten Repositories enthalten ein Fine-Tuning-Skript. Plane mit 4–24 Stunden GPU-Zeit pro Fine-Tune auf einer einzelnen H100, plus ein paar Tagen Evaluierungs-Iteration.
Physical Intelligence, Skild AI, Covariant und eine Handvoll Stealth-Labore bauen explizit allzweckfähige kommerzielle VLAs mit Managed APIs. Rechne damit, dass die ersten kommerziellen Angebote (wahrscheinlich vertikal integriert mit bestimmten Roboter-OEMs) über 2026 und 2027 ausgespielt werden. Railwail listet sie hier, sobald sie an den Start gehen.
Alle verfügbaren Modelle über eine OpenAI-kompatible API. Guthaben in USD im Voraus, kein Abo.
