Modele Vision-Language-Action, które zamieniają obrazy z kamery i instrukcje na działania robota.
15 modeli
Action Chunking with Transformers, the imitation-learning policy from the ALOHA project, in the LeRobot implementation. It is trained from scratch on your own LeRobot dataset (no pretrained base model), predicts chunks of future joint actions from camera images and robot state, and trains quickly on a single GPU. Railwail offers it for fine-tuning only, not for hosted inference.
actaloharobotics
Wyłączone
NVIDIA's open 3B-parameter vision-language-action model for humanoids and robot arms: camera images, a language instruction and robot state in, continuous action vectors out. Weights under the NVIDIA Open Model License (commercial use allowed). Fine-tunable on your own LeRobot datasets.
nvidiagrootvla
Obecnie niedostępne
Google DeepMind
Google DeepMind's vision-language-action model based on Gemini 2.0. Generalist robot policy with strong dexterity.
geminivlarobotics
Obecnie niedostępne
Google DeepMind
Embodied-reasoning variant of Gemini Robotics. Enhanced 3D spatial reasoning and trajectory planning.
geminivlarobotics
Obecnie niedostępne
Google DeepMind
Google's VLA from RT-X collaboration. Trained on Open-X-Embodiment (22 robots, 527 skills), positive transfer.
vlaroboticsresearch-only
Obecnie niedostępne
Other
HuggingFace's 450M VLA pretrained on 487 community LeRobot datasets. Runs on consumer GPUs.
lerobotvlarobotics
Obecnie niedostępne
NVIDIA's world foundation model for physical AI. Diffusion-based video prediction for robotics simulation.
nvidiacosmosvla
Obecnie niedostępne
NVIDIA's earlier 3B vision-language-action model (June 2025). Its weights are licensed for non-commercial use only, so Railwail does not run or fine-tune it. Use GR00T N1.7, which is commercially licensable.
nvidiagrootvla
Obecnie niedostępne
Other
Berkeley/Stanford 93M transformer diffusion policy. Pretrained on 800k Open-X-Embodiment episodes.
berkeleystanfordvla
Obecnie niedostępne
Other
Compact 27M variant of Octo. Faster inference on consumer GPUs, designed for low-latency control.
berkeleyvlarobotics
Obecnie niedostępne
Other
Stanford/Berkeley open VLA trained on 970k Open-X-Embodiment episodes. Supports LoRA fine-tuning.
stanfordberkeleyvla
Obecnie niedostępne
Physical Intelligence
Autoregressive π-0 variant using FAST action tokenizer. Faster inference at competitive task success.
vlaroboticsresearch-only
Obecnie niedostępne
Physical Intelligence
Physical Intelligence's flagship VLA flow-matching policy. Generalist robot control, pretrained on 10k+ hrs robot data.
vlaroboticsresearch-only
Obecnie niedostępne
Physical Intelligence
Upgraded π-0 with open-world generalization via knowledge insulation. Weights and fine-tuning open-sourced.
vlaroboticsresearch-only
Obecnie niedostępne
Other
Tsinghua's 1B diffusion-transformer bimanual manipulation policy. Predicts next 64 actions per inference.
tsinghuavlarobotics
Obecnie niedostępne
Modele vision-language-action (VLA) łączą percepcję, język i sterowanie motoryczne. VLA bierze klatki z kamery plus instrukcję w języku naturalnym ('podnieś czerwony kubek') i zwraca akcje robota niskiego poziomu — kąty stawów, komendy do grippera, pozy end-effectora. Większość to artefakty badawcze z laboratoriów takich jak Physical Intelligence, Google DeepMind, Stanford i Berkeley.
Cennik w tej kategorii nie jest jeszcze ustandaryzowany. Większość modeli na tej stronie działa na dedykowanej infrastrukturze GPU — Vast.ai, Replicate, self-hosted — i płacisz za sekundę obliczeń inferencyjnych, a nie za wywołanie czy za token. Koszt kroku inferencji zależy od GPU i wielkości modelu. Na Railwail te modele są wymienione informacyjnie i obecnie nie można ich uruchomić.
Trójkąt kompromisu to generalizacja, opóźnienie i zakres fizyczny. Większe VLA (RT-2-X, OpenVLA-7B) generalizują na nowe obiekty i instrukcje, ale wnioskują przy 1-3 Hz, za wolno dla zamkniętej pętli zręcznego sterowania. Mniejsze destylowane modele (Octo, π-0-fast, RDT-1B) osiągają 30-50 Hz, ale generalizują tylko w obrębie swojej dystrybucji treningowej. Dla manipulacji tabletop w kontrolowanej celi mały szybki model jest zwykle właściwy. Dla badań wymagających generalizacji językowej i wizualnej jest większy model.
Uwaga na lukę sim-to-real: większość danych treningowych VLA jest zbierana w symulacji albo na specyficznych embodimentach robotów. Wdrożenie na innym ramieniu, gripperze czy geometrii kamery zwykle wymaga fine-tuningu na kilkuset do kilku tysięcy nowych demonstracjach. Uwaga też na bezpieczeństwo — te modele czasem wyrzucają niebezpieczne trajektorie stawów; zawsze umieść filtr bezpieczeństwa niskiego poziomu (limity stawów, limity siły, granice workspace) między policy a sprzętem.
Top picks powyżej obejmują najbardziej generalizowalnego flagshipa badawczego, najtańszą opcję na współdzielonym GPU, największy model open-weights oraz najszybszą policy sterowania real-time. Komercyjne oferty managed-API zostaną dodane, gdy dostawcy je wypuszczą.
Większość modeli VLA na tej stronie jest tylko badawcza — licencja Apache 2.0 albo MIT na kod, ograniczona do badań niekomercyjnych na wagach. Kilka (π-0-fast, RDT-1B) wychodzi z szerszymi licencjami. Zawsze przeczytaj kartę modelu przed wdrożeniem w płatnym produkcie. Oczekuje się, że komercyjne oferty managed-API rozwiną się w trakcie 2026 roku.
Inferencja zwykle wymaga jednej GPU H100 lub A100 na robota przy 10-50 Hz. Mniejsze destylowane policy (Octo-small, π-0-fast) działają na pojedynczej 4090 lub A6000. W badaniach większość laboratoriów uruchamia je na workstacjach obok robota. W produkcji licz na poświęcenie jednej GPU na aktywnego robota lub jednej współdzielonej GPU na małą flotę.
Na platformach ze współdzielonymi GPU (Vast.ai, Replicate) płacisz za sekundę obliczeń; koszt kroku inferencji zależy od GPU i wielkości modelu. Self-hosting na własnym sprzęcie to prąd plus amortyzacja. Na Railwail modeli VLA nie można obecnie uruchomić.
Większość VLA trenowana jest na konkretnych platformach — Franka Panda, UR5, ALOHA, mobile ALOHA, Cobot Magic itd. Generalizacja cross-embodiment się poprawia (Octo i RT-X były jawnymi próbami), ale wdrożenie na nowym ramieniu zwykle wymaga 100-1 000 demonstracji fine-tuningowych. Sprawdź kartę modelu pod embodimenty treningowe.
Pick-and-place tabletop jest niezawodny na większości VLA. Zręczność multi-finger, manipulacja in-hand i użycie narzędzi są wciąż trudne — działają w demach, ale generalizują słabo. π-0 i RT-2 pokazują dziś najsilniejszą zręczność w otwartych badaniach; spodziewaj się szybkiego postępu w 2026 roku.
Zwykła policy mapuje obserwacje na akcje. VLA dodatkowo warunkuje na instrukcji w języku naturalnym, więc ta sama policy może wykonywać 'podnieś czerwony kubek' i 'podnieś niebieski kubek' z tego samego modelu. To przesuwa złożoność z treningu per-task do wielkoskalowego pretreningu instrukcja-akcja.
Zbierz 100-1 000 demonstracji teleoperowanych docelowych zadań, potem uruchom supervised fine-tuning (zwykle LoRA) na pretrenowanym checkpoincie. Większość repozytoriów ma skrypt fine-tuningowy. Planuj 4-24 godziny czasu GPU na fine-tune na pojedynczej H100, plus kilka dni iteracji ewaluacji.
Physical Intelligence, Skild AI, Covariant i garstka laboratoriów w stealth otwarcie budują uniwersalne komercyjne VLA z zarządzanymi API. Spodziewaj się, że pierwsze oferty komercyjne (prawdopodobnie zintegrowane wertykalnie z konkretnymi OEM robotów) wypuszczą się w 2026 i 2027 roku. Railwail wymieni je tutaj, gdy będą wchodzić.
Wszystkie dostępne modele przez jedno API kompatybilne z OpenAI. Przedpłacone kredyty w USD, bez subskrypcji.
