CorpusMarket Robotik

Vad är en VLA-modell?

En VLA-modell är den sorts AI-modell som driver de flesta nya robotar för allmänna ändamål. Den ser genom robotens kameror, läser en instruktion på vanligt språk och ger ifrån sig de rörelser som krävs för att utföra den. Hur bra den gör det beror till stor del på vad den har fått se under träningen.

Av Linus Näslund, Co-Founder

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar
Innehåll06
  1. 01Den korta definitionen
  2. 02Hur en vision-language-action-modell bygger vidare på en vision-language-modell
  3. 03Vad VLA-modeller tränas på
  4. 04Kända VLA-modeller
  5. 05Vad VLA-modeller klarar och inte klarar i dag
  6. 06Därför är VLA-modeller hungriga på varierad data från verkligheten

Den korta definitionen

En VLA-modell, kort för vision-language-action-modell, är ett enda neuralt nätverk med tre uppgifter. Den ser (vision), den förstår en instruktion (language) och den rör en robot (action).

Ge den en kamerabild av en stökig bänk och orden ”ställ kopparna i diskhon”. Då ger den ifrån sig en kort skur av motorkommandon. Roboten rör sig, kameran visar den nya scenen och modellen ger nästa skur. Det upprepas flera gånger i sekunden tills uppgiften är klar.

Före VLA-modellerna sköttes detta av skilda system, byggda av skilda team: ett som kände igen föremål, ett som planerade och ett som styrde armen. En VLA-modell lär sig alltihop på en gång utifrån exempel.

Hur en vision-language-action-modell bygger vidare på en vision-language-modell

En vision-language-modell, eller VLM, är den sorts AI som kan titta på ett foto och svara på frågor om det. Den har lärt sig av ett mycket stort antal bilder och bildtexter på internet. Den vet vad en kopp är, vad en diskho är och vad ”i” betyder.

Det den inte kan är att flytta på något. Det enda den ger ifrån sig är text.

En VLA-modell löser det genom att lära samma modell en ny sorts utdata. Google DeepMinds RT-2, som upphovspersonerna presenterade som en vision-language-action-modell, gjorde det på ett enkelt sätt. Den skrev ut robothandlingar som korta textsträngar och lät modellen producera dem på samma sätt som den skulle producera ord. Modellen tränades sedan på webbdata och robotdata tillsammans, så att den behöll det den visste om världen medan den lärde sig att agera.

Senare modeller har ändrat detaljerna. Några lägger till en separat del som genererar mjuka rörelser med diffusion eller en besläktad teknik (se så lär sig robotar för vad det innebär). Principen är densamma: börja med en modell som förstår bilder och språk, och träna den sedan på inspelningar av fysiska arbetsmoment.

Vad VLA-modeller tränas på

Träningsdatan har två lager.

Bilder och text från internet. Det ger modellen allmän kunskap. Det finns gott om sådan data, och den samlades in långt innan någon tänkte på robotar.

Inspelningar av fysiska arbetsmoment. Det är här modellen lär sig att agera, och inspelningarna finns i tre former:

  • Robotdemonstrationer. En person styr en robot genom en uppgift medan allt spelas in. Den största gemensamma samlingen, Open X-Embodiment, rymmer mer än en miljon robotinspelningar från 22 sorters robotar.
  • Video av människor. Filmer i förstapersonsperspektiv av händer som utför riktiga arbetsmoment. De innehåller inga motorkommandon för robotar, men de visar hur arbete utförs på långt fler platser än robotar någonsin har varit.
  • Syntetisk data. Exempel som genereras i simulering eller av världsmodeller.

Det första lagret är enormt och det andra är litet. Vår guide till träningsdata för robotar förklarar varför det är så svårt att få det andra lagret att växa.

Kända VLA-modeller

ModellSläppt avTillgänglighetPå en rad
RT-2Google DeepMindForskningsmodellTränad på webbdata och robotdata tillsammans, med handlingar utskrivna som ord
OpenVLAForskare vid Stanford, UC Berkeley, Toyota Research Institute, Google DeepMind, Physical Intelligence och MITÖppen källkodEn modell med 7 miljarder parametrar, tränad på cirka 970 000 robotinspelningar från Open X-Embodiment
π0 (pi0)Physical IntelligenceÖppen kod och öppna vikterBygger på en förtränad vision-language-modell och genererar rörelse med en teknik som kallas flow matching
GR00TNVIDIAÖppna modellerModeller för humanoida robotar, tränade på video av människor, teleopererad robotdata och syntetisk data
Gemini RoboticsGoogle DeepMindBegränsad tillgång för testareGoogle DeepMinds nuvarande vision-language-action-modeller, bland dem en version som körs på själva roboten
HelixFigureAnvänds på Figures egna robotarStyr överkroppen på Figures humanoid, fingrarna inräknade, och körs på robotens inbyggda datorer
SmolVLAHugging FaceÖppen källkodEn liten modell tränad på dataset som delats av robotikgemenskapen, gjord för att köras på konsumenthårdvara

Listan ändras snabbt. Nya versioner kommer med några månaders mellanrum, och namnen ovan är snarare familjer än enskilda modeller.

Vad VLA-modeller klarar och inte klarar i dag

Här finns det skäl att vara noga, eftersom demonstrationsvideor visar de bästa försöken.

Det de gör hyfsat bra. De följer enkla talade eller skrivna instruktioner. De hanterar föremål som de aldrig har tränats specifikt på, eftersom vision-language-lagret känner igen dem. De utför korta uppgifter på ett bord, som att plocka, placera, sortera, torka av och öppna lådor. Med extra träning på en enskild uppgift kan de klara längre och pilligare jobb. Physical Intelligence har till exempel visat tvättvikning och hopsättning av kartonger.

Det de gör dåligt. De är långsamma jämfört med en människa. De misslyckas oftare än någon arbetsgivare skulle godta av en anställd, och de misslyckas på ovana sätt. De har svårt med långa jobb som består av många steg, med trånga utrymmen, med verktyg och med allt som kräver kraft och känsla, som att få en skruv att ta eller att passa in en rörkoppling. De vet inte när de är på väg att göra ett misstag.

Det som oftast utelämnas. En modell som fungerar på en robot i ett labb fungerar ofta inte på en annan robot någon annanstans utan ny data. Physical Intelligence säger det själva i anteckningarna som publicerats med deras öppna modeller: de kanske fungerar på just er robot, kanske inte.

Glappet mellan en prydlig labbänk och en riktig arbetsplats är det centrala problemet. En VLA-modell har sett få restaurangkök mitt i kvällsrusningen och få krypgrunder.

Därför är VLA-modeller hungriga på varierad data från verkligheten

En språkmodell blir allmän genom att läsa text om allt. En VLA-modell blir allmän genom att se fysiska arbetsmoment utföras överallt, och det arkivet finns inte än.

Tre saker spelar större roll än ren volym:

  1. Variation mellan platser. Många olika kök lär ut mer än ett kök som filmas många gånger.
  2. Variation mellan människor. Olika händer, längder och vanor.
  3. Riktiga arbetsmoment i riktig takt. Arrangerat arbete i en studio saknar de avbrott och småfix som en arbetsdag består av.

Robotar som styrs för hand kan inte ge det här, eftersom robotarna är för få och inte finns på riktiga arbetsplatser. Därför vänder sig labben till video i förstapersonsperspektiv som spelas in av människor på jobbet. De offentliga dataseten med egocentrisk video var en början, och betalda inspelningsprogram är nästa steg.

Labb som behöver den här sortens inspelningar kan läsa vår sida för robotlabb. Om ni driver ett företag där människor arbetar med händerna är det arbetet just det som de här modellerna har sett minst av. Berätta om ert företag så kontrollerar vi om det passar inspelningsprogrammet som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om svenska företag kan delta avgörs från fall till fall.

Frågor och svar

Vanliga frågor

Vad är en VLA-modell?

VLA står för vision-language-action. Det är en enda AI-modell som tar kamerabilder och en skriven eller talad instruktion som indata och ger robotrörelser som utdata.

Hur skiljer sig en vision-language-action-modell från en chattbot?

En chattbot svarar med text. En vision-language-action-modell svarar med rörelse, som en ström av kommandon till robotens leder och gripdon. Den bygger oftast på samma slags modell som en chattbot och tränas sedan vidare på inspelningar av fysiska arbetsmoment.

Är OpenVLA gratis att använda?

Upphovspersonerna har publicerat OpenVLA som öppen källkod, och både modellen och träningskoden går att ladda ner. För att en sådan modell ska fungera bra på en viss robot krävs ändå den robotens egen data och ingenjörstid.

Vad är pi0 och RT-2?

RT-2 är en forskningsmodell från Google DeepMind, presenterad som en vision-language-action-modell som lär sig av både webbdata och robotdata. Pi0, skrivet π0, är en modell från Physical Intelligence som företaget har publicerat med öppen kod och öppna vikter.

Kan en VLA-modell lära sig av video av människor?

Ja, och flera tränas delvis så. Video av människor visar hur uppgifter utförs i många olika miljöer, och robotinspelningar knyter sedan den kunskapen till en viss robotkropp. NVIDIA anger video av människor som en av träningskällorna för sina GR00T-modeller.

Nästa steg

Berätta om ert företag

Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar

CorpusMarket är fristående från Amelia Robotics och kan få en förmedlingsersättning om ert företag går med i deras program. Inget på den här sidan är ett löfte om intäkter.