Cirka två minuter · kostar inget · inga förpliktelser
CorpusMarket Robotik
Så lär sig robotar: imitationsinlärning och diffusion policy
De flesta robotar som gör något nytt i dag har lärt sig det genom imitationsinlärning, alltså genom att kopiera inspelade exempel på uppgiften. Den här guiden förklarar den metoden och de närliggande metoderna utan matematik och avslutas med vilken data var och en kräver.
Av Linus Näslund, Co-Founder
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar
Innehåll08
Programmera en robot eller lära upp den
Robotar har programmerats under större delen av sin historia. En ingenjör skrev in varje position som armen skulle passera, och roboten upprepade rörelsen exakt. Det fungerar så länge detaljen hamnar på samma ställe varje gång, men slutar fungera i samma stund som något ligger fel.
Maskininlärning för robotar går en annan väg och ger ett konkret svar på frågan om hur AI fungerar i en maskin. Roboten får se exempel eller får öva, och en modell räknar ut den regel som kopplar det kameran ser till det motorerna ska göra. Den modellen kallas en policy. Allt som följer är olika sätt att få fram en bra policy.
Imitationsinlärning och behavior cloning
Inom robotiken betyder imitationsinlärning (imitation learning) att lära sig en uppgift av demonstrationer. (Samma uttryck används om hur barn härmar vuxna, men den här sidan handlar om robotar.)
En demonstration är en inspelning där det som syntes paras ihop med det som gjordes. Det enklaste sättet att lära sig av en sådan kallas behavior cloning. Man tar tusentals inspelade ögonblick och tränar modellen att för vart och ett svara med samma handling som den som visade uppgiften utförde. Efter tillräckligt många exempel väljer modellen rimliga handlingar i situationer som liknar inspelningarna.
Behavior cloning är populärt eftersom det är enkelt och fungerar. Inga belöningar behöver utformas, och det krävs inga försök och misstag. Har man bra demonstrationer kan man träna en policy.
Demonstrationerna kommer främst från två håll. Antingen styr en person roboten genom uppgiften, vilket kallas teleoperation, eller så filmas en person som helt enkelt utför uppgiften med sina egna händer. För- och nackdelarna beskrivs i guiden teleoperation eller egocentrisk video.
Därför växer små fel
Behavior cloning har en välkänd svaghet. Demonstrationerna visar uppgiften när allt går rätt, men sällan vad som ska göras när något har börjat gå fel.
En policy är aldrig perfekt, så förr eller senare placerar den gripdonet lite snett. Då visar kameran en situation som inte fanns med i inspelningarna. Policyn får gissa, och gissningen blir lite sämre. Varje handling påverkar vad roboten ser härnäst, så misstagen föder nya misstag. Forskare har beskrivit det här formellt: inlärning från demonstrationer bryter mot det vanliga antagandet att träningsexemplen är oberoende av varandra.
Det finns tre vanliga sätt att möta problemet:
- Mer varierade demonstrationer, där det också syns hur små missar rättas till.
- Korrigeringar. Roboten får köra, en person griper in när den kommer ur kurs och korrigeringarna läggs till i träningsdatan.
- Att förutsäga flera steg i taget, så att roboten bestämmer sig för en kort, sammanhängande rörelse och inte omprövar sitt beslut i varje ögonblick.
Det tredje sättet leder vidare till nästa metod.
Diffusion policy
Diffusion är tekniken bakom bildgeneratorer. En sådan modell börjar med slumpmässigt brus och rensar upp det steg för steg tills en bild träder fram. Diffusion Policy, som publicerades 2023 av forskare vid Columbia University, Toyota Research Institute och MIT, tillämpar samma idé på robotrörelser.
Policyn tittar på kamerabilden och börjar med en slumpmässig, meningslös följd av handlingar. Sedan förfinar den följden i flera steg tills den har blivit en kort, mjuk rörelseplan som passar scenen. Roboten utför en del av planen, tittar igen och gör sedan om samma sak.
Två saker gör metoden användbar, och författarna pekar på båda.
För det första går många uppgifter att lösa på mer än ett riktigt sätt. Ett hinder kan man gå runt till vänster eller till höger. En enkel policy som har tränats på båda sorters exempel tenderar att ta ett genomsnitt av dem och köra rakt in i hindret. En diffusion policy bestämmer sig för ett giltigt alternativ.
För det andra förutsäger den en följd av handlingar i stället för en enda. Det ger stadigare rörelser.
Det handlar fortfarande om imitationsinlärning. Diffusion policy är ett bättre sätt att kopiera demonstrationer, och metoden behöver demonstrationer att kopiera.
Förstärkningsinlärning
Förstärkningsinlärning (reinforcement learning) innebär att lära sig genom försök och misstag. Roboten prövar något, får ett betyg på hur bra det gick och justerar sitt beteende för att höja betyget. Ingen visar roboten svaret.
Styrkan är att metoden kan hitta lösningar som ingen människa har demonstrerat och kan överträffa den som demonstrerar. Svagheten, när det gäller robotar, är hur mycket övning som krävs. Miljontals försök är inget ovanligt, och en riktig robot är långsam, slits och har sönder saker när den misslyckas. Någon måste dessutom bestämma hur betyget ska sättas, vilket är svårt för en uppgift som ”städa köket”.
Därför sker förstärkningsinlärning inom robotiken mest i simulering, eller används för att slipa på en färdighet som roboten redan har lärt sig genom imitationsinlärning.
Simulering och glappet mellan simulering och verklighet
En simulator är en virtuell värld med fysik. Där kan tusen kopior av en robot öva samtidigt, snabbare än i realtid och utan skador. Gång och balans lärs ofta in på det sättet.
Haken kallas sim-to-real-glappet, ofta skrivet sim2real. En simulator är en förenkling. Friktionen, hur en gummipackning ger efter, hur tyg viker sig och hur det blänker i en rostfri bänk: inget av det stämmer riktigt. En policy som fungerar felfritt i simuleringen kan misslyckas på den riktiga maskinen.
Ingenjörer minskar glappet genom att variera simuleringen slumpmässigt (olika vikter, ljus och ytor) så att policyn inte kan förlita sig på någon enskild detalj. Det fungerar bra för stela föremål och för förflyttning, men sämre för mjukt och stökigt arbete i handskala, till exempel med mat, tyg och kablage, där fysiken är svårast att simulera. Nyare världsmodeller försöker lära sig själva simulatorn av video.
Så kombineras metoderna med stora förtränade modeller
I dag är arbetssättet att bygga metoderna ovanpå varandra.
Man börjar med en stor modell som redan har lärt sig av bilder och text från internet, så att den vet vad en mugg är och vad ”ställ den i diskhon” betyder. Den modellen tränas sedan att ge ifrån sig robothandlingar, vilket gör den till en vision-language-action-modell. Sådana modeller förklaras i vår guide till VLA-modeller. Några av dem genererar sina handlingar med diffusion eller en närbesläktad teknik som kallas flow matching, som Physical Intelligence använder i sin modell π0.
Träningsdatan är avsiktligt blandad. NVIDIA säger till exempel att deras GR00T-modeller lär sig av video av människor, teleopererad robotdata och syntetisk data från simulering. Förstärkningsinlärning kan sedan finjustera resultatet.
Vilken data varje metod kräver
| Metod | Vad den kräver | Varifrån det kommer |
|---|---|---|
| Behavior cloning och diffusion policy | Demonstrationer av uppgiften, många och varierade | Teleoperation och video av människor som arbetar |
| Förstärkningsinlärning | Ett sätt att betygsätta försök och enorma mängder försök | Simulering och viss övning i verkligheten |
| Simulering | Verklighetstrogna virtuella scener och föremål | Ingenjörsarbete och verkliga inspelningar att jämföra med |
| Stora förtränade modeller | Bred kunskap om världen och därefter exempel på fysiska uppgifter | Bilder och text från internet, därefter robotdata och video av människor |
Tre av de fyra raderna är direkt beroende av inspelningar av riktiga arbetsmoment. Simulering och försök och misstag hjälper till, men kunskapen om hur ett jobb utförs måste komma någonstans ifrån, och den kommer från människor som utför det.
Därför är träningsdata för robotar så efterfrågad, och därför är video i förstapersonsperspektiv av vanligt arbete på riktiga arbetsplatser den mest eftertraktade sorten. Hur den spelas in beskrivs i vår guide till egocentrisk datainsamling.
Om er personal utför praktiskt arbete och ni undrar om inspelningar av arbetet skulle vara användbara är ni välkomna att berätta om ert företag. CorpusMarket kontrollerar om arbetet passar och sätter er i så fall i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om svenska företag kan delta avgörs från fall till fall.
Frågor och svar
Vanliga frågor
Vad är imitationsinlärning inom robotik?
Ett sätt att lära en robot genom att visa den exempel på hur en uppgift utförs. Robotens modell lär sig att utföra samma slags rörelse när den ser en liknande situation. Uttrycket används också om barns utveckling, men det är ett annat ämne.
Vad är skillnaden mellan imitationsinlärning och behavior cloning?
Behavior cloning är den enklaste formen av imitationsinlärning. En modell tränas att för varje inspelat ögonblick svara med den handling som demonstrerades. Imitationsinlärning är den bredare familjen, som också rymmer metoder där roboten rättas när den kommer ur kurs.
Vad är en diffusion policy?
En robotstyrning som skapar rörelser genom att utgå från slumpmässigt brus och steg för steg förfina det till en kort följd av handlingar som passar det kameran ser. Den klarar sig bra i uppgifter som kan lösas på mer än ett riktigt sätt.
Vad betyder sim2real?
Det är en förkortning av simulation to reality, alltså från simulering till verklighet. Det syftar på steget där en färdighet som en robot har lärt sig i en simulator ska fås att fungera på en riktig robot, där friktion, ljus och material skiljer sig från simuleringen.
Lär sig robotar av att titta på video av människor?
Ja, i allt högre grad. Video av människor som arbetar används för att ge stora modeller en allmän känsla för hur uppgifter går till, och inspelningar från robotar kopplar sedan den kunskapen till robotens egen kropp. För att vara användbar måste videon visa händerna och hela uppgiften.
Fler sidor
Läs vidare
Vad är en VLA-modell?
En VLA-modell är den sorts AI-modell som driver de flesta nya robotar för allmänna ändamål. Den ser genom robotens kameror, läser en instruktion på vanligt språk och ger ifrån sig de rörelser som krävs för att utföra den. Hur bra den gör det beror till stor del på vad den har fått se under träningen.
Läs merTräningsdata för robotar
En språkmodell lärde sig av text som redan fanns på internet. En robot har inget sådant arkiv att lära sig av. Träningsdata för robotar måste tas fram särskilt för ändamålet, och det mesta av kostnaden och arbetet med att lära upp en robot går åt till att få ihop tillräckligt mycket.
Läs merTeleoperationsdata eller egocentrisk video
Det finns två sätt att spela in exempel från verkligheten åt en robot. En människa kan styra roboten genom momentet, eller så kan en människa utföra momentet själv och filma det ur sitt eget perspektiv. Vartdera sättet ger modellen något som det andra inte kan ge, och därför använder de flesta labb båda.
Läs merNästa steg
Berätta om ert företag
Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar