CorpusMarket Robotik

Så lär sig robotar: imitationsinlärning och diffusion policy

De flesta robotar som gör något nytt i dag har lärt sig det genom imitationsinlärning, alltså genom att kopiera inspelade exempel på uppgiften. Den här guiden förklarar den metoden och de närliggande metoderna utan matematik och avslutas med vilken data var och en kräver.

Av Linus Näslund, Co-Founder

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar
Innehåll08
  1. 01Programmera en robot eller lära upp den
  2. 02Imitationsinlärning och behavior cloning
  3. 03Därför växer små fel
  4. 04Diffusion policy
  5. 05Förstärkningsinlärning
  6. 06Simulering och glappet mellan simulering och verklighet
  7. 07Så kombineras metoderna med stora förtränade modeller
  8. 08Vilken data varje metod kräver

Programmera en robot eller lära upp den

Robotar har programmerats under större delen av sin historia. En ingenjör skrev in varje position som armen skulle passera, och roboten upprepade rörelsen exakt. Det fungerar så länge detaljen hamnar på samma ställe varje gång, men slutar fungera i samma stund som något ligger fel.

Maskininlärning för robotar går en annan väg och ger ett konkret svar på frågan om hur AI fungerar i en maskin. Roboten får se exempel eller får öva, och en modell räknar ut den regel som kopplar det kameran ser till det motorerna ska göra. Den modellen kallas en policy. Allt som följer är olika sätt att få fram en bra policy.

Imitationsinlärning och behavior cloning

Inom robotiken betyder imitationsinlärning (imitation learning) att lära sig en uppgift av demonstrationer. (Samma uttryck används om hur barn härmar vuxna, men den här sidan handlar om robotar.)

En demonstration är en inspelning där det som syntes paras ihop med det som gjordes. Det enklaste sättet att lära sig av en sådan kallas behavior cloning. Man tar tusentals inspelade ögonblick och tränar modellen att för vart och ett svara med samma handling som den som visade uppgiften utförde. Efter tillräckligt många exempel väljer modellen rimliga handlingar i situationer som liknar inspelningarna.

Behavior cloning är populärt eftersom det är enkelt och fungerar. Inga belöningar behöver utformas, och det krävs inga försök och misstag. Har man bra demonstrationer kan man träna en policy.

Demonstrationerna kommer främst från två håll. Antingen styr en person roboten genom uppgiften, vilket kallas teleoperation, eller så filmas en person som helt enkelt utför uppgiften med sina egna händer. För- och nackdelarna beskrivs i guiden teleoperation eller egocentrisk video.

Därför växer små fel

Behavior cloning har en välkänd svaghet. Demonstrationerna visar uppgiften när allt går rätt, men sällan vad som ska göras när något har börjat gå fel.

En policy är aldrig perfekt, så förr eller senare placerar den gripdonet lite snett. Då visar kameran en situation som inte fanns med i inspelningarna. Policyn får gissa, och gissningen blir lite sämre. Varje handling påverkar vad roboten ser härnäst, så misstagen föder nya misstag. Forskare har beskrivit det här formellt: inlärning från demonstrationer bryter mot det vanliga antagandet att träningsexemplen är oberoende av varandra.

Det finns tre vanliga sätt att möta problemet:

  • Mer varierade demonstrationer, där det också syns hur små missar rättas till.
  • Korrigeringar. Roboten får köra, en person griper in när den kommer ur kurs och korrigeringarna läggs till i träningsdatan.
  • Att förutsäga flera steg i taget, så att roboten bestämmer sig för en kort, sammanhängande rörelse och inte omprövar sitt beslut i varje ögonblick.

Det tredje sättet leder vidare till nästa metod.

Diffusion policy

Diffusion är tekniken bakom bildgeneratorer. En sådan modell börjar med slumpmässigt brus och rensar upp det steg för steg tills en bild träder fram. Diffusion Policy, som publicerades 2023 av forskare vid Columbia University, Toyota Research Institute och MIT, tillämpar samma idé på robotrörelser.

Policyn tittar på kamerabilden och börjar med en slumpmässig, meningslös följd av handlingar. Sedan förfinar den följden i flera steg tills den har blivit en kort, mjuk rörelseplan som passar scenen. Roboten utför en del av planen, tittar igen och gör sedan om samma sak.

Två saker gör metoden användbar, och författarna pekar på båda.

För det första går många uppgifter att lösa på mer än ett riktigt sätt. Ett hinder kan man gå runt till vänster eller till höger. En enkel policy som har tränats på båda sorters exempel tenderar att ta ett genomsnitt av dem och köra rakt in i hindret. En diffusion policy bestämmer sig för ett giltigt alternativ.

För det andra förutsäger den en följd av handlingar i stället för en enda. Det ger stadigare rörelser.

Det handlar fortfarande om imitationsinlärning. Diffusion policy är ett bättre sätt att kopiera demonstrationer, och metoden behöver demonstrationer att kopiera.

Förstärkningsinlärning

Förstärkningsinlärning (reinforcement learning) innebär att lära sig genom försök och misstag. Roboten prövar något, får ett betyg på hur bra det gick och justerar sitt beteende för att höja betyget. Ingen visar roboten svaret.

Styrkan är att metoden kan hitta lösningar som ingen människa har demonstrerat och kan överträffa den som demonstrerar. Svagheten, när det gäller robotar, är hur mycket övning som krävs. Miljontals försök är inget ovanligt, och en riktig robot är långsam, slits och har sönder saker när den misslyckas. Någon måste dessutom bestämma hur betyget ska sättas, vilket är svårt för en uppgift som ”städa köket”.

Därför sker förstärkningsinlärning inom robotiken mest i simulering, eller används för att slipa på en färdighet som roboten redan har lärt sig genom imitationsinlärning.

Simulering och glappet mellan simulering och verklighet

En simulator är en virtuell värld med fysik. Där kan tusen kopior av en robot öva samtidigt, snabbare än i realtid och utan skador. Gång och balans lärs ofta in på det sättet.

Haken kallas sim-to-real-glappet, ofta skrivet sim2real. En simulator är en förenkling. Friktionen, hur en gummipackning ger efter, hur tyg viker sig och hur det blänker i en rostfri bänk: inget av det stämmer riktigt. En policy som fungerar felfritt i simuleringen kan misslyckas på den riktiga maskinen.

Ingenjörer minskar glappet genom att variera simuleringen slumpmässigt (olika vikter, ljus och ytor) så att policyn inte kan förlita sig på någon enskild detalj. Det fungerar bra för stela föremål och för förflyttning, men sämre för mjukt och stökigt arbete i handskala, till exempel med mat, tyg och kablage, där fysiken är svårast att simulera. Nyare världsmodeller försöker lära sig själva simulatorn av video.

Så kombineras metoderna med stora förtränade modeller

I dag är arbetssättet att bygga metoderna ovanpå varandra.

Man börjar med en stor modell som redan har lärt sig av bilder och text från internet, så att den vet vad en mugg är och vad ”ställ den i diskhon” betyder. Den modellen tränas sedan att ge ifrån sig robothandlingar, vilket gör den till en vision-language-action-modell. Sådana modeller förklaras i vår guide till VLA-modeller. Några av dem genererar sina handlingar med diffusion eller en närbesläktad teknik som kallas flow matching, som Physical Intelligence använder i sin modell π0.

Träningsdatan är avsiktligt blandad. NVIDIA säger till exempel att deras GR00T-modeller lär sig av video av människor, teleopererad robotdata och syntetisk data från simulering. Förstärkningsinlärning kan sedan finjustera resultatet.

Vilken data varje metod kräver

MetodVad den kräverVarifrån det kommer
Behavior cloning och diffusion policyDemonstrationer av uppgiften, många och varieradeTeleoperation och video av människor som arbetar
FörstärkningsinlärningEtt sätt att betygsätta försök och enorma mängder försökSimulering och viss övning i verkligheten
SimuleringVerklighetstrogna virtuella scener och föremålIngenjörsarbete och verkliga inspelningar att jämföra med
Stora förtränade modellerBred kunskap om världen och därefter exempel på fysiska uppgifterBilder och text från internet, därefter robotdata och video av människor

Tre av de fyra raderna är direkt beroende av inspelningar av riktiga arbetsmoment. Simulering och försök och misstag hjälper till, men kunskapen om hur ett jobb utförs måste komma någonstans ifrån, och den kommer från människor som utför det.

Därför är träningsdata för robotar så efterfrågad, och därför är video i förstapersonsperspektiv av vanligt arbete på riktiga arbetsplatser den mest eftertraktade sorten. Hur den spelas in beskrivs i vår guide till egocentrisk datainsamling.

Om er personal utför praktiskt arbete och ni undrar om inspelningar av arbetet skulle vara användbara är ni välkomna att berätta om ert företag. CorpusMarket kontrollerar om arbetet passar och sätter er i så fall i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om svenska företag kan delta avgörs från fall till fall.

Frågor och svar

Vanliga frågor

Vad är imitationsinlärning inom robotik?

Ett sätt att lära en robot genom att visa den exempel på hur en uppgift utförs. Robotens modell lär sig att utföra samma slags rörelse när den ser en liknande situation. Uttrycket används också om barns utveckling, men det är ett annat ämne.

Vad är skillnaden mellan imitationsinlärning och behavior cloning?

Behavior cloning är den enklaste formen av imitationsinlärning. En modell tränas att för varje inspelat ögonblick svara med den handling som demonstrerades. Imitationsinlärning är den bredare familjen, som också rymmer metoder där roboten rättas när den kommer ur kurs.

Vad är en diffusion policy?

En robotstyrning som skapar rörelser genom att utgå från slumpmässigt brus och steg för steg förfina det till en kort följd av handlingar som passar det kameran ser. Den klarar sig bra i uppgifter som kan lösas på mer än ett riktigt sätt.

Vad betyder sim2real?

Det är en förkortning av simulation to reality, alltså från simulering till verklighet. Det syftar på steget där en färdighet som en robot har lärt sig i en simulator ska fås att fungera på en riktig robot, där friktion, ljus och material skiljer sig från simuleringen.

Lär sig robotar av att titta på video av människor?

Ja, i allt högre grad. Video av människor som arbetar används för att ge stora modeller en allmän känsla för hur uppgifter går till, och inspelningar från robotar kopplar sedan den kunskapen till robotens egen kropp. För att vara användbar måste videon visa händerna och hela uppgiften.

Nästa steg

Berätta om ert företag

Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar

CorpusMarket är fristående från Amelia Robotics och kan få en förmedlingsersättning om ert företag går med i deras program. Inget på den här sidan är ett löfte om intäkter.