Cirka två minuter · kostar inget · inga förpliktelser
CorpusMarket Robotik
Träningsdata för robotar
En språkmodell lärde sig av text som redan fanns på internet. En robot har inget sådant arkiv att lära sig av. Träningsdata för robotar måste tas fram särskilt för ändamålet, och det mesta av kostnaden och arbetet med att lära upp en robot går åt till att få ihop tillräckligt mycket.
Av Linus Näslund, Co-Founder
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar
Innehåll08
Vad träningsdata för robotar är
Träningsdata för robotar är alla inspelningar som hjälper en robot att lära sig agera i den fysiska världen. Den kopplar ihop det som syntes med det som gjordes. För en människa som viker en handduk är det bilden av handduken och händernas rörelse. För en robotarm är det kamerabilden och läget i varje led, många gånger per sekund.
Att träningsdata får så mycket uppmärksamhet har en enkel förklaring. De modeller som styr dagens robotar tränas på samma sätt som de som skriver text: de får se väldigt många exempel. Den som ville träna AI på text hade internet. För fysiskt arbete finns inget liknande, så exemplen måste spelas in.
De fyra huvudtyperna
| Typ | Hur den tas fram | Styrka | Begränsning |
|---|---|---|---|
| Video av människor | Människor filmar sig själva när de utför moment, oftast med en kamera på huvudet | Billig att skala upp, riktiga platser och verklig variation | Roboten måste översätta människans hand till sin egen |
| Teleoperation | En människa styr en robot genom momentet | Spelas in i robotens egen kropp | Långsam och dyr: en operatör, en robot, en timme |
| Simulering | Moment genereras i en virtuell värld | Obegränsad volym | Simulerad fysik skiljer sig från den verkliga |
| Robotens egen erfarenhet | Roboten försöker, misslyckas och rättas | Precis rätt data | Kräver en robot som redan fungerar till hälften |
Labben blandar alla fyra. Tyngdpunkten förskjuts mot video av människor, eftersom det är den enda typen som kan nå den volym och variation som modellerna verkar behöva. I guiden teleoperation eller egocentrisk video jämförs de två källorna från verkligheten i detalj.
Därför är verkligt arbete bristvaran
Ett labb kan hyra en lagerlokal och betala folk för att vika tvätt hela dagen. Många gör det. Problemet är att resultatet visar ett enda rum, en enda uppsättning föremål och en handfull personer. En robot som tränats på det klarar sig bra i just det rummet.
Det som labben saknar är material från de platser där arbete faktiskt utförs: ett restaurangkök mitt under serveringen, en bilverkstad, en byggarbetsplats, ett butikslager. De platserna tillhör företag, och de som kan arbetet är företagens anställda. Därför betalar vissa labb och insamlingsprogram numera företag för inspelningar som företagens egen personal gör.
Det format som föredras är video i förstapersonsperspektiv, med kameran på huvudet och händerna i bild. Det kallas egocentrisk video, och i vår guide om egocentrisk datainsamling förklarar vi hur den spelas in och granskas.
Vad som gör en inspelning användbar
Labben granskar inspelningarna innan de betalar för dem. De vanliga kriterierna är:
- Händerna och arbetet är kvar i bild under hela momentet.
- Momentet är fullständigt, från det att första verktyget tas upp till dess att det sista läggs ned.
- Takten är naturlig. Arbete som är nedsaktat eller arrangerat lär ut fel sak.
- Miljön varierar. Olika arbetsplatser, ljusförhållanden, verktyg och människor.
- Materialet går att använda. De som syns har gått med på det, och inget i bild är sådant som inte får visas.
Den sista punkten är en fråga för varje arbetsplats. Vad som kan filmas och var skiljer sig mellan företag och mellan uppdrag, och därför gås det igenom innan inspelningen börjar. Läs mer i filma på jobbet.
Vad som händer med datan efter inspelningen
En inspelning matas inte in i en robot i det skick den är. Mellan mobilen och modellen ligger oftast flera steg, och de förklarar varför labben är noga med vad de godkänner.
- Granskning. Varje inspelning kontrolleras mot kriterierna ovan, av människor, av programvara eller av båda. För inspelningar som inte godkänns betalas inget.
- Annotering. Momentet får ett namn och delas ofta upp i steg, som ”ta upp mursleven” eller ”bred ut bruket”. Vissa labb tar också fram händernas läge i varje bildruta.
- Blandning. Videon av människor kombineras med robotinspelningar och simulerad data, så att modellen får se samma slags moment från flera källor.
- Träning och test. Modellen tränas och provas sedan på en riktig robot, oftast med moment och på platser som den inte har sett. Där modellen misslyckas ser labbet vad som ska spelas in härnäst.
Det sista steget är anledningen till att efterfrågan hela tiden flyttar sig. Ett labb som har gott om material från kök kan behöva butikslager nästa gång, och en modell som klarar styva föremål kan fortfarande misslyckas med kablar och tyg. För ett företag betyder det att det arbete som ett labb efterfrågar i dag inte är någon fast lista.
Därför är det här träningsdata och inte vanlig video
En och samma timme film kan vara värd mycket för ett robotlabb och ingenting för någon annan. Det som utmärker träningsdata för robotar är att den spelas in för ett enda syfte: varje beslut, från var kameran sitter till vilka moment som väljs, fattas för att en modell ska kunna koppla ihop det den ser med det händerna gör. I vår guide så lär sig robotar förklaras den kopplingen, och VLA-modeller handlar om den typ av modell som det mesta av datan numera går till.
Var företagen kommer in
Ett företag behöver inte kunna något om robotik för att bidra med sådan data. Det som behövs är människor som utför praktiskt arbete och är villiga att spela in det. I dag efterfrågar labben bland annat arbete inom hantverksyrken, bygg, bilservice, lager, kök, städning, tillverkning, butik, hotell och lantbruk. De finns samlade på sidan branscher.
CorpusMarket tar emot förfrågningar från företag, kontrollerar om arbetet passar och sätter företagen i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om det är öppet för ett svenskt företag avgörs från fall till fall. Stegen beskrivs i så fungerar det.
För labb som söker data
Är ni på köparsidan? I leverantörer av robotdata jämförs de sätt som labb skaffar data från verkligheten på, och sidan för robotlabb förklarar hur ni beskriver vad ni behöver få inspelat.
Frågor och svar
Vanliga frågor
Vad är träningsdata för robotar?
Inspelningar som visar en robot hur ett fysiskt arbetsmoment utförs. Huvudtyperna är video av människor som utför momentet, inspelningar där en människa styr en robot genom momentet, data som genereras i simulering och robotens egna försök.
Varför kan robotar inte bara lära sig av videor på internet?
Video från internet hjälper, men den är filmad utifrån och klippt, och den visar sällan ett helt moment från början till slut. En robot lär sig bäst av film som är tagen där den som arbetar har sina ögon, med händerna i bild hela tiden, och som visar vanliga moment i vanlig takt.
Vem levererar träningsdata för robotar från verkligheten?
Labben spelar in en del själva, anlitar datainsamlingsföretag för att få mer och betalar allt oftare företag och privatpersoner för att spela in vardagligt arbete. Program som betalar ett företag för de inspelningar personalen gör är ett nytt inslag.
Hur mycket data behöver en robot?
Det finns ingen siffra som alla är överens om. Labben anger sina behov till allt från tusentals till hundratusentals timmar, och svaret varierar med metoden och med hur många slags moment det gäller. Det som återkommer är att variationen mellan platser och människor väger lika tungt som volymen.
Kan ett företag sälja video som det redan har, till exempel från övervakningskameror?
Oftast inte för det här ändamålet. Fasta kameror visar ett rum uppifrån, inte händerna som utför arbetet. Labben efterfrågar inspelningar i förstapersonsperspektiv som görs just för momentet. Befintliga arkiv kan ha ett värde för annan sorts AI, men det är en fråga för sig.
Fler sidor
Läs vidare
Egocentrisk datainsamling
Egocentrisk data är video ur förstapersonsperspektiv, inspelad av den som utför arbetet, med kameran på huvudet och händerna i bild. Robotlabb vill ha stora mängder sådan video, och det mesta måste spelas in för just det syftet, på de platser där arbetet utförs.
Läs merTeleoperationsdata eller egocentrisk video
Det finns två sätt att spela in exempel från verkligheten åt en robot. En människa kan styra roboten genom momentet, eller så kan en människa utföra momentet själv och filma det ur sitt eget perspektiv. Vartdera sättet ger modellen något som det andra inte kan ge, och därför använder de flesta labb båda.
Läs merSå lär sig robotar: imitationsinlärning och diffusion policy
De flesta robotar som gör något nytt i dag har lärt sig det genom imitationsinlärning, alltså genom att kopiera inspelade exempel på uppgiften. Den här guiden förklarar den metoden och de närliggande metoderna utan matematik och avslutas med vilken data var och en kräver.
Läs merNästa steg
Berätta om ert företag
Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar