CorpusMarket Robotik

Träningsdata för robotar

En språkmodell lärde sig av text som redan fanns på internet. En robot har inget sådant arkiv att lära sig av. Träningsdata för robotar måste tas fram särskilt för ändamålet, och det mesta av kostnaden och arbetet med att lära upp en robot går åt till att få ihop tillräckligt mycket.

Av Linus Näslund, Co-Founder

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar
Innehåll08
  1. 01Vad träningsdata för robotar är
  2. 02De fyra huvudtyperna
  3. 03Därför är verkligt arbete bristvaran
  4. 04Vad som gör en inspelning användbar
  5. 05Vad som händer med datan efter inspelningen
  6. 06Därför är det här träningsdata och inte vanlig video
  7. 07Var företagen kommer in
  8. 08För labb som söker data

Vad träningsdata för robotar är

Träningsdata för robotar är alla inspelningar som hjälper en robot att lära sig agera i den fysiska världen. Den kopplar ihop det som syntes med det som gjordes. För en människa som viker en handduk är det bilden av handduken och händernas rörelse. För en robotarm är det kamerabilden och läget i varje led, många gånger per sekund.

Att träningsdata får så mycket uppmärksamhet har en enkel förklaring. De modeller som styr dagens robotar tränas på samma sätt som de som skriver text: de får se väldigt många exempel. Den som ville träna AI på text hade internet. För fysiskt arbete finns inget liknande, så exemplen måste spelas in.

De fyra huvudtyperna

TypHur den tas framStyrkaBegränsning
Video av människorMänniskor filmar sig själva när de utför moment, oftast med en kamera på huvudetBillig att skala upp, riktiga platser och verklig variationRoboten måste översätta människans hand till sin egen
TeleoperationEn människa styr en robot genom momentetSpelas in i robotens egen kroppLångsam och dyr: en operatör, en robot, en timme
SimuleringMoment genereras i en virtuell världObegränsad volymSimulerad fysik skiljer sig från den verkliga
Robotens egen erfarenhetRoboten försöker, misslyckas och rättasPrecis rätt dataKräver en robot som redan fungerar till hälften

Labben blandar alla fyra. Tyngdpunkten förskjuts mot video av människor, eftersom det är den enda typen som kan nå den volym och variation som modellerna verkar behöva. I guiden teleoperation eller egocentrisk video jämförs de två källorna från verkligheten i detalj.

Därför är verkligt arbete bristvaran

Ett labb kan hyra en lagerlokal och betala folk för att vika tvätt hela dagen. Många gör det. Problemet är att resultatet visar ett enda rum, en enda uppsättning föremål och en handfull personer. En robot som tränats på det klarar sig bra i just det rummet.

Det som labben saknar är material från de platser där arbete faktiskt utförs: ett restaurangkök mitt under serveringen, en bilverkstad, en byggarbetsplats, ett butikslager. De platserna tillhör företag, och de som kan arbetet är företagens anställda. Därför betalar vissa labb och insamlingsprogram numera företag för inspelningar som företagens egen personal gör.

Det format som föredras är video i förstapersonsperspektiv, med kameran på huvudet och händerna i bild. Det kallas egocentrisk video, och i vår guide om egocentrisk datainsamling förklarar vi hur den spelas in och granskas.

Vad som gör en inspelning användbar

Labben granskar inspelningarna innan de betalar för dem. De vanliga kriterierna är:

  • Händerna och arbetet är kvar i bild under hela momentet.
  • Momentet är fullständigt, från det att första verktyget tas upp till dess att det sista läggs ned.
  • Takten är naturlig. Arbete som är nedsaktat eller arrangerat lär ut fel sak.
  • Miljön varierar. Olika arbetsplatser, ljusförhållanden, verktyg och människor.
  • Materialet går att använda. De som syns har gått med på det, och inget i bild är sådant som inte får visas.

Den sista punkten är en fråga för varje arbetsplats. Vad som kan filmas och var skiljer sig mellan företag och mellan uppdrag, och därför gås det igenom innan inspelningen börjar. Läs mer i filma på jobbet.

Vad som händer med datan efter inspelningen

En inspelning matas inte in i en robot i det skick den är. Mellan mobilen och modellen ligger oftast flera steg, och de förklarar varför labben är noga med vad de godkänner.

  1. Granskning. Varje inspelning kontrolleras mot kriterierna ovan, av människor, av programvara eller av båda. För inspelningar som inte godkänns betalas inget.
  2. Annotering. Momentet får ett namn och delas ofta upp i steg, som ”ta upp mursleven” eller ”bred ut bruket”. Vissa labb tar också fram händernas läge i varje bildruta.
  3. Blandning. Videon av människor kombineras med robotinspelningar och simulerad data, så att modellen får se samma slags moment från flera källor.
  4. Träning och test. Modellen tränas och provas sedan på en riktig robot, oftast med moment och på platser som den inte har sett. Där modellen misslyckas ser labbet vad som ska spelas in härnäst.

Det sista steget är anledningen till att efterfrågan hela tiden flyttar sig. Ett labb som har gott om material från kök kan behöva butikslager nästa gång, och en modell som klarar styva föremål kan fortfarande misslyckas med kablar och tyg. För ett företag betyder det att det arbete som ett labb efterfrågar i dag inte är någon fast lista.

Därför är det här träningsdata och inte vanlig video

En och samma timme film kan vara värd mycket för ett robotlabb och ingenting för någon annan. Det som utmärker träningsdata för robotar är att den spelas in för ett enda syfte: varje beslut, från var kameran sitter till vilka moment som väljs, fattas för att en modell ska kunna koppla ihop det den ser med det händerna gör. I vår guide så lär sig robotar förklaras den kopplingen, och VLA-modeller handlar om den typ av modell som det mesta av datan numera går till.

Var företagen kommer in

Ett företag behöver inte kunna något om robotik för att bidra med sådan data. Det som behövs är människor som utför praktiskt arbete och är villiga att spela in det. I dag efterfrågar labben bland annat arbete inom hantverksyrken, bygg, bilservice, lager, kök, städning, tillverkning, butik, hotell och lantbruk. De finns samlade på sidan branscher.

CorpusMarket tar emot förfrågningar från företag, kontrollerar om arbetet passar och sätter företagen i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om det är öppet för ett svenskt företag avgörs från fall till fall. Stegen beskrivs i så fungerar det.

För labb som söker data

Är ni på köparsidan? I leverantörer av robotdata jämförs de sätt som labb skaffar data från verkligheten på, och sidan för robotlabb förklarar hur ni beskriver vad ni behöver få inspelat.

Frågor och svar

Vanliga frågor

Vad är träningsdata för robotar?

Inspelningar som visar en robot hur ett fysiskt arbetsmoment utförs. Huvudtyperna är video av människor som utför momentet, inspelningar där en människa styr en robot genom momentet, data som genereras i simulering och robotens egna försök.

Varför kan robotar inte bara lära sig av videor på internet?

Video från internet hjälper, men den är filmad utifrån och klippt, och den visar sällan ett helt moment från början till slut. En robot lär sig bäst av film som är tagen där den som arbetar har sina ögon, med händerna i bild hela tiden, och som visar vanliga moment i vanlig takt.

Vem levererar träningsdata för robotar från verkligheten?

Labben spelar in en del själva, anlitar datainsamlingsföretag för att få mer och betalar allt oftare företag och privatpersoner för att spela in vardagligt arbete. Program som betalar ett företag för de inspelningar personalen gör är ett nytt inslag.

Hur mycket data behöver en robot?

Det finns ingen siffra som alla är överens om. Labben anger sina behov till allt från tusentals till hundratusentals timmar, och svaret varierar med metoden och med hur många slags moment det gäller. Det som återkommer är att variationen mellan platser och människor väger lika tungt som volymen.

Kan ett företag sälja video som det redan har, till exempel från övervakningskameror?

Oftast inte för det här ändamålet. Fasta kameror visar ett rum uppifrån, inte händerna som utför arbetet. Labben efterfrågar inspelningar i förstapersonsperspektiv som görs just för momentet. Befintliga arkiv kan ha ett värde för annan sorts AI, men det är en fråga för sig.

Nästa steg

Berätta om ert företag

Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar

CorpusMarket är fristående från Amelia Robotics och kan få en förmedlingsersättning om ert företag går med i deras program. Inget på den här sidan är ett löfte om intäkter.