Cirka två minuter · kostar inget · inga förpliktelser
CorpusMarket Robotik
Teleoperationsdata eller egocentrisk video
Det finns två sätt att spela in exempel från verkligheten åt en robot. En människa kan styra roboten genom momentet, eller så kan en människa utföra momentet själv och filma det ur sitt eget perspektiv. Vartdera sättet ger modellen något som det andra inte kan ge, och därför använder de flesta labb båda.
Av Linus Näslund, Co-Founder
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar
Innehåll07
Vad är teleoperationsdata?
Teleoperation innebär att man styr en maskin på avstånd. Inom robotinlärning har ordet en snävare betydelse: en människa styr roboten genom ett moment i realtid medan allt spelas in. Människan står för kunnandet, roboten för kroppen.
Teleoperationsdata är det som ett sådant pass lämnar efter sig. Datan består av två halvor som sparas tillsammans, många gånger i sekunden:
- Vad roboten uppfattade. Bilder från robotens kameror, läget för varje led och ibland mätvärden för kraft eller beröring.
- Vad roboten gjorde. De kommandon som skickades till motorerna, eller den bana som gripdonet följde.
Det är den kopplingen som gör att labben värdesätter datan. En modell som tränas på teleoperationsdata ser en bild och lär sig vilken handling som hörde till den, i exakt den kropp som modellen senare ska styra. Inget behöver översättas.
Vanliga riggar för teleoperation
Teleopererade robotar styrs på en handfull olika sätt. Namnen skiljer sig mellan labben, men riggarna kan delas in i fyra grupper.
VR-handkontroller. Operatören håller i handkontrollerna till ett VR-headset för konsumenter. Robotens gripdon följer kontrollens läge och rotation, och en avtryckare öppnar och stänger det.
Ledar- och följararmar. Operatören rör för hand en liten, lätt kopia av robotarmen, och den riktiga armen speglar varje led. Det känns naturligt vid arbete med två händer, och kopian ger operatören en fysisk känsla för robotens räckvidd.
Exoskeletthandskar och rörelsefångst. Operatören bär en handske eller en armställning som mäter finger- och ledvinklar, och en robothand med fingrar följer rörelserna. Metoden används för fingerfärdiga händer, där en enkel avtryckare inte räcker.
Handhållna gripdon med kamera. Operatören håller i ett gripdon som är format som robotens eget och har en kamera monterad, och utför momentet direkt, utan att någon robot är med. Strängt taget är det inte teleoperation, eftersom ingen robot styrs. Metoden hamnar mittemellan de två världarna: datan liknar den från robotens handledskamera och kan spelas in var som helst.
Vad är egocentrisk video?
Egocentrisk video spelas in av den som utför momentet, med en kamera på huvudet och händerna i bild. Ingen robot är inblandad. En medarbetare gör jobbet som vanligt, och kameran spelar in det hon eller han ser. Vår guide till egocentrisk datainsamling går igenom fästen, momentlistor och granskning i detalj.
Jämförelse mellan teleoperationsdata och egocentrisk video
| Teleoperation | Egocentrisk video | |
|---|---|---|
| Överensstämmelse med robotens kropp | Exakt. Datan spelas in i robotens egen kropp | Ingen. Människans händer, armar och kroppslängd |
| Innehåller robothandlingar | Ja, varje motorkommando | Nej. Handlingarna måste härledas |
| Kostnad per timme | Hög. En robot, en utbildad operatör och en förberedd plats för varje timme | Låg. En kroppsburen kamera och en person som redan utför arbetet |
| Skalbarhet | Begränsas av antalet robotar och operatörer | Begränsas främst av hur många som är villiga att spela in |
| Variation i platser | Liten. Robotar är svåra att flytta, så det mesta av datan kommer från labb och iordningställda rum | Stor. En kroppsburen kamera följer med till riktiga kök, verkstäder och byggarbetsplatser |
| Arbetstakt | Långsammare än en människas, med pauser och korrigeringar | Naturlig arbetstakt |
| Vad modellen måste överbrygga | Lite. Främst glappet mellan de inspelade rummen och nya rum | Mycket. Från människohand till gripdon, och från att se på till att handla |
Ingen enskild rad i tabellen avgör frågan. Teleoperation är exakt och smal, egocentrisk video bred och indirekt.
Vad video av människor saknar
Det lönar sig att vara exakt med var egocentrisk video är svag, eftersom den är lätt att sälja in för hårt.
En inspelning i förstapersonsperspektiv visar ett par händer som öppnar en ventil. Den säger ingenting om hur långt en led vreds, hur hårt handen grep eller vad ett gripdon med två fingrar borde göra i stället. En robots kropp skiljer sig från en människas i storlek, räckvidd, styrka och antal fingrar. Kameran sitter på ett annat ställe, och inga av robotens egna signaler finns med i inspelningen.
Forskare angriper problemet på flera sätt, men inget av dem är färdigutvecklat:
- Uppskattning av händernas läge i varje bildruta, så att videon får något som liknar ett handlingsspår.
- Retargeting, där en människohands rörelse förs över till en robots gripdon.
- Förträning, där en modell först använder stora mängder video av människor för att lära sig vad föremål är och hur moment brukar gå till, och sedan tränas på en mindre mängd robotdata för att lära sig själva rörelserna.
I samtliga fall behövs fortfarande en del robotdata. Video av människor minskar mängden som behövs men tar inte bort behovet.
Varför labben använder båda
De två källorna täcker varandras luckor. Teleoperation ger en modell korrekta handlingar i rätt kropp, på ett litet antal platser. Egocentrisk video ger den en bred bild av hur arbete utförs på många platser, av många människor och med många verktyg, men utan några handlingar.
Ett vanligt upplägg är att träna brett på video av människor och andra stora källor och sedan finjustera på teleoperationsdata för just den robot det gäller. Videon av människor står för variationen, teleoperationsdatan för förankringen. I Så lär sig robotar beskrivs processen steg för steg, och i träningsdata för robotar ställs båda källorna sida vid sida med simulering och robotens egen övning.
Publicerad data följer samma uppdelning. Vissa offentliga samlingar är inspelade med robotar genom teleoperation, andra består av video i förstapersonsperspektiv av människor. Sidan om dataset med egocentrisk video listar båda sorterna.
När respektive sort passar
Teleoperation passar när ett labb ska lära en viss robot en avgränsad uppsättning moment och resultatet måste gå att lita på. Den passar också i slutskedet av nästan alla projekt, när en generell modell anpassas till en viss maskin.
Egocentrisk video passar när målet är bredd: många slags arbete, många miljöer och den vardagliga variation som ett labb inte kan iscensätta. Det är också den enda av de två sorterna som människor utanför robotiken kan bidra med. En restaurang eller en rörfirma har ingen robot att styra, men personalen utför kvalificerat arbete med händerna hela dagarna.
Det är den delen CorpusMarket arbetar med. Vi är en oberoende förmedlare som tar emot förfrågningar från företag vars personal skulle kunna spela in sitt arbete, och de företag som passar sätter vi i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. I programmet bär en medarbetare en mobil i ett huvudfäste och spelar in överenskomna moment, och företaget får betalt för de inspelningstimmar som godkänns i granskningen. Programmet samlar i dag främst in data i USA, och om det är öppet för ett svenskt företag avgörs från fall till fall. Vilka typer av arbete som omfattas framgår under branscher.
Driver ni ett företag med praktiskt arbete kan ni berätta om ert företag. Är ni i stället på labbsidan och behöver få någon av datasorterna inspelad förklarar sidan för robotlabb hur ni beskriver vad ni behöver.
Frågor och svar
Vanliga frågor
Vad är teleoperation av robotar?
En människa fjärrstyr en robot i realtid, och roboten följer människans rörelser. När det görs för att ta fram träningsexempel sparas robotens kamerabilder tillsammans med dess egna rörelser.
Är teleopererade robotar autonoma?
Nej. En teleopererad robot styrs av en människa. Teleoperation används för att spela in träningsexempel och i vissa produkter för att låta en människa ta över när roboten inte klarar ett moment själv.
Varför är det dyrt att samla in teleoperationsdata?
Varje timme data kräver en robot, en utbildad operatör och en plats som har ställts i ordning för momentet, och roboten arbetar oftast långsammare än en människa skulle göra. Kostnaden växer i takt med antalet inspelade timmar.
Kan en robot lära sig enbart utifrån video av människor?
Inte tillförlitligt i dag. Video av människor visar vad som händer men innehåller inga robothandlingar, så modeller som har tränats på sådan video tränas eller justeras i regel också på data som spelats in med en robot.
Vilken sorts data kan ett företag bidra med?
Egocentrisk video. Teleoperation kräver labbets robot och utbildade operatörer. Video i förstapersonsperspektiv kräver en kroppsburen kamera och människor som utför arbetet, och det har ett företag redan.
Fler sidor
Läs vidare
Egocentrisk datainsamling
Egocentrisk data är video ur förstapersonsperspektiv, inspelad av den som utför arbetet, med kameran på huvudet och händerna i bild. Robotlabb vill ha stora mängder sådan video, och det mesta måste spelas in för just det syftet, på de platser där arbetet utförs.
Läs merTräningsdata för robotar
En språkmodell lärde sig av text som redan fanns på internet. En robot har inget sådant arkiv att lära sig av. Träningsdata för robotar måste tas fram särskilt för ändamålet, och det mesta av kostnaden och arbetet med att lära upp en robot går åt till att få ihop tillräckligt mycket.
Läs merSå lär sig robotar: imitationsinlärning och diffusion policy
De flesta robotar som gör något nytt i dag har lärt sig det genom imitationsinlärning, alltså genom att kopiera inspelade exempel på uppgiften. Den här guiden förklarar den metoden och de närliggande metoderna utan matematik och avslutas med vilken data var och en kräver.
Läs merNästa steg
Berätta om ert företag
Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar