Cirka två minuter · kostar inget · inga förpliktelser
CorpusMarket Robotik
Egocentrisk datainsamling
Egocentrisk data är video ur förstapersonsperspektiv, inspelad av den som utför arbetet, med kameran på huvudet och händerna i bild. Robotlabb vill ha stora mängder sådan video, och det mesta måste spelas in för just det syftet, på de platser där arbetet utförs.
Av Linus Näslund, Co-Founder
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar
Innehåll07
Vad egocentrisk data är
Egocentrisk betyder ”utifrån jaget”. Egocentrisk data är en inspelning gjord ur perspektivet hos den som utför ett arbetsmoment, alltså video ur förstapersonsperspektiv. Kameran bärs på kroppen, oftast på huvudet, och är riktad dit personen tittar eller ned mot händerna. Den som ser filmen ser arbetsbänken, verktyget och två händer, men inte ansiktet på den som arbetar.
Egocentrisk datainsamling är arbetet med att ta fram sådana inspelningar på ett organiserat sätt: att bestämma vilka moment som ska spelas in, förse människor med kameror, kontrollera det som kommer tillbaka och märka upp det så att ett labb kan använda det. Inspelningarna kallas också förstapersonsvideo, POV-data för robotik eller egocentrisk videodata. Det är olika namn på samma sak.
Motsatsen är exocentrisk video, eller tredjepersonsvideo, som filmas utifrån av en kamera på ett stativ, på en vägg eller i mobilen hos någon som står bredvid.
Varför man vill ha förstapersonsperspektivet inom robotinlärning
En robot som arbetar med händerna har kameror på sin egen kropp, ofta i huvudhöjd och ibland vid handlederna. Det den ser när den arbetar ligger nära det en människa ser när hon arbetar: en yta, några föremål och de egna gripdonen som sträcker sig in från bildens nederkant. Video som spelas in från en människas huvud är det närmaste en människa kan komma den vyn.
Det finns tre praktiska skäl till att labben efterfrågar den.
- Händerna syns hela tiden. Filmar man utifrån skymmer kroppen arbetet halva tiden. Filmar man från huvudet hamnar händerna och föremålet mitt i bilden.
- Den visar vart uppmärksamheten riktas. Huvudet vrids mot nästa sak som behövs. Det ger en ledtråd om vad som är viktigt i scenen.
- Den kan spelas in var som helst. En kamera som bärs på kroppen följer med vart personen än går. Ingen behöver installera något.
Begränsningen ska nämnas lika tydligt. En video av människohänder talar inte om för en robot vilka motorer som ska röra sig. Att göra om video av människor till något en robot kan handla utifrån är en öppen forskningsfråga, och labben kombinerar videon med data som spelats in på robotar. I vår jämförelse av teleoperation och egocentrisk video går vi igenom den avvägningen, och i så lär sig robotar förklarar vi vad videon används till.
Så går insamlingen till i praktiken
Detaljerna skiljer sig mellan olika program, men delarna är nästan alltid desamma.
| Del | Vad det är |
|---|---|
| Fäste | Ett pannband, en keps eller ett hjälmfäste som håller kameran stilla och lämnar båda händerna fria |
| Kamera | En actionkamera, kameraglasögon, ett headset eller en vanlig mobil |
| Inspelningsapp | Startar och stoppar en inspelning, kopplar den till ett moment och laddar upp den |
| Momentlista | De moment labbet vill ha, vart och ett med tydlig början och tydligt slut |
| Godkännandekriterier | De krav en inspelning måste uppfylla för att godkännas |
| Metadata | De uppgifter som sparas tillsammans med videon: vilket moment, vilken typ av plats, ibland sensorvärden |
Ett vanligt pass är kort. Medarbetaren sätter på sig fästet, väljer ett moment i appen, startar inspelningen, utför momentet som vanligt och trycker på stopp. Inspelningen laddas upp, och en granskare eller en automatisk kontroll avgör om den godkänns.
Vad granskarna tittar efter
Godkännandekriterierna skrivs av den som betalar för datan, så de varierar. Vanliga krav är att händerna och arbetet hela tiden är i bild, att momentet filmas från början till slut utan klipp, att bilden är tillräckligt skarp och ljus för att man ska kunna följa med och att arbetet utförs i naturlig takt. Iscensatt eller nedsaktat arbete brukar underkännas, eftersom det lär en modell något som inte stämmer med det verkliga jobbet.
Vad som sparas med videon
Enbart video är svår att söka i och svår att lära sig av. Inspelningarna sparas oftast med ett namn på momentet, en kort beskrivning av vad som händer och grundläggande uppgifter om miljön. Vissa program lägger till data från mobilens rörelsesensorer. Senare kan ett labb lägga till egna annoteringar, till exempel var händerna finns i varje bildruta eller när ett steg slutar och nästa börjar.
Därför är egocentrisk datainsamling svår
Människor i omgivningen och integritet. En huvudburen kamera som är riktad mot händerna fångar ändå allt annat som råkar hamna i bild: en kollega som går förbi, en kund, en skärm, ett dokument på bänken. De som spelar in har gått med på det. De som finns omkring dem har kanske inte gjort det. Hur det hanteras beror på arbetsplatsen och programmet, och det hör till det första som tas upp innan ett företag börjar. Vår sida om att filma på jobbet beskriver de frågor som brukar komma upp.
Enhetlighet. Hundra personer bär samma fäste på hundra olika sätt. Kameror hamnar snett, linser blir dammiga, någon glömmer att trycka på stopp. Mycket av arbetet i ett insamlingsprogram går åt till enkla, tråkiga saker: ett fäste som sitter likadant varje gång, en app som är svår att använda fel och snabb återkoppling när en inspelning inte godkänns.
Ovanliga moment. Inspelningar av vanliga moment blir snabbt många. Ett kök ger timmar med hackande varje dag. De moment en robot mest behöver hjälp med är ofta de som inträffar en gång i veckan, som att åtgärda ett stopp, rätta till ett misstag eller hantera en del med udda form. Att samla in dem kräver tålamod och en momentlista som uttryckligen efterfrågar dem.
Variation. Många timmar från ett och samma rum lär en modell just det rummet. Labben vill ha samma moment från många olika arbetsplatser och med olika verktyg, ljusförhållanden och personer, och därför letar de utanför de egna lokalerna.
Skillnaden mot tredjepersonsvideo och fasta kameror
| Egocentrisk | Tredjeperson | Fast kamera | |
|---|---|---|---|
| Var kameran sitter | På huvudet hos den som arbetar | Hålls eller ställs upp i närheten | På en vägg eller i taket |
| Vad den visar bäst | Händer, verktyg, föremålet | Hela kroppen och hållningen | Rummet och vilka som är där |
| Händerna i bild | Nästan alltid | Ofta skymda av kroppen | Små och långt bort |
| Följer med arbetet | Ja | Bara om någon flyttar den | Nej |
| Vem som startar den | Den som arbetar | En kameraoperatör | Går hela tiden |
Därför är befintligt material från övervakningskameror sällan det ett robotlabb efterfrågar. Det har spelats in i ett annat syfte, från en vinkel som visar rummet och döljer händerna. I vissa forskningsdataset har båda perspektiven spelats in samtidigt, så att modeller kan lära sig hur de hänger ihop. I guiden till dataset med egocentrisk video finns de offentliga listade.
Vilka som samlar in egocentrisk data
- Forskningslabb spelar in själva, oftast i små mängder och för en viss studie.
- Robotföretag sköter insamlingen själva i egna lokaler och i uppbyggda kopior av hem och arbetsplatser.
- Dataleverantörer anlitar och leder människor som spelar in moment enligt en specifikation.
- Appar för privatpersoner betalar enskilda personer för att spela in vardagssysslor hemma.
- Program för företag betalar ett företag för inspelningar som den egna personalen gör i det verkliga arbetet.
Den sista gruppen är den nyaste, och den finns eftersom det är på riktiga arbetsplatser man hittar den variation som saknas. På en sida för köpare, leverantörer av robotdata, jämförs de här källorna ur labbets synvinkel.
Så deltar ett företag
Ett företag behöver inga kameror, ingen teknisk personal och inga kunskaper om robotik. Det som behövs är människor som utför praktiskt arbete och är villiga att spela in det.
CorpusMarket är en oberoende förmedlare. Vi tar emot förfrågningar från företag, kontrollerar om arbetet passar och sätter företagen i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. I programmet bär en medarbetare en mobil i ett hjälm- eller pannbandsfäste med kameran riktad ned mot händerna och spelar in överenskomna moment i programmets app. Att spela in är frivilligt för varje medarbetare. Företaget får betalt för de inspelningstimmar som klarar programmets kvalitetsgranskning, och hur ersättningen delas med personalen bestämmer företaget tillsammans med programmet.
Programmet samlar i dag främst in data i USA, och om det är öppet för ett svenskt företag avgörs från fall till fall.
Stegen beskrivs i så fungerar det, och de typer av arbete som programmet omfattar finns under branscher. Vill ni veta om ert arbete passar kan ni berätta om ert företag. Det tar två minuter, vi hör av oss inom två arbetsdagar och inget delas utanför CorpusMarket innan vi har pratat med er.
Frågor och svar
Vanliga frågor
Vad är egocentrisk data?
Inspelningar som är gjorda ur perspektivet hos den som utför ett arbetsmoment. I praktiken är det video från en kamera som bärs på huvudet eller bröstet, med händerna och arbetet i bild, ibland med extra signaler som data från rörelsesensorer eller en kort beskrivning av momentet.
Vad är skillnaden mellan egocentrisk och exocentrisk video?
Egocentrisk video filmas från den plats där personens ögon sitter. Exocentrisk video filmas utifrån, av en kamera på ett stativ, på en vägg eller hos en annan person. Den första visar vad den som arbetar ser, den andra visar den som arbetar.
Vilken utrustning används för egocentrisk video?
Forskningsprojekt har använt huvudburna actionkameror, kameraglasögon och headset. Program som samlar in i stor skala använder ofta en vanlig mobil i ett huvudfäste, eftersom personalen redan kan hantera en sådan och ingen särskild utrustning behövs.
Är POV-data för robotik samma sak som egocentrisk data?
Ja. POV, förstapersonsperspektiv och egocentrisk beskriver samma sak, nämligen en inspelning ur perspektivet hos den som utför arbetet. Egocentrisk är den term som används i forskningsartiklar.
Kan ett företag delta i egocentrisk datainsamling?
Ja, om personalen utför praktiskt arbete och är villig att spela in det. Företaget och ett inspelningsprogram kommer överens om en lista med moment, de medarbetare som väljer att delta spelar in momenten och företaget får betalt för de inspelningstimmar som godkänns i granskningen.
Fler sidor
Läs vidare
Teleoperationsdata eller egocentrisk video
Det finns två sätt att spela in exempel från verkligheten åt en robot. En människa kan styra roboten genom momentet, eller så kan en människa utföra momentet själv och filma det ur sitt eget perspektiv. Vartdera sättet ger modellen något som det andra inte kan ge, och därför använder de flesta labb båda.
Läs merDataset med egocentrisk video
En handfull offentliga dataset återkommer i nästan varje artikel om robotar som lär sig av video. Några består av inspelningar av människor, filmade i förstapersonsperspektiv. Andra är inspelade på robotar. Den här sidan går igenom de mest kända, beskriver vad vart och ett innehåller och förklarar varför labben ändå betalar för nytt material.
Läs merKroppskamera och inspelning på arbetsplatsen
Att sätta en kamera på en anställd väcker rimliga frågor, och de förtjänar raka svar. Den här sidan beskriver hur inspelning för robotträning brukar gå till, vilka frågor som brukar komma upp och hur de gås igenom med varje företag innan inspelningen börjar. Sidan är en beskrivning, inte juridisk rådgivning.
Läs merNästa steg
Berätta om ert företag
Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.
- Kostar inget att anmäla sig
- Inget delas innan vi har pratat
- Svar inom två arbetsdagar