# Dataset med egocentrisk video

> En handfull offentliga dataset återkommer i nästan varje artikel om robotar som lär sig av video. Några består av inspelningar av människor, filmade i förstapersonsperspektiv. Andra är inspelade på robotar. Den här sidan går igenom de mest kända, beskriver vad vart och ett innehåller och förklarar varför labben ändå betalar för nytt material.

Av [Linus Näslund](https://corpusmarket.com/about.md), Co-Founder

## Två sorters dataset

Ett dataset med egocentrisk video är en publicerad samling inspelningar där människor gör saker, filmade i förstapersonsperspektiv och försedda med annoteringar. Ett robotdataset är en publicerad samling inspelningar gjorda på robotar, med robotens kamerabilder och de handlingar som roboten utförde.

De nämns ofta tillsammans men fyller olika behov. Video av människor har stor bredd men innehåller inga robothandlingar. Robotdata innehåller handlingar men täcker betydligt färre platser. Avvägningen förklaras i [Teleoperation eller egocentrisk video](https://corpusmarket.com/se/robotics/teleoperation-eller-egocentrisk-video.md). Siffrorna nedan återges så som varje projekt anger dem på sin egen webbplats, med projektens eget skrivsätt.

## Dataset med egocentrisk video av människor

| Dataset | Släppt av | Vad det innehåller | Perspektiv | Åtkomst |
|---|---|---|---|---|
| Ego4D | Ett konsortium av 13 universitet i samarbete med Facebook AI | 3,670 timmar video med vardagsaktiviteter från 74 platser i 9 länder, med benchmarkuppgifter | Förstapersonsperspektiv, kroppsburen kamera | Licensavtal som godkänns före nedladdning |
| Ego-Exo4D | Universitetsgrupper tillsammans med FAIR, Metas AI-forskningsgrupp | 1,286.3 timmar med aktiviteter som kräver skicklighet, till exempel matlagning och cykelreparation, fördelade på 5,035 tagningar | Kameraglasögon i förstapersonsperspektiv samt fyra till fem fasta kameror som filmar utifrån, allt inspelat samtidigt | Separat licens som undertecknas före nedladdning |
| EPIC-KITCHENS-100 | University of Bristol och University of Catania | 100 timmar, 20M bildrutor och 90K handlingssegment med köksaktiviteter i 45 kök | Förstapersonsperspektiv, huvudburen kamera | Creative Commons Attribution-NonCommercial 4.0 |
| HOI4D | Tsinghua University, Peking University och Shanghai Qi Zhi Institute | 2.4M egocentriska RGB-D-videobildrutor fördelade på 4000 sekvenser där människor hanterar föremål inomhus | Förstapersonsperspektiv, färg och djup | CC BY-NC 4.0 |
| EgoDex | Apple | 829 timmar manipulation på bord, fördelade på 194 uppgifter, med 3D-pose för huvud, överkropp och händer | Förstapersonsperspektiv, inspelat med ett headset | CC BY-NC-ND |

**Ego4D** är det bredaste av dem. Det byggdes för att täcka vardagslivet i allmänhet: scener i hemmet, utomhus, på arbetsplatser och på fritiden. Benchmarkuppgifterna prövar till exempel förmågan att minnas var ett föremål lämnades och att förutsäga vad en person kommer att göra härnäst.

**Ego-Exo4D** lägger till ett andra perspektiv. Varje tagning filmas samtidigt med personens egna kameraglasögon och med flera fasta kameror runt omkring. Det gör datasetet användbart för den som vill studera hur förstapersonsperspektivet förhåller sig till bilden utifrån.

**EPIC-KITCHENS** är smalare. Människor hade en huvudburen kamera på sig medan de lagade mat och plockade undan i sina egna kök, och till inspelningarna hör berättarspår som beskriver vad som görs. Miljön är en enda sorts rum, som i stället har spelats in på djupet.

**HOI4D och EgoDex** är inriktade på händerna. Båda lägger till tredimensionell information om händernas läge, och det är just den biten som vanlig video saknar när målet är att lära en robot att hantera föremål. EgoDex omfattar enbart uppgifter som utförs på bord.

## Dataset med robotmanipulation

De här dataseten är inte egocentrisk video i vanlig mening. Ingen människa syns utföra momentet med egna händer. Det gör en robot, oftast styrd av en människa, medan robotens kameror och rörelser spelas in.

| Dataset | Släppt av | Vad det innehåller | Perspektiv | Åtkomst |
|---|---|---|---|---|
| Open X-Embodiment | The Open X-Embodiment Collaboration, med kod som Google DeepMind står värd för | 1M+ verkliga robottrajektorier fördelade på 22 robotkroppar (embodiments), sammanförda från 60 befintliga robotdataset | Robotkameror, olika beroende på källdataset | Öppen nedladdning |
| DROID | The DROID Dataset Team, vid 13 institutioner | 76k demonstrationstrajektorier eller 350h interaktionsdata i 564 scener, inspelade på en Franka Panda-arm som styrs med VR-handkontroller | Två externa stereokameror och en handledskamera | Öppen nedladdning |
| BridgeData V2 | Walke och kollegor (forskningsartikel, 2023) | 60,096 trajektorier i 24 miljöer på en WidowX 250-arm, till största delen teleopererade demonstrationer | Robotuppställning | Creative Commons Attribution 4.0 |

**Open X-Embodiment** är ett projekt för att föra samman data. Forskningslabb bidrog med dataset som de redan hade spelat in på sina egna robotar, och inom samarbetet slogs de ihop. Värdet ligger i spännvidden av robotkroppar, från enskilda armar till tvåarmade och fyrbenta robotar.

**DROID** spelades in med samma hårdvaruuppställning hos alla deltagande institutioner. Armen sitter på ett flyttbart bord, vilket gjorde att gruppen kunde spela in i många olika rum. Annars är robotdata ofta bunden till en fast labbänk.

**BridgeData V2** spelades in på en enda armmodell. De flesta trajektorierna är demonstrationer där en människa styrde armen med en VR-handkontroll, och resten kommer från en skriptad rutin som plockar upp och placerar föremål.

**[Berätta om ert företag](https://corpusmarket.com/se/robotics)** – Två minuter, inga förpliktelser. Vi hör av oss inom två arbetsdagar.

## Vad offentliga dataset är bra till

Offentliga dataset har gjort mycket av dagens forskning möjlig. De används framför allt på tre sätt.

- **Benchmark.** Alla testar på samma data, så resultaten går att jämföra.
- **Förträning.** En modell lär sig allmänna saker om föremål, händer och handlingar av ett stort offentligt dataset innan den tränas på något smalare. Den ordningen beskrivs i [Så lär sig robotar](https://corpusmarket.com/se/robotics/sa-lar-sig-robotar.md).
- **Metodutveckling.** En ny idé kan prövas på befintlig data innan någon betalar för att samla in mer.

## Begränsningarna vid kommersiell träning

Varje dataset publiceras på sina egna villkor, och villkoren skiljer sig åt. Tabellerna ovan visar spridningen. EPIC-KITCHENS-100, HOI4D och EgoDex har Creative Commons-licenser med ett icke-kommersiellt villkor, och webbplatsen för EPIC-KITCHENS anger en kontaktväg för kommersiell licensiering. Ego4D och Ego-Exo4D släpps under egna licensavtal, som undertecknas innan man får tillgång till materialet. BridgeData V2 har en licens med krav på erkännande men utan icke-kommersiellt villkor.

Akademiska och icke-kommersiella villkor är vanliga bland dataseten med video av människor. Ett företag som bygger en produkt läser varje licens själv. Den här sidan beskriver de angivna villkoren och är ingen bedömning av vad en licens tillåter i ett enskilt fall.

Det finns också begränsningar som inte har med licenser att göra:

- **Täckning.** Dataseten med människor har en slagsida mot hem, kök och fritid. Hantverksyrken, byggarbetsplatser, butikslager och restaurangkök under servering finns med i liten utsträckning eller inte alls.
- **Format.** Varje dataset spelades in med sin egen kamera, sitt eget fäste och sitt eget annoteringssystem, och det stämmer inte alltid med vad en viss robot behöver.
- **Delas av alla.** Alla labb har samma offentliga data. Den kan inte vara det som skiljer en modell från en annan.

## Varför labben ändå beställer ny insamling

Av de skälen betalar labb som bygger produkter för nytt material, inspelat enligt egen specifikation och på villkor som är skrivna för kommersiell användning. De efterfrågar bestämda moment, en bestämd kameraplacering och miljöer som den offentliga datan inte täcker. Hur det arbetet organiseras beskrivs i [Egocentrisk datainsamling](https://corpusmarket.com/se/robotics/egocentrisk-datainsamling.md), och [Licensiera videodata](https://corpusmarket.com/se/robotics/licensiera-videodata.md) går igenom hur rättigheterna till material brukar ordnas.

Det mesta av den variation som saknas finns på riktiga arbetsplatser, och de tillhör företag. CorpusMarket är en oberoende förmedlare som tar emot förfrågningar från företag vars personal skulle kunna spela in sitt arbete. De som passar sätter vi i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om det är öppet för ett svenskt företag avgörs från fall till fall. Om det skulle kunna gälla er kan ni [berätta om ert företag](https://corpusmarket.com/se/robotics.md#form). Labb som söker material kan börja på sidan [för robotlabb](https://corpusmarket.com/se/robotics/for-robotlabb.md).

## Vanliga frågor

### Vad är ett dataset med egocentrisk video?

En samling videor som är inspelade ur synvinkeln hos den som utför aktiviteten, oftast med en huvudburen kamera, och som publiceras tillsammans med annoteringar, till exempel beskrivningar av handlingarna eller av händernas läge.

### Vad är Ego4D?

Ego4D är ett stort egocentriskt dataset med tillhörande benchmarkuppgifter, släppt av ett konsortium av 13 universitet i samarbete med Facebook AI. Enligt projektets webbplats omfattar det 3,670 timmar video med vardagsaktiviteter, inspelad på 74 platser i 9 länder.

### Vad är EPIC-KITCHENS?

Ett dataset filmat i förstapersonsperspektiv där människor lagar mat och sköter andra kökssysslor i sina egna hem, från University of Bristol och University of Catania. EPIC-KITCHENS-100 omfattar 100 timmar inspelat material och publiceras under en icke-kommersiell Creative Commons-licens.

### Är Open X-Embodiment ett egocentriskt dataset?

Nej. Open X-Embodiment är ett robotdataset. Det för samman inspelningar gjorda på många olika robotar och innehåller därför robotarnas kamerabilder och handlingar, inte video av människor som arbetar.

### Kan offentliga robotikdataset användas för att träna en kommersiell produkt?

Det beror på datasetet. Vart och ett publiceras på sina egna villkor, och flera av de mest kända egocentriska dataseten har icke-kommersiella licenser. Villkoren anges av respektive projekt och läses dataset för dataset.
