CorpusMarket Robotik

Leverantörer av robotdata: så hittar labb data från verkligheten

Det finns ingen enskild marknadsplats där ett labb kan köpa de timmar det behöver direkt från hyllan. Leverantörer av robotdata från verkligheten når man på en handfull vägar, var och en med sina styrkor och begränsningar. Den här sidan jämför dem för dataansvariga som måste välja.

Av Linus Näslund, Co-Founder

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar
Innehåll05
  1. 01Finns det en marknadsplats för robotdata?
  2. 02Vägarna till leverantörer av robotdata
  3. 03Jämförelse av vägarna
  4. 04Så väljer ni
  5. 05Här kommer CorpusMarket in

Finns det en marknadsplats för robotdata?

Dataansvariga börjar ofta med att söka efter en marknadsplats för robotdata och väntar sig något i stil med en bildbyrå för robotinlärning. I den formen finns den inte ännu. Robotdata från verkligheten är knuten till en uppgift, en robotkropp (embodiment) och en uppsättning användningsrättigheter, så det mesta samlas in på beställning.

I stället finns det ett antal vägar, och de flesta labb använder flera samtidigt.

Vägarna till leverantörer av robotdata

Egen insamling

Labbet bygger upp en egen insamlingsverksamhet: robotar, operatörer och en lokal med stationer för olika uppgifter. Det ger full kontroll över hårdvara, protokoll och kvalitet. Begränsningarna är kostnaden och likformigheten, eftersom datan kommer från labbets egna rum och människor.

Teleoperatörer

En människa styr en robot genom en uppgift medan robotens kameror och ledlägen loggas. Labben bemannar det själva eller lägger ut det på någon annan. Datan är inspelad i robotens egen kropp, vilket gör den direkt användbar för träning. Hur mycket som hinner samlas in begränsas av antalet robotar och operatörer, och datan passar den robot den spelades in på bättre än någon annan.

Leverantörer av insamling och annotering

Företag som samlar in robotdata tar emot en specifikation och levererar enligt den. Många har vuxit fram ur företag som samlade in AI-data i allmänhet och märkte upp bilder och text, och några driver nu särskilda anläggningar för robotik. Scale AI beskriver till exempel både insamling av teleopererade demonstrationer och annotering av demonstrationer på sin sida om physical AI.

Annotering av robotdata säljs ofta tillsammans med insamlingen. I den ingår att dela upp inspelningar i steg, skriva språkliga beskrivningar av vad som händer och märka ut händer, föremål och kontakter.

Appar för bidragsgivare

Privatpersoner spelar in uppgifter med sin egen mobil eller med en utlånad enhet, mest hemma, och får betalt för det. På så sätt når man snabbt många hushåll och många människor. Miljöerna är främst hemmiljöer, och skicklighet och bildutsnitt varierar från den ena bidragsgivaren till den andra, så granskning och filtrering får bära en större del av arbetet.

Inspelningsprogram hos företag

Ett företag går med på att medarbetarna spelar in sina vanliga arbetsmoment, oftast med en mobil som bärs på huvudet, och får betalt för de timmar som klarar granskningen. Så får ett labb video i förstapersonsperspektiv från storkök, byggarbetsplatser, butiker och lager, där arbetet utförs av människor som har det som yrke. Vår guide om egocentrisk datainsamling beskriver formatet.

Öppna dataset

Forskningsdataset kostar ingenting att skaffa och är användbara för förträning och jämförelsetester. Några exempel från olika kategorier:

  • Open X-Embodiment samlar befintliga robotdataset från många forskningslabb, omfattar många robotkroppar och är släppt som öppen källkod.
  • DROID är en samling teleopererade manipulationsdemonstrationer på en Franka Panda-arm, insamlad vid flera institutioner och släppt som öppen källkod.
  • Ego4D är ett stort dataset med egocentrisk video från ett konsortium av universitet i samarbete med Facebook AI. För att få tillgång krävs att man godkänner dess licensavtal.

Varje öppet dataset har sina egna licensvillkor, och de skiljer sig åt. Vår översikt över dataset med egocentrisk video går igenom dem som är filmade i förstapersonsperspektiv.

Jämförelse av vägarna

VägVad ni fårKroppVariationTid till första dataTypisk begränsning
Egen insamlingData exakt efter ert protokollEr robotLåg, era egna lokalerLång, tar tid att bygga uppKostnad, likformig miljö
TeleoperatörerRobotdemonstrationer med rörelsedataEr robot eller operatörensLåg till medelhögMedellångEn robot, en operatör, en timme
Leverantörer av insamling och annoteringInsamlad och uppmärkt data efter specifikationRobot eller människa, beroende på leverantörMedelhög, beror på leverantörens anläggningarMedellångOfta arrangerade miljöer
Appar för bidragsgivareVideo av människor som gör vardagssysslorMänniskaHög mellan hem, låg mellan arbetsplatserKortMest hushållssysslor, ojämn kvalitet
Inspelningsprogram hos företagVideo i förstapersonsperspektiv av riktigt yrkesarbeteMänniskaHög mellan yrken och arbetsplatserMedellång, företagen ska komma igång förstInga robotrörelser, arbetsplatsens regler gäller
Öppna datasetBefintlig forskningsdataBestäms av datasetetBestäms av datasetetIngen, finns direktLicensvillkor, inte era uppgifter

Tabellen beskriver vägar, inte företag. Enskilda leverantörer inom en väg skiljer sig åt, och det finns ingen meningsfull lista över de bästa leverantörerna av robotdata som håller för alla uppgifter.

Så väljer ni

Fyra frågor avgör det mesta av valet.

Uppgift. Hushållssysslor, industriell montering och hantverksyrken hittar man på olika håll. Bestäm först vad roboten ska lära sig göra, så krymper antalet tänkbara vägar snabbt.

Kropp. Om modellen behöver rörelsedata i en viss robots ledrum är teleoperation på den roboten den direkta vägen. Om den kan lära sig av video av människor, eller använder sådan video för förträning, öppnar sig de vägar som bygger på människor. Teleoperation eller egocentrisk video jämför de två i detalj.

Variation. Bestäm vilken sorts variation som spelar roll: föremål, rum, människor, skicklighetsnivåer eller hela branscher. I en arrangerad miljö är det billigt att variera föremålen. Bara på riktiga arbetsplatser varierar allt på en gång.

Rättigheter. Fråga varje källa vem som har gått med på inspelningen, vad licensen tillåter, om den är exklusiv och vad som gäller för människor och egendom i bild. Svaren skiljer sig mellan vägar och mellan leverantörer, och för material från arbetsplatser reds de ut företag för företag.

De flesta labb landar i en blandning: öppen data och video av människor för bredd, teleoperation på den egna roboten för det sista steget. Träningsdata för robotar går igenom hur de olika typerna hänger ihop.

Här kommer CorpusMarket in

CorpusMarket är en oberoende förmedlare. På robotiksidan gör vi en sak i dag: vi tar emot förfrågningar från företag vars personal utför praktiskt arbete, kontrollerar att arbetet passar och sätter dem i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. För labb förmedlar vi kontakten med samma program.

Det gör oss till en av de sex vägarna ovan, inspelningsprogrammet hos företag. Vi är ännu ingen marknadsplats med många säljare, och vi har ingen katalog med dataset att bläddra i. Programmet omfattar hantverksyrken, bygg, bilservice, lager, tillverkning, kök, städning, hotell, butik, lantbruk med mera, och samlar i dag främst in data i USA.

Om det är den sortens material ni behöver förklarar sidan för robotlabb hur ni beskriver de arbetsmoment, miljöer och volymer ni letar efter. Om ni driver ett företag och har hamnat här från utbudssidan kan ni i stället gå till formuläret och berätta om ert företag.

Frågor och svar

Vanliga frågor

Finns det en marknadsplats för robotdata?

Inte i betydelsen en katalog med många säljare och färdiga dataset. Det mesta av robotdatan från verkligheten samlas in på beställning via leverantörer, appar för bidragsgivare, inspelningsprogram hos företag eller labbets egen verksamhet, vid sidan av öppna dataset för forskning.

Vilka är de bästa leverantörerna av robotdata?

Det beror på uppgiften, roboten och de rättigheter labbet behöver, så en rankning skulle vilseleda. En leverantör som är rätt för teleopererade demonstrationer på en viss robotarm kan vara fel val för video i förstapersonsperspektiv av hantverksyrken.

Vad gör företag som samlar in robotdata?

De samlar in data efter ett labbs specifikation. Vissa driver egna anläggningar med robotar och teleoperatörer, andra leder en arbetsstyrka som spelar in video, och många annoterar också det som samlas in.

Vad är annotering av robotdata?

Att ge råa inspelningar struktur så att en modell kan lära sig av dem. Vanliga arbetsuppgifter är att dela upp video i delmoment, skriva språkliga beskrivningar och märka ut händer, föremål och kontaktpunkter.

Kan ett labb få material från riktiga företag i stället för arrangerade miljöer?

Ja. Inspelningsprogram hos företag betalar företag för video i förstapersonsperspektiv som deras egen personal spelar in under vanligt arbete. CorpusMarket sätter labb i kontakt med ett sådant program.

Nästa steg

Berätta om ert företag

Om er personal utför praktiskt arbete kan ett robotlabb betala för video av det. Skicka era uppgifter så berättar vi om det passar och vad som händer sedan.

  • Kostar inget att anmäla sig
  • Inget delas innan vi har pratat
  • Svar inom två arbetsdagar

CorpusMarket är fristående från Amelia Robotics och kan få en förmedlingsersättning om ert företag går med i deras program. Inget på den här sidan är ett löfte om intäkter.