# Vad är en världsmodell (world model)?

> En världsmodell (world model) är en AI-modell som förutsäger vad som kommer att hända härnäst. Visa den hur en scen ser ut just nu och en möjlig handling, så tar den fram den scen som skulle följa. Robotiken använder världsmodeller som inlärda simulatorer, och de byggs nästan helt av video.

Av [Linus Näslund](https://corpusmarket.com/about.md), Co-Founder

## Idén med enkla ord

Vi människor bär redan på en världsmodell i huvudet. Den som ska skjuta ett fullt glas över ett bord vet ungefär vad som kommer att hända och saktar in. Man har inte räknat på saken, utan har sett tillräckligt många glas och bord för att kunna förutse resultatet.

Inom AI är en världsmodell en modell som har tränats att göra just den sortens förutsägelser. Indata är situationen just nu, oftast kamerabilder, plus en handling. Utdata är det som händer sedan. Kör man modellen om och om igen spelar den upp ett helt tänkt förlopp.

Det korta svaret på frågan vad en världsmodell är blir alltså: en inlärd simulator. En traditionell simulator byggs av ingenjörer som skriver ner fysikens lagar. En världsmodell lär sig hur saker beter sig genom att titta.

Idén är inte ny. En artikel från 2018 med titeln ”World Models”, av David Ha och Jürgen Schmidhuber, visade en agent som tränades helt inne i den tänkta miljö som dess egen världsmodell skapade och som sedan tog med sig det den hade lärt sig tillbaka till den faktiska miljön.

## Därför är forskningen om världsmodeller viktig för robotiken

Det är långsamt och dyrt att öva med robotar, och när ett försök misslyckas går saker sönder. Allt som flyttar övningen till programvara är värdefullt. Världsmodeller används på tre sätt.

**Planering.** Innan roboten agerar föreställer den sig resultatet av flera möjliga handlingar och väljer den som förutsägs ge bäst utfall. Meta beskriver sin modell V-JEPA 2 på det sättet, som en intern simulator som förutsäger utfallet av en hypotetisk handling, och har använt den för att planera robotrörelser i miljöer som roboten inte hade tränats i.

**Att generera syntetisk erfarenhet.** En världsmodell kan ta fram oändligt många varianter av en scen, med olika ljus, väder, planlösningar och föremål. Varianterna används som extra träningsmaterial för de modeller som styr robotar och som beskrivs i vår guide till [VLA-modeller](https://corpusmarket.com/se/robotics/vla-modeller.md). NVIDIA beskriver detta som ett huvudsakligt användningsområde för sina Cosmos-modeller, för robotar och för självkörande fordon.

**Att utvärdera en policy utan robot.** En policy är den modell som styr en robot. För att testa en ny policy ordentligt måste man köra den tusentals gånger, och det är opraktiskt på riktiga maskiner. Robottillverkaren 1X har beskrivit hur företaget tränar en världsmodell på inspelningar från sina egna robotar så att den kan fungera som en virtuell simulator för att utvärdera företagets policyer.

**[Berätta om ert företag](https://corpusmarket.com/se/robotics)** – Två minuter, inga förpliktelser. Vi hör av oss inom två arbetsdagar.

## Video är träningsmaterialet

En världsmodell lär sig genom att titta på inspelningar och försöka förutsäga vad som händer sedan. När förutsägelsen slår fel justerar modellen sig. Efter tillräckligt mycket material har den tagit till sig en hel del: föremål faller, vätskor rinner, dörrar svänger på gångjärn, tyg faller i veck.

Det handlar om stora mängder. Meta säger att V-JEPA 2 först tränades på mer än en miljon timmar video och sedan på en mycket mindre mängd robotdata (företaget anger 62 timmar) för att koppla det den hade lärt sig till handlingar.

Det upplägget i två steg är vanligt. Allmän video lär modellen hur världen beter sig. En mindre uppsättning inspelningar som innehåller handlingar lär den vad robotens egna rörelser gör.

Vilken sorts video det är spelar roll. Filmer och nätvideor är redigerade, filmade på avstånd och fulla av klipp. För en robot som arbetar med händerna är det mest användbara materialet sammanhängande, filmat på nära håll och ur arbetarens eget perspektiv, så att händer, verktyg och material syns medan ett arbetsmoment utförs från början till slut. Just det materialet beskrivs i vår guide till [egocentrisk datainsamling](https://corpusmarket.com/se/robotics/egocentrisk-datainsamling.md).

## Världsmodeller ni kan stöta på

| Namn | Från | Utvecklarnas egen beskrivning |
|---|---|---|
| Cosmos | NVIDIA | En öppen plattform med world foundation models för fysisk AI, som används för att generera träningsdata och för simulering för robotar och autonoma fordon |
| Genie 3 | Google DeepMind | En modell som utifrån en textprompt genererar interaktiva miljöer som man kan röra sig genom i realtid |
| V-JEPA 2 | Meta | En öppet släppt världsmodell som är tränad på video och används för att planera robotars handlingar |
| 1X World Model | 1X | En världsmodell tränad på företagets egna robotinspelningar, som används för att utvärdera företagets robotpolicyer |

”NVIDIA Cosmos” och ”world foundation model” nämns ofta tillsammans. En world foundation model är helt enkelt en stor världsmodell som är tänkt som en grund som andra anpassar, på samma sätt som en stor språkmodell är en grund för många tillämpningar.

## Begränsningarna

Världsmodeller är imponerande men också opålitliga på vissa bestämda sätt.

**Fysikfel.** Modellen har lärt sig hur inspelningar ser ut, inte lagarna bakom dem. Föremål kan gå rakt igenom varandra, dyka upp, försvinna eller byta form. Ju finare kontakten är (en skruvgänga, ett blixtlås, en knut), desto troligare är det att förutsägelsen blir fel. Just de detaljerna hänger praktiskt arbete på.

**Avdrift som växer.** Varje förutsagd bildruta bygger på den föregående. Små fel läggs på varandra, och efter ett tag stämmer den tänkta scenen inte längre med något verkligt. Google DeepMind säger om Genie 3 att dess miljöer håller ihop i några minuter, inte timmar, och räknar ett begränsat urval av handlingar till de nuvarande begränsningarna.

**Att se rätt ut är inte att vara rätt.** Ett genererat klipp kan övertyga ögat och ändå vara oanvändbart för att träna en robot, om krafterna och kontakterna i det inte skulle kunna uppstå i verkligheten.

**Smal täckning.** En världsmodell gör bra förutsägelser i situationer som liknar dem den har tittat på. Där den har sett lite material gissar den.

Därför kompletterar världsmodeller verklig data och traditionell simulering men ersätter dem inte. I [Så lär sig robotar](https://corpusmarket.com/se/robotics/sa-lar-sig-robotar.md) förklarar vi hur delarna hänger ihop.

## Video från verkligheten är råvaran

Alla begränsningarna ovan går tillbaka på vad modellen har fått se. En världsmodell som aldrig har sett hur gipsskivor sätts upp kan inte föreställa sig det på ett övertygande sätt, och en robot som tränas på den föreställningen ärver luckorna.

Därför är riktiga inspelningar av riktigt arbete värdefulla på två sätt. Robotar lär sig direkt av dem, och det gör också de världsmodeller som genererar mer övning åt robotarna. Det är också därför intresset för att [licensiera videodata](https://corpusmarket.com/se/robotics/licensiera-videodata.md) har vuxit och labb betalar för nya inspelningar när lämpligt material saknas. Vår sida om [träningsdata för robotar](https://corpusmarket.com/se/robotics/traningsdata-for-robotar.md) går igenom alla källor.

Det mesta praktiska arbete har aldrig filmats ur arbetarens perspektiv. Om ni utför den sortens arbete är ni välkomna att [berätta om ert företag](https://corpusmarket.com/se/robotics.md#form). CorpusMarket kontrollerar om arbetet passar och kan sätta er i kontakt med ett inspelningsprogram som drivs av vår partner Amelia Robotics. Programmet samlar i dag främst in data i USA, och om svenska företag kan delta avgörs från fall till fall.

## Vanliga frågor

### Vad är en världsmodell inom AI?

En modell som har lärt sig hur en scen förändras över tid och till följd av handlingar. Utifrån vad som händer nu och vad en agent gör förutsäger den vad som händer sedan, oftast som video eller som en kompakt intern beskrivning.

### Vad är en world foundation model?

En stor, generell världsmodell som har tränats på mycket stora mängder video och är tänkt att anpassas till många användningsområden. NVIDIA använder termen om sina Cosmos-modeller, som är inriktade på robotar och autonoma fordon.

### Vad är skillnaden mellan en världsmodell och en videogenerator?

En videogenerator gör film som ser rätt ut. En världsmodell måste reagera på handlingar, så att en kopp som knuffas åt vänster ger en annan framtid än en som knuffas åt höger. Många världsmodeller bygger på videogenerering och lägger till den styrningen.

### Varför behöver robotar världsmodeller?

För att kunna pröva saker utan att faktiskt göra dem. En robot eller dess utvecklare kan använda en världsmodell för att jämföra möjliga handlingar, ta fram övningsscenarier och testa en ny styrmodell utan att riskera en riktig maskin.
