Text-to-video-generointi tarkoittaa videosekvenssien tuottamista tekstikuvauksen perusteella, jota kutsutaan promptiksi. Järjestelmä tulkitsee tekstin ja syntetisoi toisiinsa johdonmukaisia kuvia, jotka tuottavat liikettä, siirtymiä ja ajallista yhtenäisyyttä ilman, että tarvitsee kuvata tai animoida mitään käsin. Taustalla on kehittyneitä generatiivisia malleja, yleensä diffuusiota yhdistettynä transformer-tyyppisiin arkkitehtuureihin. Mallit on koulutettu suurilla videomäärillä ja niihin liittyvillä kuvauksilla.
Sen merkitys on siinä, että se pienentää audiovisuaalisen tuotannon kustannuksia ja aikaa huomattavasti, ja mahdollistaa videon luomisen ihmisille, joilla ei ole teknistä osaamista editoinnista tai animaatiosta. Siitä on hyötyä ideoiden prototyypittämisessä, mainossisällössä, animaatioprototyypeissä, opetusmateriaaleissa ja visuaalisissa efekteissä.
Käytännön rajoitteet on hyvä pitää mielessä:
- Kesto: monet mallit tuottavat lyhyitä, muutaman sekunnin mittaisia klippejä.
- Johdonmukaisuus: kuvien välille voi ilmaantua artefakteja tai epäjohdonmukaisuuksia.
- Hallinta: liikkeen tai kohtauksen yksityiskohtien tarkka säätäminen on edelleen vaikeaa.
Merkittäviä esimerkkejä ovat OpenAI:n Sora, Googlen Veo ja Runway Gen-3.