Die Text-to-Video-Generierung besteht darin, Videosequenzen aus einer Textbeschreibung zu erstellen, die als Prompt bezeichnet wird. Das System interpretiert den Text und synthetisiert zueinander kohärente Einzelbilder, wobei Bewegungen, Übergänge und zeitliche Konsistenz erzeugt werden, ohne dass manuell gefilmt oder animiert werden muss. Sie stützt sich auf fortschrittliche generative Modelle, üblicherweise Diffusionsmodelle in Kombination mit Transformer-Architekturen, die mit großen Mengen an Videodaten und den dazugehörigen Beschreibungen trainiert wurden.
Ihre Bedeutung liegt darin, dass sie die Kosten und den Zeitaufwand für die audiovisuelle Produktion drastisch reduziert und die Videoerstellung für Personen ohne technische Kenntnisse in der Bearbeitung oder Animation öffnet. Sie ist nützlich für das Prototyping von Ideen, Werbeinhalte, Animationsprototypen, Bildungsmaterial und visuelle Effekte.
Es sollten einige praktische Einschränkungen beachtet werden:
- Dauer: Viele Modelle generieren kurze Clips von nur wenigen Sekunden.
- Kohärenz: Es können Artefakte oder Inkonsistenzen zwischen den Einzelbildern auftreten.
- Kontrolle: Die Anpassung konkreter Details der Bewegung oder der Szene bleibt weiterhin schwierig.
Herausragende Beispiele sind Sora von OpenAI, Veo von Google und Runway Gen-3.