AI-prompts voor foto naar video: vijf voorbeelden, vijf bewegingslijnen

Vijf voorbeelden van AI-prompts voor foto naar video voor portretten, producten, landschappen, straattaferelen en huisdieren, plus de regels om ze aan te passen en in te korten.

AI-prompts voor foto naar video: vijf voorbeelden, vijf bewegingslijnen

Een stilstaande foto vertelt het model al hoe de scène eruitziet. Kleur, kadrering, lens, licht, kleding en de exacte vorm van het onderwerp liggen vast in het bestand dat je uploadt. Wat het bestand niet zegt, is wat er daarna moet gebeuren. Precies in die leemte bewijst een AI-prompt voor foto naar video zijn waarde: hij beschrijft de afbeelding niet opnieuw, maar benoemt welke delen van de afbeelding bewegen, in welke richting, met welke snelheid, en welke delen helemaal niet mogen veranderen.

De vijf voorbeelden hieronder volgen die regel. Elk is een complete prompt voor een veelvoorkomend soort stilstaand beeld, gevolgd door de reden waarom hij zo is geschreven en de onderdelen die je aanpast wanneer je eigen foto afwijkt. Ze zijn bewust kort. Een prompt voor een clip van vijf seconden heeft ruimte voor twee of drie beslissingen, en de clips die er kapot uitzien, probeerden er meestal vijf te maken.

De afbeelding is het anker, dus de prompt beschrijft verandering

Modellen voor beeld naar video worden geconditioneerd op het frame dat je aanlevert, dus de upload bepaalt al het onderwerp, de omgeving en de stijl. Alibaba's gids over zijn videomodellen zegt dat onomwonden: bij tekst naar video beschrijf je de entiteit, de scène en de beweging, maar bij beeld naar video definieert de afbeelding alle drie, en de prompt moet zich richten op beweging en camerabeweging. Kling's promptgids maakt hetzelfde punt in workflowtermen: met een stilstaand beeld als uitgangspunt levert de afbeelding de visuele basis, terwijl de prompt beweging, camerarichting en wat er in de loop van de tijd verandert beschrijft.

Dat heeft een praktische consequentie. Woorden over het uiterlijk in een prompt voor beeld naar video worden genegeerd of tegengesproken. Een landschapsprompt die 'golden hour' zegt bij een foto die om twaalf uur 's middags is geschoten, nodigt het model uit om de lucht in het eerste frame opnieuw te schilderen, wat overkomt als een storing in plaats van een creatieve keuze. Wat betrouwbaar werkt, zijn werkwoorden: knipperen, meedeinen, draaien, tot rust komen, oversteken, samentrekken.

Twee regels en één beperking

Bijna elke prompt die op een stilstaande foto werkt, kun je opbouwen uit twee regels en een afsluitende opdracht.

De eerste regel is beweging: wat beweegt, in welke richting, met welke amplitude. Noem één actie van het onderwerp en hoogstens één actie op de achtergrond. De tweede regel is camera: inzoomen, uitzoomen, glijden, rondcirkelen of vast blijven staan. Zeg hardop 'vaste camera' wanneer er niets mag bewegen, want de meeste modellen zien stilte over het onderwerp als toestemming om een langzame drift te verzinnen.

Voeg daarna de beperking toe: het ene detail waarvoor je de clip zou afkeuren als het verdwijnt. Kling's voorbeeld met de parfumfles combineert een langzame rotatie en een macroscopische inzoom met de instructie om het label scherp en ongewijzigd te houden. Die beperking doet meer werk dan welk stijlwoord dan ook, want ze vertelt het model welk deel van het frame niet ter onderhandeling is.

Woorden voor amplitude wegen echt in een korte prompt. In Alibaba's bewegingsrichtlijnen worden snelheid en intensiteit expliciet vastgelegd, met woorden als 'langzaam' of 'snel' en formuleringen als 'heftig heen en weer zwaaiend'. Kleine woorden verschuiven het resultaat een heel eind, dus besteed ze aan die ene beweging die ertoe doet.

Voorbeeld 1: een portret waarbij het gezicht stand moet houden

Vaste camera. De vrouw knippert één keer en ademt uit, haar schouders zakken licht. Plukken haar bij haar slaap bewegen in een lichte luchtstroom. Haar ogen blijven op de lens gericht en haar uitdrukking verandert niet. Houd het gezicht ongewijzigd.

Waarom het werkt. Identiteitsdrift is de faalmodus bij gezichten, dus de prompt besteedt zijn budget aan één piepkleine actie en één beweging op de achtergrond, en sluit dan af met een expliciete vasthoudopdracht. Er is helemaal geen camerabeweging: bij deze clipduur neigt een inzoom op een gezicht ernaar de trekken uit te rekken nog voordat de actie goed en wel plaatsvindt.

Hoe je het aanpast. Verwissel de actie, niet het aantal. Een man in een jasje krijgt één enkele hoofddraai; een zittend figuur krijgt één hand die naar de armleuning beweegt. Houd de zin 'de uitdrukking verandert niet' aan zolang het shot een portret moet blijven.

Voorbeeld 2: een product op een effen oppervlak

De camera zoomt langzaam in vanuit een hoge driekwarthoek. De fles draait een kwartslag naar rechts. De rand van zijn schaduw schuift over het oppervlak terwijl hij draait. Het label blijft scherp en ongewijzigd. Geen handen, geen extra voorwerpen.

Waarom het werkt. Een kwartslag volstaat om te laten zien dat het object driedimensionaal is, zonder de voorkant te verbergen. De zin over de schaduw geeft de draai iets om op in te werken, waardoor de beweging leesbaar blijft. De negatieve lijst telt maar twee items, ongeveer zoveel als een korte prompt nog respecteert.

Hoe je het aanpast. Stem de rotatie af op de leesbaarheid. Moet het label in het laatste frame leesbaar zijn, beperk de rotatie dan tot een achtste slag of vervang haar door een lichte zwaai van het licht. Bij zachte goederen vervang je de rotatie door één enkele plooi of een beweging die tot rust komt.

Een studiostill van een glazen fles, met ernaast een koperen pijl die langs het oppervlak wijst

Voorbeeld 3: een landschap met langzame omgevingsbeweging

Vaste camera. Wolken drijven langzaam van links naar rechts. Gras op de voorgrond beweegt een beetje in de wind. De horizon blijft waterpas en het licht verandert niet.

Waarom het werkt. Landschappen mislukken door te veel animatie: elke boom, vogel en wolk krijgt zijn eigen idee van beweging en het frame verwordt tot ruis. Deze prompt staat twee bewegingen toe, geeft beide een richting en sluit dan de deur naar lichtverandering, wat voorkomt dat het model afdwaalt naar een verzonnen zonsondergang.

Hoe je het aanpast. Kies de beweging die de foto oproept. Water krijgt een rimpeling en een verschuivende weerspiegeling; een bos krijgt beweging in het bladerdek en één vallend blad; een woestijn krijgt trillende hitte en een langzaam kruipende schaduw. Houd de zin 'het licht verandert niet' aan, tenzij het licht juist het punt van het shot is.

Voorbeeld 4: een straat- of markttaferel met verkeer op de achtergrond

De camera blijft stilstaan. Voetgangers steken van rechts naar links over in een normaal wandeltempo, licht uit focus. Een scooter passeert één keer achter hen langs. De gevel en de bewegwijzering blijven scherp en ongewijzigd.

Waarom het werkt. Menigten zijn de plek waar modellen voor beeld naar video de meest zichtbare artefacten produceren, want elk figuur wordt een kandidaat voor een nieuwe pose. Eén richting voor de menigte en één passage voor een voertuig benoemen houdt de beweging samenhangend, en de architectuur stilhouden geeft het oog iets stabiels om de beweging tegen af te meten.

Hoe je het aanpast. Beperk het aantal spelers voordat je het detail opvoert. Twee voetgangers die in één richting oversteken, lezen beter dan zes in drie richtingen. Heeft de foto geen duidelijk onderwerp, voeg dan één klein vast element toe, zoals een lantaarnpaal of een deuropening, en bescherm het met de beperkingsregel.

Voorbeeld 5: een close-up van een huisdier of dier

Vaste camera, dichtbij. De oren van de hond gaan omhoog en zijn kop kantelt een paar graden naar links. Zijn tong beweegt één keer. Het vachtpatroon en de oogkleur blijven ongewijzigd. Geen verandering in het licht.

Waarom het werkt. Dierenopnamen nodigen het model uit om anatomie te verzinnen: extra tenen, een tweede tong, een snuit die halverwege de clip langer wordt. Een expliciete vasthoudopdracht voor vachtpatroon en oogkleur geeft het model een reden om het oppervlak consistent te houden, en een kleine hoofdkanteling volstaat om leven over te brengen.

Hoe je het aanpast. Schaal de actie naar de massa van het dier. Een kat krijgt een oorsiddering en een puntje van de staart; een paard krijgt een wapperend neusgat en één stap. Vermijd acties met het hele lichaam in een nauw kader, want het frame heeft geen ruimte om ze af te maken.

Elk patroon aanpassen aan je eigen foto

Drie verwisselingen dekken de meeste gevallen. Ten eerste: verander de actie van het onderwerp in iets wat de pose op de foto al ondersteunt: een figuur die op een leuning leunt, moet zijn gewicht verplaatsen, niet weglopen. Ten tweede: kies de camerabeweging op basis van het kader: een breed shot met een sterke leidende lijn verdraagt een glijbeweging, terwijl een nauw kader zonder marge vast moet blijven staan. Ten derde: herschrijf de beperking als datgene wat je echt zou afkeuren: een wazig label, een veranderde oogkleur, een scheve horizon.

De clipduur bepaalt de bovengrens van dit alles. Veel systemen voor beeld naar video produceren van nature zeer korte clips; de documentatie van Stable Video Diffusion beschrijft bijvoorbeeld output van twee tot vier seconden, geconditioneerd op één invoerafbeelding. Twee acties die in vier seconden zijn gescript, verdringen elkaar, dus tel de acties af tegen de tijd voordat je detail toevoegt.

Een vergrootglas dat op drie afgedrukte frames rust, waarbij slechts één frame scherp in beeld is

Wat je weglaat uit een AI-prompt voor foto naar video

  • De scène opnieuw beschrijven. Het model ziet de foto; een tweede beschrijving dingt daarmee om aandacht.
  • Stijlwoorden. De stijl kwam mee met het bestand. Is de foto al warm en korrelig, dan voegt dat benoemen niets toe, en om iets anders vragen vecht tegen het anker.
  • Twee camerabewegingen. Kies er één en maak die af.
  • Lange negatieve lijsten. Twee of drie uitsluitingen worden gerespecteerd; tien worden ruis.
  • Audio- en dialooginstructies voor een stil model. Bewaar die voor een model dat geluid als invoer accepteert.

Controleer de clip voordat je de prompt herschrijft

Controleer drie dingen in deze volgorde. Eerst de geometrie: is het label nog steeds het label, is het gezicht nog steeds hetzelfde gezicht, is de horizon nog waterpas. Dan de timing: was de actie afgerond, of werd hij halverwege afgekapt. En dan ongewenste verandering: verschoof het licht, dook er een voorwerp op, kreeg de achtergrond er een tweede menigte bij.

Wijzig daarna één regel per keer, zodat de volgende clip je vertelt welke regel fout zat. Gebeurde de actie helemaal niet, dan is de oplossing meestal aftrekken: maak de prompt korter en zet het bewegingswerkwoord in de eerste bijzin, vóór elk scènedetail dat is overgebleven. Gebeurde de actie wel maar schoot hij door, houd de zin dan aan en verzacht het amplitudewoord.

Je kunt deze patronen op je eigen stilstaande beelden toepassen met KOOX's AI-tool voor foto naar video, en wil je een breder scala aan bewegingsrecepten voor één enkel portret, dan behandelt de gids met zes bewegingen de volgende laag aan keuzes.

Postinformatie

Gepubliceerd op
AI-prompts voor foto naar video: vijf voorbeelden, vijf bewegingslijnen