Dépannage vidéo IA Seedance : six symptômes et la ligne de prompt derrière chacun

La plupart des clips Seedance décevants ne sont pas mal écrits. Ils sont écrits dans le mauvais ordre, ou ils décrivent une ambiance là où le modèle avait besoin d'un plan. Ce que le texte-vers-vidéo a d'utile, c'est qu'un clip terminé est aussi un rapport de diagnostic : une image qui se déforme quand la caméra bouge renvoie à la phrase sur la caméra, un accessoire qui change entre deux plans renvoie à la façon dont vous l'avez nommé, et une réplique de dialogue enfouie sous des sous-titres non désirés renvoie au bloc audio. Lisez la sortie de cette façon et la plupart des corrections tiennent en une phrase.

Il s'agit ici d'une passe qui part des symptômes plutôt que d'un empilement de gabarits. Chaque section nomme quelque chose que vous pouvez voir dans le lecteur, l'habitude de prompt qui se cache derrière, et le plus petit changement qui l'élimine. Les points de référence sont les recommandations de ByteDance pour les modèles Seedance et des guides de prompt publiés qui les mettent à l'épreuve en pratique.

Les prompts Seedance ont deux couches, et elles échouent différemment

Le guide Seedance de Runway décrit le prompt comme deux couches qui remplissent des tâches différentes. La couche externe est structurelle : le clip se découpe en plans étiquetés, écrits dans l'ordre où les événements se produisent, afin que le modèle connaisse le rythme avant de connaître le contenu. La couche interne est descriptive : à l'intérieur de chaque plan, des phrases continues couvrent qui est là, ce que les personnages font, où, sous quelle lumière, et comment la caméra se comporte.

Fuser, en résumant les propres documents de ByteDance, donne à la couche interne un ordre qui vaut la peine d'être mémorisé : sujet et action, puis scène et environnement, puis style visuel, puis mouvement de caméra et découpage des plans, puis le son, avec une ligne de contraintes à la fin. L'exemple détaillé de Runway couvre le même terrain en huit éléments et se termine par la qualité, le style et une instruction négative sur les sous-titres et les filigranes.

Presque toutes les défaillances ci-dessous sont la rupture de l'une de ces deux couches. Un prompt sans plan de découpage se transforme en une unique dérive indifférenciée. Un prompt sans description produit des images techniquement en mouvement où personne ne vaut le coup d'œil. Quand vous ouvrez un mauvais clip, décidez d'abord quelle couche vous regardez, car la correction se trouve à un endroit différent du prompt dans chaque cas.

Symptôme 1 : le clip est beau et presque immobile

Vous avez demandé « cinématique, atmosphérique, très détaillé, faible profondeur de champ » et vous avez obtenu une photographie qui respire. Les mots de style surpassent les mots d'action dans un rapport de quatre pour un, si bien que le modèle rend l'apparence et improvise le mouvement, et ce qu'il improvise est petit et prudent.

La correction consiste à consacrer vos mots à une seule action, avec une vitesse et une force, rattachée à une partie du corps. L'exemple de Runway fait exactement cela : une céramiste stabilise le bord d'un bol à deux mains, lentement. L'adverbe porte le rythme et les mains portent le mouvement, il ne reste donc rien à deviner. Si le sujet est un produit plutôt qu'une personne, nommez le seul mouvement qu'il effectue, par exemple une rotation de trente degrés, et dites ce qui reste immobile autour.

Symptôme 2 : l'image se déforme quand la caméra bouge

C'est l'artefact Seedance le plus courant, et le moins mystérieux. Les recommandations de ByteDance pour Seedance 2.0 avertissent que demander en même temps un push, un pull, un panoramique et un mouvement accroît l'instabilité de l'image. Quatre instructions se disputent une seule image : les bords bavent, les lignes droites se courbent et les visages perdent leur géométrie.

La règle est un seul mouvement par plan, et un second mouvement appartient à un second plan plutôt qu'à la même phrase. Si vous avez besoin d'un push-in qui se termine sur un gros plan, écrivez le push-in et laissez le cadrage se résoudre, ou étiquetez Plan 1 et Plan 2 et donnez à chacun sa propre ligne de caméra. L'autre moitié de la correction consiste à nommer la caméra dans des termes cinématographiques que le modèle lit déjà : taille de plan, angle et un mouvement, plutôt qu'un paragraphe d'atmosphère qui suggère un mouvement sans le préciser.

Symptôme 3 : des coupes surgissent là où vous n'en avez jamais demandé

Un prompt qui dit « à deux secondes elle se retourne, à quatre secondes la caméra passe en plan large » suppose que le modèle lit une horloge. Le guide Seedance 2.0 de ByteDance indique qu'il répond à des numéros de plan plutôt qu'à des durées exactes, et avertit que forcer des durées précises peut conduire à des résultats de génération anormaux. La génération 2.5 ultérieure lit des plages en secondes entières, comme un plan de zéro à deux secondes, ce qui est un contrat différent.

Le diagnostic dépend donc de la version que vous utilisez. Si votre prompt est bourré d'instructions seconde par seconde et que le clip invente des coupes supplémentaires ou avale des temps entiers, vous imposez un planning trop dense à un modèle qui veut des numéros de plan. Numérotez les plans, placez les temps dans l'ordre où ils se produisent et laissez le rythme se résoudre. Si votre version lit effectivement des horodatages, gardez la chronologie continue, sans trous, et évitez de serrer une plage au point que le modèle doive ajouter une coupe pour tout faire tenir.

Symptôme 4 : l'accessoire change entre deux plans

Le test publié par Fuser est l'illustration la plus nette disponible : un potier généré sur deux plans, avec le pot en bol bas et ouvert dans le gros plan et en cylindre haut dans le plan moyen. Le prompt changeait la description de l'objet entre les plans sans que personne ne le remarque.

La correction est une discipline de nommage. Décrivez l'objet une fois, avec les mêmes mots, partout où il apparaît, et préférez un inventaire concret à un adjectif : le bandeau, deux coques d'oreille, l'émail mat ton avoine, le bord gauche ébréché. Là où l'objet compte commercialement, joignez une référence image et dites ce qu'elle contrôle, plutôt que d'espérer que la prose tienne. Le guide de Runway ajoute un point connexe pour les personnes : une seule image combinée réunissant visage, tenue, pose et arrière-plan accorde aux traits du visage une part trop faible du cadre pour s'y ancrer, une référence de visage doit donc être d'abord une référence de visage.

Symptôme 5 : le moment émotionnel reste vide

Vous avez écrit « elle a l'air fière » et vous avez obtenu un visage neutre à la belle peau. Des mots comme fier, triste et nerveux décrivent un état intérieur ; rien en eux que le moteur de rendu puisse saisir. Les recommandations de Runway sont sans détour sur ce point : montrez l'émotion comme un comportement physique.

Réécrivez le temps comme une action visible avec un début et une fin. Ses épaules s'affaissent. Il expire et détourne le regard de l'objectif. Elle s'arrête au milieu d'un geste et sa main se pose sur la table. La même règle sauve la vidéo produit : « haut de gamme » n'est pas rendable, mais un lent balayage de lumière sur une arête de métal brossé l'est.

Symptôme 6 : le dialogue arrive sous des sous-titres que vous n'avez pas demandés

Sur les générations Seedance qui produisent l'audio dans la même passe que l'image, le son appartient au prompt plutôt qu'à un bloc séparé ajouté ensuite. Fuser documente la convention de crochets de ByteDance : chevrons pour les effets, accolades pour le dialogue, parenthèses pour la musique, la langue étant nommée avant une réplique non chinoise.

Deux habitudes causent le problème des sous-titres. La première est de répéter des mots du dialogue ou d'étiqueter des mots isolés avec une émotion, ce que les recommandations citent comme un déclencheur de texte non désiré à l'écran. Rattachez plutôt la note de jeu à celui qui parle qu'à la réplique. La seconde est de laisser les contraintes implicites : terminez le prompt par une instruction simple indiquant que le clip reste sans sous-titres et sans logos ni filigranes, et tenez toute typographie dense hors du prompt, en reconstruisant les légendes au montage, là où elles peuvent être corrigées sans nouveau rendu.

Corrigez dans le bon ordre quand plusieurs symptômes apparaissent

Changez tout en même temps et vous n'apprenez rien, car vous ne pouvez attribuer le nouveau résultat à aucune modification en particulier. Travaillez plutôt dans cet ordre.

Commencez par l'identité : le sujet, les accessoires et la phrase qui décrit leurs traits et les protège. Si le sujet n'est pas stable, rien en aval n'est évaluable. Puis la caméra, car une image qui se déforme masque tous les autres problèmes. Puis le minutage et le nombre de plans, puisque le nombre de coupes détermine ce que l'audio a la place de faire. Enfin le son et les contraintes.

Là où l'interface expose une graine, gardez-la fixe pendant une passe de correction afin que la comparaison isole votre modification plutôt que l'échantillonneur. Générez court, évaluez, et n'allongez la durée qu'une fois que la version de cinq secondes tient ; le clip plus long conserve davantage d'état, et une longue séquence ratée jette une plus grosse unité de travail.

Une liste de contrôle avant rendu qui vaut trente secondes

• Le sujet est nommé une fois et désigné par la même étiquette d'un bout à l'autre.
• Chaque plan comporte exactement une action, écrite avec une vitesse et une force.
• Chaque plan comporte exactement un mouvement de caméra, en termes cinématographiques.
• Les plans sont numérotés dans l'ordre où les événements se produisent.
• Les objets qui apparaissent deux fois sont décrits de façon identique les deux fois.
• L'émotion est écrite comme un comportement physique.
• Le son se tient dans ses crochets, avec la langue nommée.
• La dernière ligne retire les sous-titres, les logos et les filigranes.

Mettez la passe à l'épreuve sur un vrai clip

L'intérêt d'une passe diagnostique est qu'elle rend le second rendu moins coûteux que le premier. Vous cessez de réécrire tout le prompt et commencez à modifier une phrase, puis à comparer les deux clips côte à côte sur le symptôme que vous traquiez. Deux ou trois cycles suffisent généralement à produire un clip qui tient ensemble, et un prompt réutilisable pour le produit ou la scène suivants.

Vous pouvez appliquer la passe sur le générateur vidéo Seedance de KOOX, en commençant par une courte durée et un seul plan avant de vous engager sur une séquence plus longue avec des coupes. Gardez la version du prompt, les réglages et la note d'évaluation à côté les uns des autres, et le schéma de quelle phrase cause quel artefact devient le vôtre plutôt que quelque chose que vous redérivez à chaque fois.