テキストtoビデオAIワークフロー:下書きプロンプトから最終クリップまでに踏む4つの確認

実践的なテキストtoビデオAIの手順。フレームを先に固定し、カメラの動きを1つに絞ったショットブロックを書き、各リファレンスを1つの役割に結びつけ、1行も変える前に同じチェックリストで毎回のレンダーを確認する。

テキストtoビデオAIワークフロー:下書きプロンプトから最終クリップまでに踏む4つの確認

テキストtoビデオAIの作業は、モデルが何かをレンダリングする前にすでに失敗していることが多い。1つのプロンプトに、フレームを決める、シーンを描写する、カメラを制御する、結果を判断するという無関係な4つの仕事を同時に押しつけているからだ。クリップが意図と違って返ってきても、その4つの判断のどれが原因なのかは分からない。だから次の試行ではすべてを変えてしまい、ループはいつまでも収束しない。

解決策はクリエイティブなものではなく、手順の問題だ。生成を4つの判断ゲートを持つ制作ループとして扱い、次のゲートが開く前に、各ゲートで1つの問いに答えさせる。これは、KOOX AIのSeedance 2.0のようなテキストtoビデオAIツールで作る短いシネマティックなクリップ、製品カット、SNS向けの短縮版まで通用する手順だ。

最初のプロンプトが納品物にならない理由

薄いプロンプトは、ひとつの分かりやすい形で失敗するわけではない。だからこそ直すのが難しい。RunwayのSeedance 2.0プロンプトガイドは、失敗を6つの型に分けている。被写体が曖昧なら、汎用的なストック映像風の環境モーションが生成される。行動が一般的な言葉で書かれていれば、書き漏らした詳細のレベルに応じて勝手に補われる。ライティングやカメラの指示が欠けていれば、ショットは平坦になる。役割を与えられていないリファレンスは、意図しない色やスタイルをにじませる。段落をひとつにまとめてしまうと、モデルには緩急をつける手がかりがない。そして最後に制約を書かないプロンプトは、誰も頼んでいない字幕、ロゴ、ウォーターマークを返してくることがある。

このリストは飾りではなく、診断の道具だ。プロンプトを変える前に、目の前の失敗が6つのどれなのかを言葉にしよう。環境の漂流は被写体の問題、平坦なフレームはライティングの問題、突然現れるロゴは制約の問題、ワンテイクで撮りたかったのにカットが入るクリップは構造の問題だ。このうち行動の行を書き直して解決できるのは、ひとつだけである。

ゲート1:一言も書く前にフレームを固定する

パネルの上部で選ぶ設定は、その後に続くすべての文を縛る。最初のレンダーに失望してからではなく、先に決めておきたい。とくに重要なのは3つだ。

まず長さとフレーミング。一般的なクリップは5〜15秒で、これは1つのシーケンス全体ではなく数ショット分だ。だから書く前に、実際に収まるビートを数えておく。アスペクト比はフレーミングと同じくらい構図を左右する。縦のフレームは横のフレームとは被写体と空間の配置が変わるべきで、同じプロンプトが両方に効くことはほとんどない。

次に解像度。これはプロンプトの読まれ方を変える。高解像度レンダーでの細部を前提にした記述は、下書きのパスでは無駄になる。モーションを試すのは、下書き解像度のパスが適している。いくつかのモデルには出力解像度に上限のある高速版やmini版もあるので、最大限の細部を狙って書いたプロンプトはそこで報われない。

3つ目は1つのアクションに要する時間。1つの動作が読み取れるまでに4〜5秒かかるなら、15秒のクリップには3つが余裕をもって入り、5つは動きが小さいときだけ入る。8秒に6つのビートを詰め込むのが、目立った破綻もないのに慌ただしく見えるクリップの最もよくある原因だ。

ゲート2:ブリーフは1層ではなく2層で書く

Seedanceは、外側の構造と内側の描写という2層でプロンプトに反応する。成果の出ないプロンプトはたいてい、この2層の片方をもう片方に潰してしまっている。外側の層はショットリストだ。出来事が起きる順に書かれたラベル付きのブロックで、モデルは中身を知る前に、作品のテンポを知ることになる。内側の層は各ブロックの中の文章で、誰がそこにいて、何をしていて、どこで、どんな光の下で、カメラがどう振る舞うかを書く。

これを具体的にする習慣が2つある。1つ目は、キーワードの羅列ではなく、つながった文で書くこと。名詞と形容詞のリストは、要素同士の関係をモデルに伝えないため、各要素が文字どおり独立して描かれる。同じ要素を文として書けば、モデルにはまとめ上げるべきものがある。2つ目は、各ショット内の順序を一定にすること。まずカメラの動きかトランジション、次に被写体の行動と表情、次に位置や空間の変化、最後に音。モデルはカメラがすることと被写体がすることを切り分けており、順序が安定しているほどその切り分けが読み取りやすい。

カメラレンズの横に一列に並べられた3枚のリファレンスカード

ゲート3:1ショットに8要素、カメラの動きは1つ

完全なショットブロックは、明確な被写体、行動の詳細、シーンと環境、ライティングと色調、カメラの動き、ビジュアルスタイル、画質、制約の8つを押さえる。このうち画質と最後の制約は最も飛ばされやすく、そしてレンダーを安定させるのはこの2つだ。

カメラの行には独自のルールが要る。1ショットにつき動きは1つ。プッシュ、プル、パン、ティルトを同時に要求すると不安定さが増し、結果はどこを見ればいいか決められないフレームになる。単一の標準的な動きのほうが安定し、用語も普通のもので足りる。ミディアムショット、クローズアップ、ワイドショット、ゆっくりしたプッシュイン、滑らかな横移動、固定ショット。シーケンスに2つの動きが必要なら、ショットを2つに分ければいい。

制約は末尾に置き、「出てはいけないもの」として書く。シーンそのものは肯定的な言葉で描写し、否定の言い回しはプロンプトの最後に取っておく。字幕を入れない、ロゴやウォーターマークを生成しない、という一行はここではコストがかからず、最も厄介な種類の再レンダーを防いでくれる。

被写体は部位・程度・つなぎで動かす

一般的な動作動詞は、具体をモデルに発明させることになり、2つの動作の間の動きは連続ではなく飛びとして読まれる。体の部位を名指しし、範囲・速度・力を加え、つなぎを書けば、ほとんどは直る。「彼女は器を持ち上げて棚へ運ぶ」は、「彼女は両手でゆっくりと器を持ち上げ、そのまま立ち上がる勢いを使って自然に棚のほうへ向き直る」になる。

速度はスタイルの判断であると同時に、安定性の判断でもある。ゆっくりで穏やかな連続した動きは、高エネルギーのアクションよりも崩れにくい。走る、大きく跳ぶ、激しい動きは、歪みや不安定さが現れやすいところだ。感情も同じ理屈で、誇らしげ、緊張といった言葉はモデルに何も見せない。肩を落とす、息を吐く、かすかに微笑む、といった動きがあって初めて、動かすべきものになる。

ゲート4:すべてのリファレンスを1つの役割に結びつける

リファレンスは、テキストtoビデオAIが一貫性を得る場所であり、最も頻繁に失う場所でもある。価値のほとんどは2つの実践が担う。まず被写体を1回だけ定義する。安定した静的な特徴を2つか3つ使って定義し、現れるたびに同じ呼び方を使う。そうすればモデルは、フレームの中の誰を指しているかを推測しなくて済む。次に、各アセットを「願いを込めて添付する」のではなく、何を司るのかに明示的に結びつける。製品のシルエットを決める画像はシルエットを司り、カメラの動きを決める動画はその動きを司り、どちらからもそれ以外は借りてこない。

上限まで使うのではなく、少なめにとどめる。合計4〜5点のリファレンスのほうが、上限いっぱいのセットより良い結果になりやすい。アセットが多すぎると、どの特徴を優先すべきかをモデルが判断しにくくなり、それはスタイルの衝突や漂流として現れる。人物なら、クローズアップの顔写真と全身画像を組み合わせるほうが、特徴がフレームに占める割合の小さい1枚の合成画像よりも、はるかにしっかり顔を固定できる。

音はプロンプトの中の本来の場所に置く

モデルが映像と同じパスで音声を生成するなら、サウンドデザインは後工程ではなくプロンプトの中身になる。各行がどんな種類の情報なのかを示そう。セリフ、音楽、効果音にはそれぞれ独自の書き方を与え、そのフレーズが話されるのか、音楽として鳴るのか、部屋の物音なのかをモデルに推測させない。モデルが想定していない言語のセリフなら、その言語名をそばに書いておく必要がある。

レビューの工程が価値を発揮するのもここだ。映像は正しいのに音の環境がシーンとぶつかっているクリップは、生成の失敗ではない。書き直すべき一行があるということであり、直すべき場所は、それを生んだのと同じプロンプトの中にある。

感覚ではなく固定のリストで確認する

最後のゲートは、多くの作業が飛ばしてしまうものだ。レンダーの良し悪しを決める前に、毎回同じ短いリストで点検する。動きの中で被写体のシルエットは保たれているか、ショット間でライティングは一貫しているか、テキストやロゴ、ウォーターマークはないか、モーションはカクつきではなく連続として読めるか、テンポは自分が書いたショットリストと合っているか。

制御された生成を目指すカメラとモーションの指針も、制作の言葉で同じことを言っている(ReelMindのカメラとモーションのノートを参照)。ほかの何かとつなぐ前に、そのショットのモーションの安定性、シルエットの保持、ライティングの一貫性を点検する。この3つを満たすクリップは、想像したテイクでなくても使える。どれか1つでも外したクリップは、編集では救えない。

コンクリート打ちっぱなしのスタジオの壁にテープで描かれた2つのフレーム枠

一度に1つの変数だけを調整する

プロンプトをラベル付きのブロックとして書く理由は、調整を外科手術のように正確にするためだ。生成と生成の間で1行だけ変え、ほかはすべて同じにしておけば、出力の違いは原因を特定できる。被写体の行とカメラの行を同時に変えてしまえば、2本目のクリップが良くなっていても、得られたものは何もない。

レンダーのそばに短いログをつけておく。ショットブロック、設定、そして変えた1行を記録する。クリップが混沌として返ってきたとき、最初にやるべきは足し算ではなく引き算であることが多い。使える時間に対してアクションが多すぎるのが、定番の原因だからだ。黒いフレームが返ってきたり、そもそも生成に失敗したりする場合、プロンプトは選んだ尺と解像度に対して単に複雑すぎることが多い。数秒に1アクションまで減らすか、下書き解像度に落とすほうが、もう一度書き直すより速い。

ショットがレビューリストを通ったら、もう触らずに次のショットへ進む。完成したクリップとは、検証済みのショットの連なりであって、1つの完璧なプロンプトではない。だからこそ、安定したテキストtoビデオAIの出力を生む手順は、魔法の一文というよりチェックリストに見えるのだ。

投稿情報

公開日
テキストtoビデオAIワークフロー:下書きプロンプトから最終クリップまでに踏む4つの確認