画像から動画を生成するAIのプロンプトパターン：1枚の写真を動かす6つの方法

最初のフレームはすでに手元にある。これが、画像から動画を生成するAIと、生成ツールにシーンを文章で打ち込むこととの違いだ。誰が、どこで、どんな色で、どんな光かという問いには、写真がすでに答えている。残された問いは、最初の1秒から最後の1秒のあいだに何が変わるかだけである。

弱いクリップの多くは、的外れな問いに答えたプロンプトから生まれる。写真に写っているもの——女性、コート、濡れた街路——をそのままモデルに説明し、動きは偶然に任せてしまう。Lumaのプロンプトガイドはこの原則を端的に示している。優れた画像→動画プロンプトは、画像そのものではなく動きを描写する、と。WinkのWanガイドも別の角度から同じことを言う。服の色を繰り返し述べるのは、動きを担うべき言葉を無駄にしているだけだ。

だからこそ、実用的な作業単位は「モーションパターン」になる。1つの変化、1つのカメラの振る舞い、1つの速度を指定する文の型だ。以下では、商品、ポートレート、風景、SNSのループ動画で通用する6つを、うまくいく理由と破綻する条件とともに紹介する。

描くのは変化であり、写真ではない

画像→動画のプロンプトは、元のフレームに見えているものをすべて引き継ぐ。引き継がないのは意図だ。モデルはカップが見えるが、湯気が4秒間ゆるやかに立ちのぼるべきか、カメラが寄るべきかまでは分からない。

その意図を明示するのは3つの判断で、Klingのチュートリアルも同じ名で呼んでいる。被写体の動き、環境の動き、カメラの動きだ。このうちどれがクリップの主役になるかを決める。人が振り向くのは被写体の動き、ボトルの周りで水が波立つのは環境の動き、ゆっくり近づくのはカメラの動きである。3つは共存できるが、1つが「このカットを撮る理由」であるべきだ。

忘れやすい4つ目の判断がある。何を認識可能なまま残すか、だ。顔、ラベル、ロゴ、商品の形。この制約を言葉にすること——「ラベルはカメラの方を向いたまま、鮮明さを保つ」——は、動詞を1つ足すより価値があることが多い。

書く前にモーションの予算を決める

最もよくあるプロンプトの失敗は、モーションの予算を取りすぎることだ。Pictoryのガイドは、明確な動きを1つ描写すればモデルは素直に従うが、いくつも同時に求めると出力がぼやけると指摘している。Klingの指針も同じ形だ。主となるアクションは1つ、補助的な動きは多くても1つ。

5秒のクリップに対する実用的な予算は次のとおりだ。

• 主要な変化を1つ、動詞と方向で描写する
• 必要なら補助的な変化を1つ。できれば被写体ではなく環境に置く
• カメラの指示を1つ。またはカメラを固定することを明示する
• 速度を表す言葉を1つ、変わってはいけないものへの制約を1つ

プロンプトに被写体のアクションが3つあるなら、2つ削る。モデルは限られた動きを残した1つに使い切り、フレームの整合性が保たれる。

パターン1：静止した被写体へのプッシュイン

最も安全なパターンで、写真が商品、パッケージ、文字の入った物体である場合に使う。被写体は何もせず、カメラが仕事をする。

「カメラはボトルに向かってゆっくり一定の速度で寄り、ラベルの手前で止まる。ボトルは静止したままで、輪郭、キャップ、ラベルは鮮明さを保つ。背景はわずかにぼける。」

うまくいく理由：動いている変数が1つだけなので、物体の形状が保たれる。Pictoryが信頼できるとするカメラプロンプトもここから始まる。ゆっくりしたズーム、ゆるやかなパン、わずかなドリーインだ。

破綻する条件：速度。距離を稼ぎすぎるプッシュインは、端のディテールをモデルに捏造させる。最初に崩れるのは小さな文字だ。ラベルが重要なら、移動距離を短くする。

パターン2：抑制の効いたポートレートのターン

顔は視聴者が最初に確認する部分であり、ポートレートは最も報われる被写体であると同時に最も壊れやすい。Lumaのポートレート例は動きを小さく抑えている。被写体がゆっくりカメラの方へ向き、髪がそよ風にわずかに揺れ、背景はゆるやかにボケが移ろう。

「女性がゆっくりと顔をカメラの方へ向け、口を閉じた柔らかな微笑みを保つ。髪がそよ風にわずかに浮く。背景は柔らかくピントの外に留まる。」

うまくいく理由：ターンは始まりと終わりが明確な1つの連続した動作で、顔を作り変えずに動かす理由をモデルに与える。

破綻する条件：動詞の積み重ね。「彼女は笑い、振り向き、前に歩く」は1つのプロンプトに3つのクリップを詰め込んだもので、モデルはたいていその間をモーフィングして解決しようとする。被写体がすでにカメラの方を向いているなら、代わりにマイクロアクションを使う。目を上げる、息をする、わずかに首を傾ける、などだ。

パターン3：風景と室内のためのパララックスドリフト

広い場面では、アクションよりも奥行きが要る。奥行きを生むのは、距離によって速度が変わるゆっくりした前進だ。Lumaの風景例もこう組み立てている。カメラが前進するあいだに雲が流れ、手前の要素は背景より速く動く。

「カメラは野原をゆっくり一定の速さで前進する。手前の野花は林のラインより速く通り過ぎ、その上を薄い雲が左から右へ流れる。」

うまくいく理由：相対速度は、モデルが場面を理解しなくても実行できる奥行きの手がかりであり、被写体の何も動かなくてもフレームを動きで満たす。

破綻する条件：地平線と直線的な建築。平らな面を長く移動すると、モデルが垂直線を曲げる余地が生まれる。移動距離は短くし、地平線を明示する。

パターン4：環境モーションのみ

被写体がまったく動かないのが正解のこともある。湯気が立ち、水面が波立ち、布が落ち着き、花びらが開く。Klingの商品例はこの作りだ。固定された商品の周りで色が流れて集まり、花が咲き、波紋が広がる。

「香水のボトルはフレーム中央で完全に静止している。背後では細かな霧が上へ、右へと流れ、底には浅い水たまりが静かに波立つ。カメラは固定位置を保つ。」

うまくいく理由：固定された被写体はドリフトしないため、ラベル、ロゴ、シルエットは撮影時のまま保たれる。演出よりもブランドの正確さが重要なときに選ぶ。

破綻する条件：暗黙の許容。被写体が静止していると言わなければ、モデルが勝手に小さな揺れを加えることがある。静止を明示したうえで、環境要素に方向と速度を与える。

パターン5：オービットによる提示

オービットは物体ではなく視点を変えるので、1枚の写真が複数の位置から撮影したように感じられる。Lumaの商品例はゆっくりした時計回りのオービットで、遠近が変わるにつれて影が移ろう。

「カメラは無地の背景に置かれたスニーカーの周りをゆっくり時計回りに周回する。角度が変わるにつれて柔らかな影が床の上を移り、靴は形と色を保つ。」

うまくいく理由：この動きは形状と素材を明らかにする。平面的な商品写真にはできないことだ。

破綻する条件：文字とパッケージ。正面を越えて回り込むと、モデルは見たことのないラベルの裏側を捏造することになる。ラベルを読める状態に保つ必要があるなら、弧を浅くし、正面がカメラを向いていると明示する。

パターン6：ループに耐えるアイドル

短いSNSクリップは繰り返し再生されることが多いので、動きは始まった場所の近くで終わるべきだ。このパターンはドリーやリビールのような一方向の動きを避け、ゆるやかな循環を使う。

「光がゆっくり一定の周期で被写体の上を呼吸するように移ろい、薄い霧の層が横へ流れる。カメラは固定されたまま。動きは連続し、開始位置に戻る。」

うまくいく理由：循環には食い違う端点がないので、最初のフレームに戻るカットが見えなくなる。

破綻する条件：速度。2秒未満で1周期が終わるとちらつきに見えるので、クリップ全体でゆっくり1周することを目指す。

パターンは流行ではなく写真から選ぶ

どのパターンが使えるかは写真が教えてくれる。ラベルのある寄りの商品カットなら、プッシュイン、オービット、環境モーションの余地はあるが、被写体の演技は入らない。フレームいっぱいのポートレートはターンや微細な表情を担えるが、歩行は担えない。広い風景はパララックスが効き、室内は光と埃が効く。

上限を決めるのは元画像の品質だ。Lumaのガイドは少なくとも1024x1024ピクセルでアップロードすることを勧めており、WinkのFAQは、ごちゃついた画像や低品質の元画像では動きの一貫性が下がると述べている。写真が甘い場合は、モデルにディテールを捏造させるのではなく、被写体にクロップする。

ガードレールは同じプロンプトに書く

生成に失敗したあとで人が施す修正の多くは、最初のプロンプトに入れておくべきものだ。Winkのガイドは、ちらつき、歪み、人体の破綻に対するネガティブプロンプトを勧めており、この助言は一般化できる。消えるまで再生成を繰り返すのではなく、避けたい破綻を名指しするのだ。

ツールに独立したネガティブ欄がない場合は、制約を肯定文に入れる。「ラベルの文字は鮮明なまま変わらない」「手はフレームの外に留まる」は、それぞれ特定の失敗を防ぐ。元の写真に写っているものだけを描写することも重要だ。Winkのよくある失敗リストの先頭には、画像にない物体や人物を捏造することが挙げられている。

応用できるテンプレート

次の順で4行。

• 変化：何が、どの方向へ、どれだけ動くか。
• カメラ：プッシュ、パン、オービット、固定のいずれか。
• 環境：環境要素を1つ。なければ不要。
• 速度と制約：ゆっくり、または一定。加えて変わってはいけないもの。

テーブルの上のキャンドルに当てはめると、次のようになる。「炎は静かに揺らぎ、わずかに左へ傾く。カメラは固定位置を保つ。細い煙の帯が上へ流れて消えていく。ゆっくり一定の速度。ガラスの瓶とそのラベルは鮮明なまま。」

このテンプレートはわざと退屈にできている。退屈なプロンプトは再現性があり、再現性があるからこそ変数を1つずつ変えられる。

まず最初の1秒を確認する

クリップを評価する前に、最初の1秒だけを見る。ドリフトはそこに現れる。すでにずれた顔、歪み始めたラベル、傾いた地平線。冒頭のフレームが静止画と一致しないなら、プロンプトが求めすぎている。文の途中を書き換えても救えない。

生成は設計上短いので、長回しではなく延長を前提に組み立てる。きれいな4秒の動きを1つ得てから、同じプロンプトの言葉遣いでセグメントをつなぎ、動きの一貫性を保つ。

これらのパターンをKOOX AIで使う

KOOX AIの写真から動画へのツールは、これらのパターンが前提とする3ステップの形をそのまま踏襲している。鮮明な写真をアップロードし、動きとカメラの感触を描写し、生成して調整する。写真から動画へのAIツールのページも、被写体がはっきり写った明るく鮮明な画像ほど強い結果が得られると述べている。

先に開始フレームを作りたい場合は、AIテキスト画像生成ツールでアニメーション用のきれいな静止画を生成できる。