写真から動画へのAIプロンプト例:5枚の静止画、5つの動きの行

ポートレート、商品、風景、街角、ペットのための写真から動画へのAIプロンプト例を5つ、加えてそれらを応用し削るためのルールを紹介します。

写真から動画へのAIプロンプト例:5枚の静止画、5つの動きの行

静止画はすでに、その場面がどんな見た目かをモデルに伝えている。色、フレーミング、レンズ、照明、衣装、そして被写体の正確な形は、アップロードしたファイルによって固定されている。そのファイルが語らないのは、次に何が起きるべきかということだ。その隙間こそが、写真から動画へのAIプロンプトの存在価値である。それは写真を再び描写するのではなく、写真のどの部分が、どの方向へ、どの速さで動くのか、そしてどの部分がまったく変わってはならないのかを指定する。

以下の5つの例はそのルールに従っている。それぞれ、よくあるタイプの静止画に向けた完成されたプロンプトであり、続いてなぜそのように書くのか、そして自分の写真が違うときにどこを変えるのかを示す。どれも意図的に短い。5秒のクリップに向けたプロンプトには、2つか3つの判断を入れる余地しかなく、壊れて見えるクリップはたいてい5つ入れようとしている。

画像がアンカーであり、プロンプトは変化を描写する

画像から動画へのモデルは、あなたが渡したフレームを条件として動作する。つまりアップロードの時点で、被写体、設定、スタイルはすでに決まっている。Alibabaの動画モデルのガイドはこれを端的に述べている。テキストから動画の場合、あなたは実体、場面、動きを描写するが、画像から動画の場合、画像がその3つすべてを定義し、プロンプトは動きとカメラワークに集中すべきだ、と。Klingのプロンプトガイドも同じ点をワークフローの言葉で述べている。静止画を出発点とする場合、画像が視覚的基盤を提供し、プロンプトは動き、カメラの方向、そして時間の経過とともに何が変わるかを描写する。

これには実務上の帰結がある。画像から動画へのプロンプトにおける外見の言葉は、無視されるか、反発されるかのどちらかだ。正午に撮った写真に対して「ゴールデンアワー」と書いた風景のプロンプトは、最初のフレームの中で空を塗り直すようモデルを誘い、それは創造的な選択ではなく不具合として見える。信頼できる内容は動詞だ。まばたきする、漂う、回転する、落ち着く、横切る、引き締める。

二行と一つの制約

静止画で機能するプロンプトは、ほぼすべて二行と結びの指示で組み立てられる。

一行目は動きだ。何が、どの方向へ、どの振幅で動くのか。被写体の動作を一つ、背景の動作を多くても一つ挙げる。二行目はカメラだ。プッシュイン、プルアウト、スライド、オービット、あるいは固定。何も動かしたくないときは「固定カメラ」と明言する。多くのモデルは、被写体について何も言わないことを、緩やかなドリフトを発明する許可と受け取るからだ。

そこに制約を加える。そのクリップが失ったらあなたが却下する、ただ一つの細部だ。Klingの香水瓶の例は、ゆっくりした回転とマクロのプッシュインに、ラベルを鮮明かつ不変に保つという指示を組み合わせている。この制約は、どんなスタイルの形容詞よりも多くの仕事をする。フレームのどの部分が交渉の余地がないのかをモデルに伝えるからだ。

振幅の言葉は短いプロンプトの中で実際に重みを持つ。Alibabaの動きのガイダンスでは、速さと強さが明示的に設定され、「ゆっくり」「速く」といった言葉や「激しく揺れる」といった表現が使われる。小さな言葉が結果を大きく動かすので、それは本当に重要な一つの動きに使うべきだ。

例1:顔を保たなければならないポートレート

固定カメラ。女性が一度まばたきし、息を吐き、肩がわずかに下がる。こめかみの髪がかすかな風で揺れる。視線はレンズに固定され、表情は変わらない。顔は変更しないこと。

なぜ機能するのか。 アイデンティティのドリフトは顔における典型的な失敗モードなので、プロンプトはその予算を一つのごく小さな動作と一つの背景の動きに使い、最後に明示的な保持で締めくくる。カメラの動きはまったくない。このクリップの長さでは、顔へのプッシュインは動作が決まる前に特徴を引き伸ばしがちだ。

どう応用するか。 変えるのは動作であって、数ではない。ジャケットを着た男性なら一度の首振り、座っている人物なら片手が肘掛けへ動く、といった具合だ。ショットがポートレートであり続ける限り、「表情は変わらない」という節は残す。

例2:平坦な面に置かれた商品

カメラが高い斜め四分の三の角度からゆっくりプッシュインする。瓶が右へ四分の一回転する。回転に伴い、影の縁が面上を移動する。ラベルは鮮明なまま変わらない。手も、余計な物体も入れない。

なぜ機能するのか。 四分の一回転は、正面を隠さずに物体が三次元であることを示すのに十分だ。影の文が回転に作用する対象を与え、動きを読み取りやすく保つ。ネガティブリストは二項目だけだが、短いプロンプトが守れるのはおおよそその程度だ。

どう応用するか。 回転は読みやすさに合わせる。最終フレームでラベルが読めなければならないなら、回転を八分の一に減らすか、光のスイープに置き換える。柔らかい素材なら、回転の代わりに一度の折れや落ち着きを使う。

ガラス瓶のスタジオ撮影、そばに真鍮の矢印が面に沿って置かれている

例3:ゆっくりした環境の動きがある風景

固定カメラ。雲が左から右へゆっくり流れる。手前の草が風でわずかに動く。地平線は水平のままで、光は変わらない。

なぜ機能するのか。 風景は動かしすぎることで失敗する。木も鳥も雲もそれぞれ独自の動きの考えを持ち、フレームはノイズになる。このプロンプトは二つの動きを許し、両方に方向を与え、それから照明の扉を閉じる。これによりモデルが勝手な夕焼けへ漂流するのを止める。

どう応用するか。 写真が示唆する動きを選ぶ。水面ならさざ波と反射の揺らぎ、森なら樹冠の動きと一枚の落ち葉、砂漠なら陽炎とゆっくりした影の這い寄り。光がショットの要点でない限り、「光は変わらない」の一行は残す。

例4:背景に往来のある街路や市場の場面

カメラは固定。歩行者が右から左へ普通の歩調で横切り、ややピンぼけしている。スクーターが一度、その背後を通り過ぎる。建物のファサードと看板は鮮明なまま変わらない。

なぜ機能するのか。 群衆は、画像から動画へのモデルが最も明白なアーティファクトを生む場所だ。どの人物も新しいポーズの候補になるからである。群衆に一つの方向を、車両に一度の通過を指定することで動きは一貫し、建築を静止させておくことで、目は動きを測る安定した基準を得る。

どう応用するか。 詳細を増やす前に配役を減らす。一方向に横切る歩行者二人は、三方向に六人よりよく見える。写真に明確な被写体がないなら、街灯や戸口のような小さな固定要素を一つ加え、制約の一行でそれを守る。

例5:ペットや動物のクローズアップ

固定カメラ、近景。犬の耳が持ち上がり、頭が左へ数度傾く。舌が一度動く。毛の模様と目の色は変わらない。照明の変化なし。

なぜ機能するのか。 動物のショットはモデルに解剖学を発明させる。余計な指、二本目の舌、クリップの途中で伸びる鼻先。毛の模様と目の色を名指しで保持することで、モデルは表面の一貫性を保つ理由を得るし、わずかな首の傾きで生命感を伝えるのに十分だ。

どう応用するか。 動作は動物の質量に合わせて規模を決める。猫なら耳の一振りと尾の先、馬なら鼻孔の広がりと一歩。近いクロップでは全身の動作は避ける。フレームにはそれを最後まで見せる余地がないからだ。

どんなパターンも自分の写真に応用する

三つの置き換えでほとんどの場合は足りる。第一に、被写体の動作を、写真のポーズがすでに支えているものに変える。手すりにもたれる人物は体重を移すべきで、歩き去るべきではない。第二に、カメラの動きをクロップから選ぶ。強い導線のあるワイドショットはスライドが合い、余白のないタイトなクロップは固定にすべきだ。第三に、制約を、あなたが実際に却下するものとして書き直す。ぼやけたラベル、変わった目の色、傾いた地平線。

クリップの長さが、このすべての上限を決める。多くの画像から動画へのシステムは、設計上ごく短いクリップを生成する。たとえばStable Video Diffusionのドキュメントは、単一の入力画像を条件とした2〜4秒の出力について述べている。4秒に二つの動作を書き込めば互いに押し合うので、詳細を加える前に動作を時間に対して数えるべきだ。

三枚の印刷されたフレームの上に置かれた虫眼鏡、ピントが合っているのは一枚だけ

写真から動画へのAIプロンプトから省くべきもの

  • 場面の言い直し。モデルは写真を見ることができる。二度目の描写はそれと競合する。
  • スタイルの形容詞。スタイルはファイルとともに入ってきた。写真がすでに暖かく粒子感があるなら、そう言っても何も加わらず、別のものを求めることはアンカーと戦うことになる。
  • 二つのカメラムーブ。一つを選んでやり切る。
  • 長いネガティブリスト。除外は二つか三つなら守られるが、十になるとノイズになる。
  • 音声を持たないモデルへの音声や台詞の指示。それらは音を入力として受け取るモデルに取っておく。

プロンプトを書き直す前にクリップを確認する

三つのことを順に見る。まず幾何。ラベルはまだラベルか、顔はまだ同じ顔か、地平線はまだ水平か。次にタイミング。動作は完了したか、途中で切れたか。そして望まない変化。光は動いたか、物体が現れたか、背景に二つ目の群衆が生えたか。

その後は一度に一行ずつ変える。そうすれば次のクリップが、どの行が間違っていたかを教えてくれる。動作がまったく起きなかったなら、修正はたいてい引き算だ。プロンプトを短くし、動詞を残った場面の細部より前の最初の節に置く。動作は起きたが行き過ぎたなら、文はそのままに、振幅の言葉を弱める。

これらのパターンは、KOOXの写真から動画へのAIツールで自分の静止画に試せる。一枚のポートレートのためのより幅広い動きのレシピが欲しければ、6つの動きのガイドが次の層の選択肢を扱っている。

投稿情報

公開日
写真から動画へのAIプロンプト例:5枚の静止画、5つの動きの行