- 블로그
- 포토 투 비디오 AI 프롬프트 예시: 스틸 사진 다섯 장, 모션 라인 다섯 개
포토 투 비디오 AI 프롬프트 예시: 스틸 사진 다섯 장, 모션 라인 다섯 개
인물, 제품, 풍경, 거리 풍경, 반려동물을 위한 포토 투 비디오 AI 프롬프트 예시 다섯 가지와, 이를 자신의 사진에 맞게 응용하고 덜어내는 규칙을 정리했습니다.

스틸 사진은 이미 모델에게 장면이 어떤 모습인지 알려줍니다. 색감, 구도, 렌즈, 조명, 의상, 그리고 피사체의 정확한 형태는 업로드하는 파일이 고정합니다. 파일이 말해주지 않는 것은 그다음에 무슨 일이 일어나야 하는가입니다. 포토 투 비디오 AI 프롬프트가 제 역할을 하는 지점이 바로 이 간극입니다. 사진을 다시 묘사하는 것이 아니라, 사진의 어느 부분이 움직이고, 어느 방향으로, 어느 속도로 움직이며, 어느 부분은 전혀 변하지 않아야 하는지를 지정합니다.
아래 다섯 가지 예시는 이 규칙을 따릅니다. 각각은 흔한 유형의 스틸 사진을 위한 완전한 프롬프트이고, 이어서 그렇게 쓴 이유와 자신의 사진이 다를 때 바꿔야 할 부분을 설명합니다. 의도적으로 짧습니다. 5초짜리 클립을 위한 프롬프트에는 결정을 두세 개 담을 여유밖에 없는데, 어색해 보이는 클립은 대개 다섯 개를 담으려 했습니다.
이미지가 기준점이므로, 프롬프트는 변화를 서술한다
이미지 투 비디오 모델은 제공하는 프레임에 조건화되므로, 업로드 자체가 피사체와 배경, 스타일을 이미 결정합니다. 알리바바(Alibaba)의 비디오 모델 가이드는 이를 분명히 밝힙니다. 텍스트 투 비디오에서는 개체, 장면, 모션을 서술하지만, 이미지 투 비디오에서는 이미지가 이 세 가지를 모두 정의하므로 프롬프트는 모션과 카메라 움직임에 집중해야 한다는 것입니다. Kling의 프롬프트 가이드도 워크플로 관점에서 같은 점을 지적합니다. 스틸을 출발점으로 삼으면 이미지가 시각적 토대를 제공하고, 프롬프트는 움직임과 카메라 방향, 시간에 따라 무엇이 변하는지를 서술합니다.
여기에는 실질적인 결과가 따릅니다. 이미지 투 비디오 프롬프트에 들어간 외형 묘사는 무시되거나 오히려 모델과 충돌합니다. 정오에 촬영한 사진에 “골든 아워”라고 적은 풍경 프롬프트는 모델이 첫 프레임 안에서 하늘을 다시 칠하도록 유도하고, 그 결과는 창의적 선택이 아니라 결함처럼 보입니다. 신뢰할 수 있는 재료는 동사입니다. 깜빡이다, 흘러가다, 돌다, 가라앉다, 건너가다, 조여지다 같은 것들입니다.
두 줄과 하나의 제약
스틸 사진에서 효과를 내는 프롬프트는 거의 모두 두 줄과 마지막 지시 하나로 구성할 수 있습니다.
첫 줄은 모션입니다. 무엇이, 어느 방향으로, 어느 정도 진폭으로 움직이는지를 씁니다. 피사체 동작은 하나, 배경 동작은 많아야 하나만 지정합니다. 둘째 줄은 카메라입니다. 푸시 인, 풀 아웃, 슬라이드, 오빗, 또는 고정 중에서 고릅니다. 아무것도 움직이지 않기를 원한다면 “고정 카메라”라고 분명히 적어야 합니다. 대부분의 모델은 피사체에 대해 아무 언급도 없으면 느린 드리프트를 만들어도 된다고 받아들이기 때문입니다.
그다음 제약을 붙입니다. 이것이 사라지면 클립을 버릴 것이라고 판단할 단 하나의 디테일입니다. Kling의 향수병 예시는 느린 회전과 매크로 푸시 인에, 라벨을 선명하고 변함없이 유지하라는 지시를 함께 붙입니다. 이런 제약은 어떤 스타일 형용사보다 큰 역할을 합니다. 프레임의 어느 부분이 타협 대상이 아닌지 모델에게 알려주기 때문입니다.
짧은 프롬프트에서는 진폭을 나타내는 단어가 실제로 큰 무게를 가집니다. 알리바바의 모션 가이드에서는 속도와 강도를 “천천히”, “빠르게” 같은 단어와 “격렬하게 흔들리며” 같은 표현으로 명시적으로 지정합니다. 작은 단어 하나가 결과를 크게 바꾸므로, 정작 중요한 하나의 모션에 그것을 써야 합니다.
예시 1: 얼굴이 그대로 유지되어야 하는 인물 사진
고정 카메라. 여성이 한 번 눈을 깜빡이고 숨을 내쉬며 어깨가 살짝 내려간다. 관자놀이의 머리카락 몇 가닥이 약한 바람에 흔들린다. 시선은 렌즈에 고정되어 있고 표정은 변하지 않는다. 얼굴은 그대로 유지한다.
왜 효과적인가. 얼굴의 대표적인 실패 유형은 정체성 드리프트입니다. 그래서 이 프롬프트는 예산을 아주 작은 동작 하나와 배경 움직임 하나에 쓰고, 마지막에 명시적인 유지 지시로 마무리합니다. 카메라 무빙은 전혀 없습니다. 이 정도 길이의 클립에서 얼굴에 푸시 인을 넣으면 동작이 자리 잡기도 전에 이목구비가 늘어나기 쉽습니다.
응용 방법. 동작의 개수가 아니라 동작 자체를 바꾸세요. 재킷을 입은 남자라면 고개를 한 번 돌리는 것으로, 앉아 있는 인물이라면 한 손이 팔걸이로 움직이는 것으로 대체합니다. 인물 사진으로 남길 생각이라면 “표정은 변하지 않는다”는 문구는 그대로 두세요.
예시 2: 단순한 표면 위의 제품
카메라가 위쪽 3/4 각도에서 천천히 푸시 인한다. 병이 오른쪽으로 4분의 1바퀴 회전한다. 회전하면서 그림자 가장자리가 표면을 따라 움직인다. 라벨은 선명하고 변함없이 유지된다. 손도, 다른 물체도 없다.
왜 효과적인가. 4분의 1바퀴면 물체가 입체적임을 보여주기에 충분하면서 정면을 가리지 않습니다. 그림자 문장은 회전이 작용할 대상을 제공해 움직임을 읽기 쉽게 만듭니다. 부정 목록은 두 항목뿐인데, 짧은 프롬프트가 실제로 지켜주는 한계가 대략 그 정도입니다.
응용 방법. 회전량을 가독성에 맞추세요. 마지막 프레임에서 라벨을 읽을 수 있어야 한다면 회전을 8분의 1바퀴로 줄이거나 가벼운 광선 스윕으로 바꾸세요. 부드러운 소재라면 회전 대신 한 번의 접힘 또는 가라앉는 움직임을 씁니다.

예시 3: 느린 주변 움직임이 있는 풍경
고정 카메라. 구름이 왼쪽에서 오른쪽으로 천천히 흘러간다. 전경의 풀은 바람에 조금 흔들린다. 지평선은 수평을 유지하고 빛은 변하지 않는다.
왜 효과적인가. 풍경은 과도한 애니메이션에서 실패합니다. 나무와 새, 구름이 각자 움직임을 갖게 되면 화면이 잡음으로 변합니다. 이 프롬프트는 두 가지 움직임만 허용하고 둘 다 방향을 지정한 뒤, 조명의 문을 닫아 모델이 임의의 노을로 흘러가는 것을 막습니다.
응용 방법. 사진이 암시하는 움직임을 고르세요. 물이라면 잔물결과 반사의 흔들림, 숲이라면 수관의 움직임과 떨어지는 잎 하나, 사막이라면 아지랑이와 느리게 기어가는 그림자입니다. 빛 자체가 이 장면의 핵심이 아니라면 “빛은 변하지 않는다”는 문장은 남겨두세요.
예시 4: 배경 통행이 있는 거리나 시장 장면
카메라는 고정된다. 보행자들이 평범한 걷기 속도로 오른쪽에서 왼쪽으로 건너가며, 초점은 다소 흐리다. 스쿠터 한 대가 그들 뒤를 한 번 지나간다. 건물 외벽과 간판은 선명하고 변함없이 유지된다.
왜 효과적인가. 군중은 이미지 투 비디오 모델이 가장 눈에 띄는 아티팩트를 만들어내는 영역입니다. 모든 인물이 새로운 자세를 취할 후보가 되기 때문입니다. 군중에게는 방향을 하나, 차량에게는 한 번의 통과를 지정하면 움직임이 일관되게 유지되고, 건축물을 정지시켜 두면 눈이 움직임을 가늠할 안정된 기준을 갖게 됩니다.
응용 방법. 디테일을 늘리기 전에 등장 인물 수를 줄이세요. 한 방향으로 건너가는 보행자 둘이 세 방향으로 흩어진 여섯 명보다 잘 읽힙니다. 사진에 뚜렷한 피사체가 없다면 가로등이나 출입구처럼 작고 고정된 요소를 하나 더하고, 제약 문장으로 그것을 보호하세요.
예시 5: 반려동물이나 동물 클로즈업
고정 카메라, 클로즈업. 개의 귀가 들리고 머리가 왼쪽으로 몇 도 기운다. 혀가 한 번 움직인다. 털 무늬와 눈 색은 변하지 않는다. 조명 변화 없음.
왜 효과적인가. 동물 장면은 모델이 해부학을 창작하도록 부추깁니다. 발가락이 더 생기고, 혀가 두 개가 되고, 클립 중간에 주둥이가 길어집니다. 털 무늬와 눈 색을 명시적으로 유지하라고 하면 모델이 표면을 일관되게 유지할 이유가 생기고, 머리를 살짝 기울이는 것만으로도 생동감이 살아납니다.
응용 방법. 동작의 크기를 동물의 질량에 맞추세요. 고양이라면 귀를 한 번 떠는 움직임과 꼬리 끝, 말이라면 콧구멍이 벌어지는 것과 한 걸음입니다. 클로즈업 구도에서는 전신 동작을 피하세요. 동작이 완결되는 모습을 담을 공간이 프레임에 없습니다.
어떤 패턴이든 자신의 사진에 맞게 바꾸기
세 가지 교체로 대부분의 경우를 처리할 수 있습니다. 첫째, 피사체 동작을 사진의 자세가 이미 지지하는 것으로 바꾸세요. 난간에 기대 있는 인물이라면 걸어 나가는 것이 아니라 체중을 옮겨야 합니다. 둘째, 구도에서 카메라 무빙을 고르세요. 강한 유도선이 있는 와이드 샷에는 슬라이드가 어울리고, 여백이 없는 타이트한 크롭은 고정해야 합니다. 셋째, 제약을 실제로 거부할 만한 것으로 다시 쓰세요. 흐려진 라벨, 바뀐 눈 색, 휘어진 지평선 같은 것입니다.
클립 길이가 이 모든 것의 상한을 정합니다. 많은 이미지 투 비디오 시스템은 설계상 아주 짧은 클립을 만듭니다. 예를 들어 Stable Video Diffusion 문서는 단일 입력 이미지에 조건화된 2~4초 출력을 설명합니다. 4초에 두 개의 동작을 배치하면 서로 자리를 다투게 되므로, 디테일을 더하기 전에 시간 대비 동작 수를 세어보세요.

포토 투 비디오 AI 프롬프트에서 빼야 할 것
- 장면을 다시 설명하기. 모델은 사진을 볼 수 있습니다. 두 번째 설명은 사진과 경쟁할 뿐입니다.
- 스타일 형용사. 스타일은 파일과 함께 들어왔습니다. 사진이 이미 따뜻하고 거친 입자감을 갖고 있다면 그렇게 말해도 보태는 것이 없고, 다른 스타일을 요구하면 기준점과 충돌합니다.
- 카메라 무빙 두 가지. 하나를 골라 끝까지 가세요.
- 긴 부정 목록. 두세 개의 제외 항목은 지켜지지만, 열 개가 되면 잡음이 됩니다.
- 무음 모델에 오디오와 대사 지시하기. 소리를 입력으로 받는 모델에 쓸 때를 위해 남겨두세요.
프롬프트를 다시 쓰기 전에 클립부터 확인하기
세 가지를 순서대로 확인하세요. 먼저 기하학입니다. 라벨이 여전히 라벨인지, 얼굴이 여전히 같은 얼굴인지, 지평선이 여전히 수평인지 봅니다. 다음은 타이밍입니다. 동작이 끝까지 진행되었는지, 아니면 중간에 끊겼는지 확인합니다. 그다음은 원치 않는 변화입니다. 빛이 달라졌는지, 물체가 나타났는지, 배경에 두 번째 군중이 생겼는지 봅니다.
그다음에는 한 번에 한 줄씩만 바꾸세요. 그래야 다음 클립이 어느 줄이 틀렸는지 알려줍니다. 동작이 아예 일어나지 않았다면 해법은 대개 덜어내기입니다. 프롬프트를 줄이고, 살아남은 장면 묘사보다 모션 동사를 앞선 절에 배치하세요. 동작은 일어났지만 지나쳤다면 문장은 두고 진폭을 나타내는 단어를 부드럽게 하세요.
KOOX의 포토 투 비디오 AI 도구로 자신의 스틸 사진에 이 패턴들을 적용해볼 수 있고, 한 장의 인물 사진에 더 다양한 모션 레시피가 필요하다면 여섯 가지 모션 가이드가 다음 단계의 선택지를 다룹니다.