Padrões de prompt de IA de imagem para vídeo: seis formas de fazer uma foto se mover

Você já tem o quadro. É isso que torna a IA de imagem para vídeo diferente de digitar a descrição de uma cena num gerador: a imagem já respondeu às perguntas sobre quem, onde, que cor e que luz. A única pergunta que resta é o que muda entre o primeiro e o último segundo.

A maioria dos clipes fracos nasce de prompts que respondem à pergunta errada. Eles descrevem a foto de volta ao modelo - a mulher, o casaco, a rua molhada - e deixam o movimento ao acaso. O guia de prompts da Luma coloca a regra de forma direta: bons prompts de imagem para vídeo descrevem movimento, não a imagem em si. O guia do Wan, da Wink, diz o mesmo pelo outro lado: repetir a cor da roupa desperdiça palavras que deveriam carregar movimento.

Então a unidade de trabalho útil é um padrão de movimento: uma estrutura de frase que nomeia uma mudança, um comportamento de câmera e um ritmo. A seguir, seis que se sustentam em produtos, retratos, paisagens e loops para redes sociais, cada um com o motivo de funcionar e o ponto em que quebra.

Escreva a mudança, não a imagem

Um prompt de imagem para vídeo herda tudo o que está visível no quadro de origem. O que ele não herda é a intenção. O modelo consegue ver a xícara; não consegue saber se o vapor deve subir em espiral por quatro segundos ou se a câmera deve se aproximar.

Três decisões tornam essa intenção explícita, e o tutorial da Kling as nomeia da mesma forma: movimento do assunto, movimento do ambiente e movimento de câmera. Decida qual deles conduz o clipe. Uma pessoa se virando é movimento do assunto; água ondulando ao redor de uma garrafa é movimento do ambiente; uma aproximação lenta é movimento de câmera. Os três podem coexistir, mas um deles deve ser a razão de o plano existir.

Há uma quarta decisão fácil de esquecer: o que precisa continuar reconhecível. Um rosto, um rótulo, um logotipo, a forma de um produto. Registrar essa restrição - "o rótulo fica voltado para a câmera e permanece nítido" - costuma valer mais do que acrescentar outro verbo.

Defina um orçamento de movimento antes de escrever

A falha mais comum de prompt é um orçamento de movimento grande demais. O guia da Pictory observa que descrever um movimento claro faz o modelo se comportar, enquanto pedir vários ao mesmo tempo deixa o resultado pastoso. A orientação da Kling tem o mesmo formato: uma ação principal e, no máximo, um movimento de apoio.

Um orçamento prático para um clipe de cinco segundos:

• uma mudança principal, descrita com um verbo e uma direção
• opcionalmente uma mudança de apoio, de preferência no ambiente e não no assunto
• uma instrução de câmera, ou uma declaração explícita de que a câmera fica parada
• uma palavra de ritmo e uma restrição sobre o que não pode mudar

Se o seu prompt tem três ações do assunto, corte duas. O modelo vai gastar o movimento limitado naquela que você manteve, e o quadro continuará coerente.

Padrão 1: a aproximação sobre um assunto estático

O padrão mais seguro, e o indicado quando a foto é de um produto, de uma embalagem ou de um objeto com texto. O assunto não faz nada; a câmera faz o trabalho.

"A câmera se aproxima lenta e constantemente da garrafa, parando pouco antes do rótulo. A garrafa fica imóvel e suas bordas, tampa e rótulo permanecem nítidos. O fundo suaviza levemente."

Por que funciona: só uma variável se move, então a geometria do objeto sobrevive. Os prompts de câmera confiáveis da Pictory começam aqui: zoom lento, panorâmica suave, um leve dolly para frente.

Onde quebra: velocidade. Uma aproximação que percorre distância demais força o modelo a inventar detalhes nas bordas, e letras pequenas são a primeira coisa a tremer. Se o rótulo importa, encurte o movimento.

Padrão 2: a virada contida do retrato

Rostos são a primeira coisa que o espectador verifica, o que faz do retrato o assunto mais recompensador e também o mais frágil. O exemplo de retrato da Luma mantém a ação pequena: a pessoa se vira lentamente para a câmera, o cabelo se move de forma sutil com uma brisa leve e o fundo mantém uma mudança suave de bokeh.

"Uma mulher vira a cabeça lentamente para a câmera e mantém um sorriso suave, de boca fechada. O cabelo se ergue ligeiramente com uma brisa leve. O fundo permanece suavemente fora de foco."

Por que funciona: uma virada é uma ação contínua, com começo e fim claros, e dá ao modelo um motivo para mover o rosto sem remodelá-lo.

Onde quebra: verbos empilhados. "Ela ri, se vira e caminha para frente" são três clipes num só prompt, e o modelo normalmente resolve isso fazendo morphing entre eles. Se o assunto já está de frente para a câmera, use uma microação - olhos se erguendo, uma respiração, uma leve inclinação.

Padrão 3: deriva de paralaxe para paisagens e interiores

Cenas amplas precisam de profundidade mais do que de ação. O padrão que produz profundidade é um avanço lento com velocidades diferentes em distâncias diferentes, que é como a Luma enquadra seu exemplo de paisagem: a câmera avança enquanto as nuvens derivam e os elementos em primeiro plano viajam mais rápido que o fundo.

"A câmera deriva para frente através do campo num ritmo lento e constante. As flores silvestres em primeiro plano passam mais rápido que a linha de árvores, e nuvens finas se movem da esquerda para a direita acima dela."

Por que funciona: a velocidade relativa é uma pista de profundidade que o modelo consegue executar sem entender a cena, e ela preenche o quadro de movimento mesmo quando nada no assunto se move.

Onde quebra: horizontes e arquitetura reta. Um movimento longo sobre um plano achatado dá espaço para o modelo entortar linhas verticais, então mantenha o deslocamento curto e nomeie o horizonte.

Padrão 4: movimento apenas ambiente

Às vezes a resposta certa é que o assunto não se move de jeito nenhum. O vapor sobe, a água ondula, o tecido se acomoda, as pétalas se abrem. O exemplo de produto da Kling é construído assim: a cor flui e se acumula enquanto as flores desabrocham e ondas se espalham ao redor do produto fixo.

"A garrafa de perfume permanece completamente imóvel no centro do quadro. Uma névoa fina sobe e se desloca para a direita atrás dela, e uma poça rasa de água ondula suavemente na base. A câmera mantém uma posição fixa."

Por que funciona: um assunto travado não pode derivar, então rótulos, logotipos e silhuetas ficam exatamente como foram fotografados. Escolha este padrão quando a precisão da marca importar mais que o drama.

Onde quebra: permissão silenciosa. Se você não disser que o assunto está imóvel, o modelo pode acrescentar um leve balanço próprio. Declare a imobilidade explicitamente e depois dê ao elemento ambiente uma direção e um ritmo.

Padrão 5: a revelação em órbita

Uma órbita muda o ângulo de visão em vez do objeto, o que faz uma única fotografia parecer filmada de várias posições. O exemplo de produto da Luma é uma órbita lenta no sentido horário, com sombras se deslocando conforme a perspectiva muda.

"A câmera orbita lentamente no sentido horário ao redor do tênis sobre um fundo liso. Sombras suaves se deslocam pelo chão conforme o ângulo muda, e o tênis mantém sua forma e cor."

Por que funciona: o movimento revela forma e material, que é justamente o que uma foto de produto plana não consegue mostrar.

Onde quebra: texto e embalagem. Uma órbita que passa pela frente pede que o modelo invente a parte de trás de um rótulo que ele nunca viu. Se o rótulo precisa continuar legível, mantenha o arco raso e diga que a frente está voltada para a câmera.

Padrão 6: o idle seguro para loop

Clipes curtos para redes sociais costumam ser reproduzidos em repetição, então o movimento deve terminar perto de onde começou. Este padrão evita movimentos de mão única, como um dolly ou uma revelação, e usa um ciclo suave.

"A luz respira sobre o assunto num ciclo lento e constante, enquanto uma camada fina de névoa deriva de lado. A câmera fica fixa. O movimento é contínuo e retorna à posição inicial."

Por que funciona: um ciclo não termina num ponto que precise casar com o início, então o corte de volta ao primeiro quadro fica invisível.

Onde quebra: ritmo. Um ciclo que se completa em menos de dois segundos é lido como cintilação, então busque uma passagem lenta ao longo de toda a duração do clipe.

Escolha o padrão pela foto, não pela tendência

A foto diz qual padrão ela consegue sustentar. Uma foto de produto fechada, com rótulo, tem espaço para uma aproximação, uma órbita ou movimento ambiente, mas não para uma atuação do assunto. Um retrato que preenche o quadro sustenta uma virada ou uma microexpressão, não uma caminhada. Uma paisagem ampla recompensa a paralaxe; um interior recompensa a luz e a poeira.

A qualidade da origem define o teto. O guia da Luma recomenda enviar pelo menos 1024x1024 pixels, e o FAQ da Wink observa que origens visualmente carregadas ou de baixa qualidade produzem movimentos menos consistentes. Se a foto estiver desfocada, recorte até o assunto em vez de pedir ao modelo que invente detalhes.

Escreva as salvaguardas no mesmo prompt

A maioria das correções que as pessoas aplicam depois de uma geração ruim deveria estar no primeiro prompt. O guia da Wink recomenda prompts negativos para cintilação, deformação e erros de anatomia, e o conselho se generaliza: nomeie os artefatos que você não quer em vez de gerar de novo até que eles desapareçam.

Quando a ferramenta não tem um campo negativo separado, coloque a restrição na frase positiva: "o texto do rótulo permanece nítido e inalterado" e "as mãos ficam fora do quadro" evitam, cada uma, uma falha específica. Descreva apenas o que a foto de origem contém, também - a lista de erros comuns da Wink começa por inventar objetos ou pessoas que não estão na imagem.

Um gabarito que você pode adaptar

Quatro linhas, nesta ordem:

• Mudança: o que se move, em que direção, até onde.
• Câmera: aproximar, fazer panorâmica, orbitar ou ficar parada.
• Ambiente: o único elemento ambiente, se houver.
• Ritmo e restrição: lento ou constante, mais o que deve permanecer inalterado.

Preenchido para uma vela sobre uma mesa: "A chama tremula suavemente e se inclina um pouco para a esquerda. A câmera mantém uma posição fixa. Uma faixa fina de fumaça sobe e se dissolve. Ritmo lento e constante; o pote de vidro e seu rótulo permanecem nítidos."

O gabarito é deliberadamente entediante. Prompts entediantes são reproduzíveis, e a reprodutibilidade é o que permite mudar uma variável de cada vez.

Revise o primeiro segundo antes de tudo

Antes de julgar um clipe, assista ao primeiro segundo sozinho. É ali que a deriva aparece: um rosto que já se deslocou, um rótulo que começou a deformar, um horizonte que se inclinou. Se o quadro inicial não corresponde à foto, o prompt pediu demais, e reescrever o meio da frase não vai salvar.

A geração é curta de propósito, então planeje a extensão em vez de uma tomada longa. Consiga um movimento limpo de quatro segundos e depois junte segmentos com a mesma linguagem de prompt para que o movimento permaneça consistente.

Onde esses padrões rodam na KOOX AI

A ferramenta de foto para vídeo da KOOX AI segue a mesma forma de três passos que esses padrões pressupõem: envie uma foto nítida, descreva o movimento e a sensação de câmera, depois gere e refine. A página da ferramenta de IA de foto para vídeo também observa que imagens nítidas, bem iluminadas e com um assunto visível produzem os melhores resultados.

Se você preferir construir o quadro inicial primeiro, a ferramenta IA de texto para imagem pode produzir uma imagem estática limpa para animar.