Cómo usar video de referencia en SeeDance 2.0: Copiar movimiento y cámara

En resumen

El video de referencia en Seedance 2.0 te permite anclar el movimiento (movimientos de cámara, coreografía de personajes, tiempos) a un clip existente en lugar de describir todo en texto. Usa clips de referencia de 3 a 8 segundos: toma única, sin cortes de salto, compresión H.264 limpia. Mantén los prompts de texto cortos (tres adjetivos o menos para el estilo). El texto describe lo que la referencia no puede mostrar; la referencia se encarga del movimiento. Si tu resultado se desvía o ignora la referencia, sigue la escalera de solución de problemas de esta guía.

Introducción

La generación de video solo con texto funciona bien para conceptos generales: escenas atmosféricas, direcciones exploratorias, enfoques visuales variados. Cuando el movimiento ya está decidido (el tiempo específico de un gesto, un acercamiento de cámara, un ciclo de caminata), las descripciones de texto son imprecisas.

El video de referencia cierra esa brecha. Proporcionas un clip que muestra lo que quieres, y Seedance 2.0 reinterpreta el movimiento en la nueva escena que has descrito.

Esta guía cubre cuándo el video de referencia es útil y cuándo es mejor solo el texto, cómo preparar clips de referencia efectivos y cómo solucionar los problemas más comunes.

Cuándo usar video de referencia

El video de referencia funciona mejor para:

• Micro-gestos: Tiempos precisos como "un golpecito con el pulgar" o "un asentimiento que cae en el tercer tiempo". El texto no puede capturar el tiempo exacto; un clip de referencia sí.
• Coreografía: Patrones de movimiento consistentes como caminatas con una cadencia específica o una rutina física repetida.
• Movimientos de cámara: Operaciones sutiles como acercamientos lentos, órbitas controladas o cambios de encuadre específicos. Son difíciles de describir con precisión.
• Sincronización de ritmo: Sincronizar acciones con señales de audio. El modelo puede leer el tiempo de un clip de referencia mejor que de una descripción de texto.

Solo texto es mejor para:

• Conceptos generales o piezas atmosféricas donde la variedad es buena
• Explorar diferentes direcciones visuales para el mismo contenido
• Cuando no tienes un clip de referencia apropiado y el movimiento es lo suficientemente simple como para describirlo

Preparación de clips de referencia

Un buen clip de referencia tiene estas características:

Duración: 3-8 segundos. Los clips más cortos dan muy poca información al modelo. Los clips más largos corren el riesgo de reducir la confianza del modelo y producir resultados inconsistentes.

Continuidad: Sin ediciones, sin cortes de salto, sin cortes de ningún tipo. Una sola toma continua de principio a fin.

Compresión: H.264 limpio sin artefactos de macro-bloqueo. Los clips comprimidos o recodificados con artefactos visibles producen peores resultados.

Claridad del sujeto: Fondos lisos e iluminación constante ayudan al modelo a leer la silueta y el movimiento del sujeto claramente. Los fondos complejos compiten con el sujeto por la atención del modelo.

Lista de verificación antes de subir un clip de referencia:

• [ ] Menos de 8 segundos
• [ ] Toma continua única, sin cortes
• [ ] Compresión limpia, sin bloqueo visible
• [ ] Sujeto visible contra el fondo
• [ ] Iluminación constante en todo el clip

Creación de prompts con un clip de referencia

Al combinar un clip de referencia con un prompt de texto, el texto debe complementar en lugar de repetir la referencia.

Enfoca el texto en lo que la referencia no muestra:

La referencia maneja el movimiento y el tiempo. Usa el texto para:

• Descriptores de estilo (iluminación, paleta de colores, tono visual)
• Identidad del sujeto (quién o qué aparece en la nueva escena)
• Contexto de la cámara (si no está ya claro en la referencia)
• Una o dos restricciones

Estructura óptima del prompt:

Estilo: [2-3 descriptores para iluminación y paleta]
Sujeto: [descripción de identidad usando características visibles estables]  
Cámara: [si es diferente de la referencia]
Intención de referencia: "Respetar el movimiento de la referencia: reinterpretar textura y color."
No debe: [una restricción específica si es necesario]

Ejemplo:

Clip de referencia: una persona caminando con un ritmo medido específico

Prompt de texto:

Estilo: luz cálida de la tarde, tonos dorados
Sujeto: un hombre de traje gris, de unos 40 años, postura segura
Respetar el movimiento de la referencia: reinterpretar textura y color.
No debe: cambiar el ritmo de la caminata

El límite de tres adjetivos:

Más de tres descriptores de estilo crean instrucciones contradictorias. El modelo intenta incorporar todos ellos y a menudo no satisface ninguno bien. Elige los tres descriptores más importantes y descarta el resto.

Uso de API a través de WaveSpeedAI

Seedance 2.0 es accesible a través de la API de WaveSpeedAI. El endpoint de video de referencia:

POST https://api.wavespeed.ai/api/v2/seedance/v2/image-to-video
Authorization: Bearer {{WAVESPEED_API_KEY}}
Content-Type: application/json

{
  "prompt": "Luz cálida de la tarde, tonos dorados. Un hombre de traje gris camina hacia adelante. Respetar el movimiento de la referencia.",
  "image_url": "https://example.com/subject-reference.jpg",
  "reference_video_url": "https://example.com/motion-reference.mp4",
  "duration": 5,
  "aspect_ratio": "16:9"
}

Pruebas con Apidog

Configura una colección de prueba antes de construir tu integración.

Configuración del entorno:

Crea un entorno de Apidog con `WAVESPEED_API_KEY` como variable Secreta.

Flujo de dos solicitudes:

La Solicitud 1 inicia la generación. La Solicitud 2 consulta para la finalización.

Solicitud 1:

POST https://api.wavespeed.ai/api/v2/seedance/v2/image-to-video
Authorization: Bearer {{WAVESPEED_API_KEY}}
Content-Type: application/json

{
  "prompt": "{{motion_prompt}}",
  "image_url": "{{subject_image}}",
  "reference_video_url": "{{reference_clip}}",
  "duration": {{duration}},
  "aspect_ratio": "16:9"
}

En la pestaña Pruebas, extrae el ID de trabajo para la consulta:

pm.environment.set("job_id", pm.response.json().id);

Solicitud 2:

GET https://api.wavespeed.ai/api/v2/predictions/{{job_id}}
Authorization: Bearer {{WAVESPEED_API_KEY}}

Afirmar:

Response body, field status equals "completed"

Guía de solución de problemas

Temblor de movimiento

1. Recorta el clip para eliminar microajustes no deseados en los bordes
2. Reduce el ruido visual en el metraje original
3. Estabiliza durante la captura en lugar de añadir estabilización en la postproducción
4. Acorta la duración de la referencia a 3-5 segundos
5. Simplifica el prompt de texto (elimina descriptores que puedan entrar en conflicto)

Referencia ignorada (el modelo ignora el clip de referencia)

1. Exagera ligeramente el movimiento y centra al sujeto en el encuadre
2. Incluye solo un tipo de movimiento por clip (no mezcles movimientos de cámara con movimientos de personajes)
3. Menciona explícitamente el movimiento en el texto: "copiar movimiento de cámara de la referencia"
4. Extrae el segmento más limpio de 2-3 segundos del clip de referencia
5. Usa marcas de referencia (cinta en una superficie) para mayor claridad de paralaje en las referencias de movimiento de cámara

Deriva de estilo (la salida no coincide con la estética deseada)

1. Reduce los descriptores de estilo a dos o tres
2. Añade un solo fotograma de referencia estático junto con la referencia de video
3. Simplifica los patrones y los detalles recargados en el clip de referencia
4. Mantén la configuración consistente en todos los renders
5. Bloquea el movimiento primero (asegura el movimiento antes de iterar en la apariencia)

Derechos y consentimiento

El video de referencia con personas identificables requiere consentimiento. Requisitos prácticos:

• Consentimiento por escrito de cualquier persona cuyo movimiento o imagen aparezca en el clip de referencia
• Firmas de tutores para menores
• Verifica que los lugares de filmación permitan el uso comercial
• Excluye logotipos prominentes o marcas de terceros de la referencia
• Mantén registros: fechas, notas de consentimiento, versiones de clips

Esto se aplica tanto al clip de referencia como a cualquier sujeto identificable que aparezca en el resultado generado.

Preguntas frecuentes

¿El video de referencia reemplaza la imagen de referencia?
Sirven para propósitos diferentes. La imagen de referencia ancla la apariencia del sujeto (quién aparece en la escena). El video de referencia ancla el movimiento (cómo se mueven los sujetos y la cámara). Usa ambos cuando quieras controlar la apariencia y el movimiento de forma independiente.

¿Cuánto debe durar el clip de referencia?
De 3 a 8 segundos. Demasiado corto: el modelo tiene información de movimiento insuficiente. Demasiado largo: la confianza del modelo disminuye y la salida se vuelve inconsistente.

¿Puedo usar un clip de referencia de un género diferente?
Sí. Puedes usar un clip de referencia de una persona caminando en un contexto y generar un personaje robot caminando con esa misma forma de andar. El movimiento se transfiere; el contenido visual es reemplazado por tu descripción de texto y la referencia del sujeto.

¿Qué resolución debe tener el clip de referencia?
720p o superior. Los clips de referencia de muy baja resolución proporcionan menos información de movimiento y producen transferencias de menor calidad.

¿Puedo generar múltiples clips a partir de la misma referencia?
Sí. El mismo clip de referencia puede impulsar múltiples generaciones con diferentes prompts. Esto es útil para generar múltiples variaciones de escena con un movimiento consistente.