Wan Animate 2 튜토리얼: Move 모드, Mix 모드 및 ComfyUI 워크플로우 가이드

AI 개요

Wan Animate 2란 무엇이며, 어떤 기능을 제공하나요?

Wan-Animate-2는 드라이버 영상의 전신 동작과 표정 연기를 하나의 참조 이미지 캐릭터에 전이하는 오픈소스 캐릭터 애니메이션 모델입니다. 또한 프롬프트로 제어 가능한 배경 및 시점 변경 기능도 지원합니다.

Wan Animate 2에서 Move 모드와 Mix 모드의 차이는 무엇인가요?

Move 모드는 참조 이미지를 드라이버 영상의 동작으로 애니메이션하고 새 배경을 생성합니다. 반면 Mix 모드는 원본 장면 내의 연기자를 대체하지만, 이 모드는 이전 버전인 Wan2.2 Animate 워크플로우에 속합니다.

ComfyUI에서 로컬로 Wan Animate 2를 실행할 수 있나요?

네. 현재 ComfyUI 템플릿은 WanAnimate2ToVideo 노드를 통해 Wan-Animate-2를 지원하며, 참조 이미지, 원시 드라이버 영상, 모델 파일, 텍스트 프롬프트를 입력으로 사용합니다. 안정화된 데스크톱 릴리스는 야간 빌드(nightly) 기능 지원에 비해 지연될 수 있으므로, ComfyUI를 먼저 업데이트하세요.

Wan Animate 2는 어떤 입력을 필요로 하나요?

현재 Move 워크플로우는 하나의 선명한 참조 이미지, 하나의 드라이버 영상, 외형/배경 프롬프트를 요구합니다. 얼굴 크롭, 단단한 캐릭터 마스크, 깨끗한 배경 프레임은 이전 Mix 대체 워크플로우에 적용됩니다.

Wan Animate 2가 실제로 수행하는 작업 — 그리고 그 차별성

Wan-Animate-2는 일반적인 이미지-대-비디오(I2V) 모델이 아닙니다. 일반적인 I2V는 정지 이미지에서 시작하여 텍스트 프롬프트에 따라 동작을 ‘창조’합니다. 반면 Wan-Animate-2는 두 번째 입력—즉, 드라이버 영상—을 소비하여 그 영상의 타이밍, 포즈, 제스처, 표정 연기를 여러분의 이미지 내 캐릭터에 전이합니다.

새 모델은 중간 과정의 스켈레톤 추출기(skeleton extractor)에 의존하지 않고, 드라이버 프레임을 원시(raw) 형태로 직접 읽습니다. 이는 작은 손동작 타이밍, 어깨 움직임, 표정 변화, 또는 포즈 맵이 단순화해버릴 수 있는 카메라 시점 등이 포함된 연기에서 특히 중요합니다. 텍스트는 별도로 출력 배경 및 시점을 설명할 수 있습니다.

공식 Wan-Animate-2 아키텍처: 참조 이미지는 정체성을 정의하고, 드라이버 영상은 연기를 정의하며, 텍스트는 외형 및 장면 방향을 제어합니다.

생성된 샷의 시작 또는 끝을 정의하기 위해 정지 이미지만 필요하다면, 첫 프레임 및 마지막 프레임 가이드를 참고하세요. 특정 연기를 정확히 복사하는 것이 작업 목표라면 Wan-Animate-2를 사용하세요.

Move 모드 vs Mix 모드 — 올바른 모드 선택하기

두 세대의 프로젝트가 동시에 유통되면서 이름이 혼동되기 쉽습니다. Wan-Animate-2는 Move 스타일의 캐릭터 애니메이션 워크플로우를 사용합니다. Mix는 이전 Wan2.2 Animate 템플릿의 캐릭터 대체 모드입니다.

젖은 거리, 조명, 카메라 움직임, 소도구, 원본 클립 내 다른 인물 등 기존 장면 요소를 모두 유지하면서 오직 연기자만 바꾸고 싶을 때는 Mix를 선택하세요. 반면, 깔끔한 세트 위에서 마스코트가 춤추거나, 일러스트 호스트가 발표하거나, 녹화된 루틴을 수행하는 캐릭터를 만들 때는 Move를 선택하세요.

시작 전 준비 사항 — 입력 자료 및 모델 파일

사용할 모드에 맞는 최소한의 입력 자료를 준비하세요:

• 드라이버 영상: 연기 소스. 명확한 동작, 눈에 띄는 사지, 최소한의 가림, 참조 이미지와 유사한 프레이밍을 사용하세요.
• 참조 이미지: 선명하고 정면 또는 3/4 각도의 캐릭터 이미지. 전신 드라이버 영상은 전신 참조 이미지와 가장 잘 매칭됩니다.
• 프롬프트: 하나의 외형/배경 설명과 하나의 간결한 동작 설명. 외형 프롬프트에는 동작 관련 언어를 포함하지 마세요.
• Mix 전용 제어 요소: 표현 정확도를 위한 얼굴 크롭, 단단한 캐릭터 마스크, 장면 보존을 위한 깨끗한 배경 프레임.

공식 ComfyUI 패키지는 확산 모델용 wan_animate_2_int8_convrot.safetensors, UMT5 텍스트 인코더, CLIP 비전 인코더, Wan VAE, 그리고 선택적 LightX2V 단계-증류 LoRA를 제공합니다. 전체 공식 체크포인트는 BF16 형식이며, 하드웨어가 훨씬 더 큰 메모리 요구량을 감당할 수 있을 때만 사용하세요. INT8 ConvRot 패키지는 낮은 메모리 사용을 위한 실용적인 ComfyUI 선택지입니다.

사용 가능한 참조 이미지는 캐릭터가 가려지지 않아야 하며, 드라이버의 크롭과 일치해야 합니다. 이 공식 예시는 전신 캐릭터와 전신 동작을 짝지었습니다.

로컬 영상 파이프라인은 여전히 하드웨어 부담이 큽니다. 다른 로컬 모델과 설정 노력 비교를 고려 중이라면, LTX 2.5 리뷰에서 동일한 실용적 트레이드오프를 설명합니다: 오픈 웨이트는 무료이지만, GPU 시간과 문제 해결 노력은 그렇지 않습니다.

단계별 ComfyUI 워크플로우1. ComfyUI 업데이트. 워크플로우 → 템플릿 둘러보기 → 비디오를 선택하고 Wan Animate 2 템플릿을 로드하세요. WanAnimate2ToVideo 또는 WanAnimate2Cache 노드가 누락된 경우, 일반적으로 현재 설치된 버전이 템플릿보다 오래되었음을 의미합니다.

2. 모델 파일 배치. 확산 모델(diffusion model), LoRA, 텍스트 인코더(text encoder), CLIP 비전 모델(CLIP vision model), VAE를 템플릿에서 지정한 대응 폴더에 각각 넣으세요. 추가 후 ComfyUI를 재시작하세요.
3. 입력 로드. 기준 이미지(reference image)와 드라이버 비디오(driver video)를 추가하세요. 먼저 크롭(crop)을 일치시켜야 합니다: 클로즈업은 클로즈업과, 풀바디는 풀바디와 매칭되도록 하세요.
4. 핵심 노드 확인. 현재 워크플로우는 WanAnimate2ToVideo와 원시 드라이버 프레임(raw driver frames)을 사용합니다. WanVideoAnimateEmbeds, 포즈 전처리기(pose preprocessors), SAM 2 마스크(SAM 2 masks), background_video, character_mask는 이전 버전인 Wan2.2 Animate Mix 경로에 속합니다.
5. 해상도 및 길이 설정. 너비(width)와 높이(height)는 반드시 16의 배수가 되어야 합니다. 템플릿은 81프레임 창(window)을 생성하며, 24 fps 기준 약 3.4초 분량입니다. 더 긴 드라이버 비디오를 처리하려면 Motion Transfer 서브그래프를 복제하여 연결하세요.
6. 프롬프트 작성 및 샘플링. 메인 프롬프트에는 캐릭터와 배경을 묘사하고, 모션 프롬프트에는 동작(퍼포먼스)만 기술하세요. 템플릿의 샘플러 설정으로 시작하세요. 최대 충실도보다는 빠른 속도와 적은 스텝 수가 우선일 때는 distilled LoRA를 사용하세요.
7. 큐 등록 및 검토. 출력 비디오를 저장한 후, 정체성(identity), 손, 얼굴, 발 접지 상태(foot contact), 배경 안정성, 그리고 연결된 창들 사이의 경계(seam)를 점검하세요.

src=https://r2.seedance.tv/blog/wan-animate-2-tutorial/official-output.mp4
poster=https://r2.seedance.tv/blog/wan-animate-2-tutorial/official-output-poster.png
label=공식 ComfyUI Wan-Animate-2 출력 · 거리 댄스 동작 전이

공식 템플릿 미리보기는 애니메이션된 기준 이미지를 드라이버 영상 옆에 나란히 배치하여, 전체 클립 내내 타이밍, 신체 동작, 프레이밍, 정체성 보존 여부를 비교할 수 있도록 합니다.

더 나은 결과 얻기 — 흔한 문제 해결법 및 팁

• 정체성 또는 얼굴 왜곡(drift): 드라이버와 동일한 프레이밍을 가진 선명한 기준 이미지를 사용하세요. 너무 작은 얼굴, 프로필만 보이는 기준 이미지, 얼굴을 가로지르는 손동작은 피하세요.
• 배경 왜곡(drift): 배경 프롬프트는 가능한 한 문자 그대로 정확하고 안정적으로 작성하세요. 기존 장면을 정확히 보존해야 할 경우, 깨끗한 배경과 단단한 마스크를 사용하는 레거시 Mix 워크플로우로 전환하세요.
• 속도 오류 또는 끊김(jerky motion): 드라이버 비디오를 로드하기 전에 약 16–24 fps로 리샘플링하세요. 현재 워크플로우는 소스 프레임률을 자동으로 일치시키지 않고, 프레임을 직접 읽어들입니다.
• 부드럽지 않거나 부서진 사지(limbs): 드라이버 동작을 단순화하고, 가림(occlusion)을 줄이며, 더 짧은 창(window)으로 테스트하세요. 빠른 회전, 바닥 동작(floor work), 두 사람이 교차하는 장면은 방해 요소가 없는 솔로 퍼포먼스보다 훨씬 어렵습니다.
• 긴 클립에서 눈에 띄는 경계(seam): continue_motion을 통해 연결된 창들을 겹쳐서 처리하고, video_frame_offset을 조정하며, 연결 시 발생하는 첫 프레임 중 중복된 프레임을 잘라내세요.
• 메모리 부족 오류(Out-of-memory error): 생성 해상도를 낮추거나, INT8 ConvRot 체크포인트를 사용하거나, 캐시를 CPU로 이동시키거나, BF16 베이스 모델보다 먼저 distilled 구성으로 테스트하세요.

LoRA가 속도는 향상시키지만 정체성이나 동작 스타일을 변경한다면, 이를 채택하기 전에 고정된 드라이버/기준 이미지 쌍을 사용해 비교하세요. LoRA 학습 가이드는 모델 계열이 다르더라도 유용한 평가 패턴을 제공합니다.

활용 사례 — Wan Animate 2로 구현 가능한 것들

1. AI 가상 발표자 — Move. 명확한 인간 발표 영상을 녹화한 후, 이를 일러스트 캐릭터나 마스코트로 전이하세요. 관리형 대안을 원한다면 Reference to Video부터 시작하세요.
2. 이커머스 모델 변형 — Mix. 매장, 제품, 카메라 움직임, 조명을 그대로 유지하면서, 이전 Mix 워크플로우에서 화면에 등장하는 연기자를 교체하세요.
3. 맞춤 IP 캐릭터 애니메이션 — Move. 게임, 만화, 브랜드 캐릭터를 위해 키프레임 없이도 댄스, 인사, 액션 등을 수행하게 하세요.
4. UGC 동작 리메이크 — Move. 하나의 승인된 퍼포먼스를 새 캐릭터 이미지로 전이하세요. 정확한 동작 전이가 필요하지 않은 간단한 애니메이션의 경우, Image to Video를 사용하세요.
5. 광고 현지화 변형 — Mix. 하나의 샷 디자인을 재사용하면서 스피커만 교체하고, 이후 로고, 자막, 법적 고지사항 등은 포스트프로덕션에서 완성하세요.

본인 소유이거나 처리 권한을 명시적으로 부여받은 기준 이미지 및 드라이버 영상만 사용하세요. 성공적인 렌더링 결과물도, 정체성, 주장(claims), 연속성, 장면 세부 사항을 사람이 직접 검토할 때까지는 초안(draft) 으로 취급하세요.

결론

결정 규칙은 간단합니다: Move는 이미지를 움직이게 하고, Mix는 비디오 내 사람을 교체합니다. 현재 Wan-Animate-2 ComfyUI 워크플로우에서는, 잘 매칭된 기준 이미지와 드라이버 비디오와 함께 Move를 사용하세요. 소스 장면을 반드시 보존해야 할 경우에만 이전 Wan2.2 Animate Mix 경로를 사용하세요.

모델 설치, VRAM 관리, ComfyUI 창 연결 작업을 원치 않으신다면, Seedance에서 캐릭터 애니메이션을 시도해 보세요 →.