AI 도구·모델
NVIDIA NeMo Automodel + Hugging Face Diffusers, Flux 및 Wan 비디오에 멀티 GPU 파인튜닝 지원
Charmloop 편집팀· 편집·
NVIDIA와 Hugging Face가 Diffusers 라이브러리와의 NeMo Automodel 통합을 공동 출시했습니다. 이제 누구든 분산 학습 코드 한 줄 없이 Flux 이미지 모델과 Wan 비디오 모델을 여러 GPU에서 파인튜닝할 수 있습니다.
nemo-automodel 패키지를 통해 오늘부터 이용 가능합니다.지금까지 Diffusers 파인튜닝을 단일 GPU 이상으로 확장하려면 PyTorch의 DistributedDataParallel, Accelerate 설정 파일, 또는 DeepSpeed YAML 파일과 씨름해야 했습니다 — 프롬프트 작성과 학습 이미지 큐레이션이 주특기인 사람에게는 결코 친절한 환경이 아닙니다. NeMo Automodel은 이 모든 것을 단일 AutoModel.from_pretrained() 스타일 호출 하나로 감쌉니다. Flux 또는 Wan 체크포인트를 지정하고, 데이터셋을 전달하고, GPU 수를 설정하면 라이브러리가 텐서 병렬 처리, 그래디언트 체크포인팅, bf16/fp8 혼합 정밀도를 자동으로 처리합니다.
실질적인 효과는 이렇습니다. 이전에는 고사양 단일 A100이 필요했던 파인튜닝을 이제 소형 카드 여러 장에 분산하거나, 동일한 하드웨어에서 더 빠르게 완료할 수 있습니다. 특정 피사체, 스타일, 제품을 대상으로 Flux.1 Dev의 커스텀 LoRA 스타일 어댑테이션을 구축하는 크리에이터라면, 학습 실행과 프롬프트 테스트 사이의 반복 주기가 크게 단축됩니다.
Flux.1 Dev는 커스텀 이미지 생성을 위한 가장 인기 있는 베이스 모델 중 하나로 자리 잡았습니다 — Charmloop 모델 카탈로그에서 커뮤니티 파인튜닝 결과물을 살펴보면 스타일 범위가 얼마나 넓은지 확인할 수 있습니다. NeMo 통합은 클라우드 벤더 종속 없이 자체 Flux 어댑터를 학습할 수 있는 신뢰할 만한 경로를 추가합니다. 체크포인트 형식이 표준 Diffusers를 유지하므로 Diffusers 추론을 실행하는 어디서든 결과물을 사용할 수 있습니다.
Wan 2.1 지원은 더욱 새로운 측면입니다. 비디오 파인튜닝은 접근 가능한 툴링 측면에서 이미지 파인튜닝보다 약 1년 뒤처져 있었고, 멀티 GPU 비디오 학습은 더욱 제한적이었습니다. 특정 모션 스타일, 캐릭터, 제품 등 커스텀 영상으로 비디오 디퓨전 모델을 이미지 모델과 동일한 API로 파인튜닝할 수 있다는 것은, 크리에이터 고유의 학습 데이터에 실제로 반응하는 비디오 생성 워크플로를 향한 의미 있는 진전입니다.
NeMo Automodel 실행의 출력물은 표준 Diffusers 체크포인트 디렉터리입니다. 변환 단계도, 형식 변환도 필요 없습니다 — DiffusionPipeline.from_pretrained()로 불러와서 바로 생성하면 됩니다. 이미 프로덕션 파이프라인에서 Diffusers를 사용하는 팀이라면, 추론 측면에서 이 통합은 사실상 마찰이 전혀 없습니다.
NeMo Automodel로 달성 가능한 스타일 및 피사체 일관성을 보여주는 다양한 LoRA 및 풀 파인튜닝 출력물.
이미지: Hugging Face Blog
학습 실행을 결정하기 전에 파인튜닝을 먼저 실험해보고 싶은 크리에이터는 Charmloop 이미지 생성기에서 베이스 Flux 모델이 목표 피사체에 대해 어떤 결과를 내는지 벤치마킹한 뒤, 그 프롬프트 결과를 활용해 더 정교한 학습 세트를 큐레이션할 수 있습니다. 가이드 섹션에서는 이러한 커스텀 모델 작업에 직접 적용할 수 있는 데이터셋 준비 기초도 다루고 있습니다.
nemo-automodel 패키지는 현재 PyPI에서 이용 가능합니다. NVIDIA와 Hugging Face는 통합이 성숙해짐에 따라 다른 비디오 디퓨전 아키텍처를 포함한 추가 모델 지원이 뒤따를 것임을 밝혔습니다.