Explore os modelos e estilos por trás de histórias como esta — conta gratuita e galeria na hora.
Explorar o catálogo
NVIDIA e Hugging Face lançaram conjuntamente uma integração do NeMo Automodel com a biblioteca Diffusers que permite a qualquer pessoa fazer fine-tuning dos modelos de imagem Flux e dos modelos de vídeo Wan em múltiplas GPUs — sem escrever uma linha de código de treinamento distribuído.
nemo-automodel.Historicamente, escalar um fine-tuning do Diffusers além de uma única GPU significava lidar com o DistributedDataParallel do PyTorch, configurações do Accelerate ou arquivos YAML do DeepSpeed — nada disso é amigável para quem tem como principal habilidade criar prompts e curar imagens de treinamento. O NeMo Automodel encapsula tudo isso em uma única chamada no estilo AutoModel.from_pretrained(). Você aponta para um checkpoint do Flux ou Wan, passa seu dataset, define a quantidade de GPUs e a biblioteca cuida automaticamente do paralelismo de tensores, do gradient checkpointing e da precisão mista bf16/fp8.
O resultado prático: um fine-tuning que antes exigia uma única A100 robusta agora pode ser distribuído entre várias placas menores — ou concluído mais rapidamente no mesmo hardware. Para criadores que constroem adaptações no estilo LoRA do Flux.1 Dev para um sujeito, estilo ou produto específico, isso significa ciclos de iteração mais curtos entre execuções de treinamento e testes de prompt.
O Flux.1 Dev se tornou um dos modelos base mais populares para geração de imagens personalizadas — você pode explorar fine-tunes da comunidade no catálogo de modelos da Charmloop para ver a amplitude de estilos já disponíveis. A integração com o NeMo adiciona um caminho confiável para treinar seu próprio adaptador Flux sem dependência de fornecedor de nuvem: o formato de checkpoint permanece como Diffusers padrão, portanto o resultado funciona em qualquer lugar que execute inferência com Diffusers.
O suporte ao Wan 2.1 é o aspecto mais inovador. O fine-tuning de vídeo ficou cerca de um ano atrás do fine-tuning de imagem em termos de ferramentas acessíveis, e o treinamento de vídeo em múltiplas GPUs foi ainda mais restrito. Poder fazer fine-tuning de um modelo de difusão de vídeo com footage personalizado — um estilo de movimento específico, um personagem, um produto — usando a mesma API de um modelo de imagem é um passo significativo em direção a fluxos de trabalho de geração de vídeo que realmente respondem a dados de treinamento específicos do criador.
O resultado de uma execução do NeMo Automodel é um diretório de checkpoint padrão do Diffusers. Isso significa nenhuma etapa de conversão, nenhuma manipulação de formato — basta carregá-lo com DiffusionPipeline.from_pretrained() e gerar. Para equipes que já utilizam Diffusers em um pipeline de produção, a integração tem atrito praticamente zero no lado da inferência.
Uma variedade de saídas com LoRA e fine-tuning completo demonstrando a consistência de estilo e sujeito alcançável com o NeMo Automodel.
Imagem: Hugging Face Blog
Criadores que desejam experimentar o fine-tuning antes de se comprometer com uma execução de treinamento podem começar com o gerador de imagens da Charmloop para avaliar o que um modelo Flux base produz para o sujeito-alvo — e então usar esses resultados de prompt para curar um conjunto de treinamento mais refinado. A seção de guias também aborda os fundamentos de preparação de datasets que se aplicam diretamente a esse tipo de trabalho com modelos personalizados.
O pacote nemo-automodel está disponível no PyPI agora. NVIDIA e Hugging Face indicaram que suporte a modelos adicionais — provavelmente incluindo outras arquiteturas de difusão de vídeo — virá à medida que a integração amadurece.