Przejrzyj modele i style stojące za takimi historiami — darmowe konto i galeria od razu.
Przeglądaj katalog
NVIDIA i Hugging Face wspólnie udostępniły integrację NeMo Automodel z biblioteką Diffusers, która pozwala każdemu dostrajać modele obrazów Flux oraz modele wideo Wan na wielu kartach GPU — bez napisania ani jednej linii kodu do treningu rozproszonego.
nemo-automodel.Historycznie skalowanie fine-tuningu Diffusers poza jedną kartę GPU oznaczało zmagania z DistributedDataParallel PyTorcha, konfiguracjami Accelerate lub plikami YAML DeepSpeed — żadne z nich nie jest przyjazne dla kogoś, kto specjalizuje się głównie w tworzeniu promptów i selekcji obrazów treningowych. NeMo Automodel opakowuje to wszystko w jedno wywołanie w stylu AutoModel.from_pretrained(). Wskazujesz checkpoint Flux lub Wan, przekazujesz zbiór danych, ustawiasz liczbę GPU, a biblioteka automatycznie zajmuje się paralelizmem tensorów, gradient checkpointingiem oraz mieszaną precyzją bf16/fp8.
Praktyczny efekt: fine-tuning, który wcześniej wymagał potężnej pojedynczej karty A100, można teraz rozłożyć na kilka mniejszych kart — lub ukończyć szybciej na tym samym sprzęcie. Dla twórców budujących niestandardowe adaptacje w stylu LoRA modelu Flux.1 Dev dla konkretnego obiektu, stylu lub produktu oznacza to krótsze cykle iteracji między kolejnymi treningami a testami promptów.
Flux.1 Dev stał się jednym z najpopularniejszych modeli bazowych do niestandardowego generowania obrazów — możesz przeglądać społecznościowe fine-tune'y w katalogu modeli Charmloop, by zobaczyć, jak szeroki jest już zakres stylów. Integracja z NeMo otwiera wiarygodną ścieżkę do trenowania własnego adaptera Flux bez uzależnienia od konkretnego dostawcy chmury: format checkpointu pozostaje standardowym Diffusers, więc wynik działa wszędzie tam, gdzie uruchamiane jest wnioskowanie Diffusers.
Obsługa Wan 2.1 to bardziej nowatorski aspekt. Fine-tuning wideo pozostawał w tyle za fine-tuningiem obrazów o mniej więcej rok pod względem dostępnych narzędzi, a wieloGPU trening wideo był jeszcze bardziej ograniczony. Możliwość dostrajania modelu dyfuzji wideo na własnych nagraniach — konkretnego stylu ruchu, postaci, produktu — przy użyciu tego samego API co model obrazów to znaczący krok w kierunku workflow generowania wideo, które rzeczywiście reaguje na dane treningowe specyficzne dla twórcy.
Wynikiem działania NeMo Automodel jest standardowy katalog checkpointów Diffusers. Oznacza to brak etapu konwersji, brak manipulowania formatem — wystarczy załadować go przez DiffusionPipeline.from_pretrained() i generować. Dla zespołów korzystających już z Diffusers w pipeline'ie produkcyjnym integracja jest praktycznie bezproblemowa po stronie wnioskowania.
Zestaw wyników pełnego fine-tuningu i LoRA demonstrujących spójność stylu i obiektu osiągalną dzięki NeMo Automodel.
Obraz: Hugging Face Blog
Twórcy, którzy chcą poeksperymentować z fine-tuningiem przed przystąpieniem do pełnego treningu, mogą zacząć od generatora obrazów Charmloop, by sprawdzić, co bazowy model Flux produkuje dla ich docelowego obiektu — a następnie wykorzystać te wyniki promptów do selekcji ściślejszego zbioru treningowego. Sekcja poradników omawia również podstawy przygotowania zbiorów danych, które mają bezpośrednie zastosowanie w tego rodzaju pracy z niestandardowymi modelami.
Pakiet nemo-automodel jest już dostępny w PyPI. NVIDIA i Hugging Face zapowiedziały, że wraz z dojrzewaniem integracji pojawi się obsługa kolejnych modeli — prawdopodobnie obejmująca inne architektury dyfuzji wideo.