Переглянь моделі та стилі, що стоять за такими історіями — безкоштовний акаунт, галерея одразу.
Відкрити каталог
NVIDIA та Hugging Face спільно випустили інтеграцію NeMo Automodel із бібліотекою Diffusers, яка дозволяє будь-кому дообробляти моделі зображень Flux та відеомоделі Wan на кількох GPU — без жодного рядка коду розподіленого навчання.
nemo-automodel.Історично масштабування дообробки Diffusers за межі одного GPU означало боротьбу з DistributedDataParallel у PyTorch, конфігами Accelerate або YAML-файлами DeepSpeed — жоден із яких не є дружнім до того, чиї основні навички — це промптинг і добір навчальних зображень. NeMo Automodel загортає все це в єдиний виклик у стилі AutoModel.from_pretrained(). Ви вказуєте на контрольну точку Flux або Wan, передаєте свій датасет, задаєте кількість GPU — і бібліотека автоматично керує тензорним паралелізмом, градієнтним збереженням контрольних точок і змішаною точністю bf16/fp8.
Практичний результат: дообробка, яка раніше вимагала потужного одиночного A100, тепер може бути розподілена між кількома менш потужними картами — або завершена швидше на тому самому обладнанні. Для творців, які будують власні адаптації у стилі LoRA для Flux.1 Dev на основі певного об'єкта, стилю або продукту, це означає коротші цикли ітерацій між навчальними запусками та тестами промптів.
Flux.1 Dev став однією з найпопулярніших базових моделей для кастомної генерації зображень — ви можете переглянути спільнотні дообробки в каталозі моделей Charmloop, щоб побачити, наскільки широким уже є діапазон стилів. Інтеграція NeMo додає надійний шлях до навчання власного адаптера Flux без прив'язки до хмарного постачальника: формат контрольної точки залишається стандартним Diffusers, тому результат працює скрізь, де запускається інференс Diffusers.
Підтримка Wan 2.1 — більш новаторський аспект. Дообробка відео відставала від дообробки зображень приблизно на рік з точки зору доступного інструментарію, а багатоГПУ навчання відео було ще більш обмеженим. Можливість дообробляти відеодифузійну модель на кастомних відеоматеріалах — певний стиль руху, персонаж, продукт — використовуючи той самий API, що й для моделі зображень, є значним кроком до робочих процесів генерації відео, які справді реагують на специфічні для творця навчальні дані.
Результатом запуску NeMo Automodel є стандартна директорія контрольних точок Diffusers. Це означає відсутність кроку конвертації, відсутність маніпуляцій із форматом — завантажте за допомогою DiffusionPipeline.from_pretrained() і генеруйте. Для команд, які вже використовують Diffusers у виробничому конвеєрі, інтеграція фактично не створює жодних труднощів на стороні інференсу.
Діапазон виводів LoRA та повної дообробки, що демонструє узгодженість стилю та об'єкта, досяжну за допомогою NeMo Automodel.
Зображення: Hugging Face Blog
Творці, які хочуть поекспериментувати з дообробкою перед тим, як розпочати навчальний запуск, можуть почати з генератора зображень Charmloop, щоб оцінити, що базова модель Flux виробляє на їхньому цільовому об'єкті, — а потім використати ці результати промптів для добору більш точного навчального набору. Розділ посібників також охоплює основи підготовки датасетів, які безпосередньо застосовуються до такого роду роботи з кастомними моделями.
Пакет nemo-automodel вже доступний на PyPI. NVIDIA та Hugging Face зазначили, що підтримка додаткових моделей — ймовірно, включаючи інші архітектури відеодифузії — з'явиться в міру розвитку інтеграції.