AIツール・モデル
NVIDIA NeMo Automodel + Hugging Face Diffusers、FluxおよびWan VideoのマルチGPUファインチューニングを実現
Charmloop 編集チーム· 編集部·
NVIDIAとHugging Faceは、DiffusersライブラリとNeMo Automodelの統合を共同リリースした。これにより、誰でもFluxイメージモデルおよびWanビデオモデルを複数のGPUにまたがってファインチューニングできる――分散トレーニングコードを一行も書かずに。
nemo-automodelパッケージを通じて本日より利用可能だ。これまで、DiffusersのファインチューニングをシングルGPU以上にスケールさせるには、PyTorchのDistributedDataParallel、AccelerateのConfig、あるいはDeepSpeedのYAMLファイルと格闘する必要があった――どれも、主なスキルがプロンプト作成とトレーニング画像のキュレーションである人間には優しくない。NeMo AutomodelはそのすべてをAutoModel.from_pretrained()スタイルの単一呼び出しにラップする。FluxまたはWanのチェックポイントを指定し、データセットを渡し、GPU数を設定するだけで、テンソル並列処理、勾配チェックポインティング、bf16/fp8混合精度が自動的に処理される。
実際的な恩恵はこうだ。以前は高性能なシングルA100が必要だったファインチューニングを、複数の小型カードに分散させたり、同じハードウェアでより速く完了させたりできる。特定の被写体、スタイル、製品に合わせてFlux.1 Devのカスタムなロラスタイルのアダプテーションを構築するクリエイターにとって、それはトレーニング実行とプロンプトテストの間のイテレーションサイクルの短縮を意味する。
Flux.1 Devはカスタム画像生成のベースモデルとして最も人気のある選択肢の一つとなっている――Charmloopモデルカタログでコミュニティのファインチューニング作品を見れば、スタイルの幅がすでにいかに広いかがわかる。NeMo統合により、クラウドベンダーへのロックインなしに独自のFluxアダプターをトレーニングする信頼できる手段が加わった。チェックポイント形式は標準のDiffusersのままなので、Diffusers推論が動く環境ならどこでも結果を利用できる。
Wan 2.1のサポートは、より新しい側面だ。ビデオのファインチューニングは、アクセスしやすいツールという観点では画像のファインチューニングに約1年遅れており、マルチGPUビデオトレーニングはさらに制限されてきた。特定のモーションスタイル、キャラクター、製品といったカスタム映像でビデオ拡散モデルをファインチューニングできるようになること――しかも画像モデルと同じAPIを使って――は、クリエイター固有のトレーニングデータに実際に応答するビデオ生成ワークフローへの意味ある一歩だ。
NeMo Automodelの実行結果は標準のDiffusersチェックポイントディレクトリだ。つまり変換ステップも形式の調整も不要――DiffusionPipeline.from_pretrained()でロードして生成するだけだ。すでにDiffusersを本番パイプラインで使用しているチームにとって、この統合は推論側では事実上ゼロフリクションだ。
NeMo Automodelで実現可能なスタイルと被写体の一貫性を示す、LoRAおよびフルファインチューニング出力のサンプル集。
トレーニング実行にコミットする前にファインチューニングを試してみたいクリエイターは、Charmloopイメージジェネレーターから始めて、ベースのFluxモデルがターゲット被写体に対してどのような結果を出すかをベンチマークするとよい――そのプロンプト結果を使って、より精度の高いトレーニングセットをキュレーションできる。ガイドセクションでは、この種のカスタムモデル作業に直接適用できるデータセット準備の基礎も解説している。
nemo-automodelパッケージは現在PyPIで入手可能だ。NVIDIAとHugging Faceは、統合が成熟するにつれて、他のビデオ拡散アーキテクチャを含む追加モデルのサポートが続くことを示唆している。