Nvidia PAIRは家庭のPCをローカルAI計算クラスターにプールする無料のオープンソースソフトウェア

Nvidiaは、家庭ネットワーク上の複数のコンピューターを共有ローカル推論プールに接続する無料のオープンソースソフトウェアツール、Personal AI Router（PAIR）をリリースしました。これにより、単一のマシンでは処理できない大規模な言語・画像モデルを実行できるようになります。

主なポイント

• PAIRはソフトウェアであり、ハードウェアではありません。 名前にもかかわらず、これは物理的なネットワークルーターではなく、オープンソースアプリケーションです。
• OllamaとLM Studioで動作します。これらは今日のAIアート制作者が使用する最も一般的なローカルモデルランナーの2つです。
• アイドル状態のマシンが計算能力を提供します。 電源に接続されているが使用されていないラップトップは、別のマシンで実行されているより重い推論ジョブにGPUとCPUサイクルを提供できます。
• クラウド料金なし、データがネットワークから出ることなし。 すべての推論がローカルに留まるため、独自のスタイルや機密の参照画像を扱う制作者にとって重要です。
• RTX GPUが優先スケジューリングを受けますが、このツールはCPUのみのマシンをセカンダリノードとして使用することもできます。

PAIRがマシン間で推論を分散する方法

PAIRはローカルオーケストレーション層として機能します。これは、モデルランナー（Ollama、LM Studio、または互換性のあるAPIエンドポイント）とモデル自体の間に位置するソフトウェアです。プロンプトを送信すると、PAIRは接続されたマシンのどれが利用可能な計算能力を持っているかをチェックし、そこにジョブをルーティングするか、モデルがサポートしている場合は複数のノードに分割します。これを家庭ネットワークの未使用GPUサイクルのトラフィック管制官と考えてください。

AIアート制作者にとっての実用的な利点は意味があります。今日、700億パラメータのテキストモデルをローカルで実行するには、通常、40GB以上のVRAMを持つ単一のGPU（高価なハードウェア）が必要か、遅いCPUのみの生成を受け入れる必要があります。PAIRにより、例えばRTX 4070デスクトップと古いRTX 3060ラップトップを持つ制作者が、VRAMバジェットを組み合わせることで、クラウドAPI料金なしで以前は実行不可能だったモデルサイズにアクセスできるようになります。

OllamaとLM Studio統合の実際の意味

OllamaとLM Studioの両方が、ローカルOpenAI互換APIエンドポイント（多くの画像生成パイプラインとプロンプトツールがすでに通信できる標準化されたインターフェース）を公開しています。PAIRは同じレイヤーにスロットインするため、すでにローカルOllamaサーバーを指している任意のワークフローは、プロンプトを書き直したりモデル設定を変更したりすることなく、PAIRを前面に置いて動作するはずです。移行は、ワークフローの全面的な見直しというよりも設定変更に近いものです。

プロンプト拡張やキャプション改良にローカルLLMを使用する画像生成パイプラインを実行している制作者（ComfyUIワークフローでの一般的なパターン）にとって、これは前処理ステップのより高速なターンアラウンドを意味する可能性があります。第2のマシンのGPUがそれを処理する間、プライマリGPUは拡散に集中し続けることができるからです。

The Vergeによると、PAIRはMacBookもノードとしてサポートしており、制作者がすでに所有していてクラスターに貢献できるマシンのプールを広げています。

RTXハードウェアのコンテキストと非Nvidiaユーザーが知っておくべきこと

Nvidiaは当然、自社のRTX GPU（今年初めのNvidia DLSS 5ローンチでカバーされた同じハードウェアファミリー）に対してPAIRのスケジューリングを最適化しています。RTXカードはCUDA加速推論の恩恵を受けるため、CPUのみのノードよりもワットあたりのトークンと潜在変数の処理が高速になります。とはいえ、CPUのみのマシンが除外されるわけではありません。これらは低優先度の貢献者としてプールに参加し、小さな前処理タスクをオフロードするのに有用です。

AMDとIntel GPUユーザーは、より不明確な立場にあります。PAIRのオープンソース性質により、ROCmやOpenCLのコミュニティドライバーが登場する可能性がありますが、Nvidiaはローンチ時点で競合するGPUアーキテクチャのファーストパーティサポートを確認していません。

Charmloopガイドを通じてローカルモデル実行をすでに探求している制作者にとって、PAIRは新しいハードウェア購入なしでスケールアップする具体的な道筋を表しています。ローカルで実行できるものの上限が移動しました。どこまで行けるかは、ネットワーク上でアイドル状態になっているマシンの数によります。