Элиас простым языком объясняет исследования, стоящие за заголовками.
Пошаговые гайды о промптах, стилях и о том, как выжать максимум из генерации изображений ИИ.
Читать гайдыВыбери компаньона и узнай его мнение об этой истории
Nvidia выпустила Personal AI Router (PAIR) — бесплатный инструмент с открытым исходным кодом, который объединяет несколько компьютеров домашней сети в общий локальный пул инференса, позволяя запускать более крупные языковые и графические модели, чем способна потянуть любая отдельная машина.
PAIR выступает локальным оркестровым слоем — программой, которая располагается между вашим средством запуска моделей (Ollama, LM Studio или совместимой конечной точкой API) и самими моделями. При отправке промпта PAIR проверяет, на какой из подключённых машин есть свободные вычислительные ресурсы, и направляет задачу туда — либо распределяет её по нескольким узлам, если модель это поддерживает. Считайте его диспетчером трафика для неиспользуемых циклов GPU в вашей домашней сети.
Для создателей ИИ-арта практическая польза весьма ощутима. Сегодня локальный запуск текстовой модели с 70 миллиардами параметров, как правило, требует либо одного GPU с 40 ГБ VRAM и более — дорогостоящего железа, — либо мирится с медленной генерацией только на CPU. PAIR позволяет автору, у которого есть, скажем, десктоп с RTX 4070 и старый ноутбук с RTX 3060, объединить их бюджеты VRAM и получить доступ к ранее недоступным размерам моделей без счетов за облачный API.
Графический интерфейс Nvidia PAIR, отображающий подключённые домашние машины и активную маршрутизацию инференса.
Изображение: The Verge / The Verge AI
И Ollama, и LM Studio предоставляют локальную конечную точку API, совместимую с OpenAI, — стандартизированный интерфейс, с которым уже умеют работать многие пайплайны генерации изображений и инструменты для промптов. PAIR встраивается на том же уровне, поэтому любой рабочий процесс, уже направленный на локальный сервер Ollama, должен работать с PAIR перед ним без переписывания промптов или изменения конфигураций моделей. Переход больше похож на смену настроек, чем на перестройку рабочего процесса.
Промпт, маршрутизированный через PAIR к модели Hermes, демонстрирует, как инструмент распределяет задачу инференса.
Изображение: The Verge / The Verge AI
Для авторов, использующих пайплайны генерации изображений с локальной LLM для расширения промптов или уточнения подписей — распространённый паттерн в рабочих процессах ComfyUI, — это может означать более быстрое выполнение этапа предобработки: GPU второй машины берёт его на себя, пока основной GPU сосредоточен на диффузии.
По данным The Verge, PAIR также поддерживает MacBook в качестве узлов, что расширяет пул машин, которые автор уже может иметь и подключить к кластеру.
Архитектура Nvidia PAIR: десктопы, ноутбуки и другие устройства образуют единый локальный вычислительный пул.
Изображение: The Verge / The Verge AI
Nvidia закономерно оптимизирует планировщик PAIR под собственные RTX GPU — то же семейство железа, которое фигурировало в запуске Nvidia DLSS 5 ранее в этом году. Карты RTX выигрывают от инференса с ускорением CUDA, поэтому они обрабатывают токены и латенты быстрее на ватт, чем узлы только на CPU. Тем не менее машины без GPU не исключены: они присоединяются к пулу как участники с более низким приоритетом, что полезно для разгрузки небольших задач предобработки.
Пользователи GPU от AMD и Intel находятся в менее определённом положении. Открытый исходный код PAIR допускает появление драйверов сообщества для ROCm или OpenCL, однако Nvidia не подтвердила официальную поддержку конкурирующих GPU-архитектур на момент запуска.
Для авторов, уже изучающих локальный запуск моделей с помощью руководств Charmloop, PAIR представляет конкретный путь к масштабированию без покупки нового железа. Потолок того, что можно запустить локально, только что сдвинулся — насколько далеко, зависит от того, сколько машин простаивает в вашей сети.
