Instrumentul open-source leagă GPU-urile RTX, mașinile Spark și Mac-urile pe diferite platforme
Conectarea punctelor: Cele mai multe chatbot și AI agentic se bazează în continuare pe infrastructura cloud și pe internet, dar unii pasionați de AI caută din ce în ce mai mult să-și construiască propriile configurații de calcul locale. Noul software PAIR de la Nvidia ar putea ajuta grupul local AI să crească și mai mult.
Nvidia a introdus un nou instrument software pentru declanșarea unei explozii în infrastructura locală de inferență. Proiectul Personal AI Router (PAIR) este un software open-source conceput pentru a conecta diferite sisteme de computer, chiar și diferite sisteme de operare pentru computere, într-un cluster AI personalizat în care chatbot-uri, agenți AI și alte aplicații LLM compatibile împărtășesc resurse de procesare.
Producătorul de GPU descrie PAIR ca un sistem cu patru puncte de caracteristici majore. Cadrul software poate lega GPU-urile de jocuri GeForce RTX, mașinile DGX Spark și sistemele Mac într-o singură platformă AI. Nu sunt necesare cabluri speciale sau hardware de rack, spune Nvidia, iar conectarea ar trebui să dureze doar câteva minute.
După ce conectează mai multe mașini, PAIR poate rula backend-uri de inferență locale „tradiționale”, cum ar fi Ollama și LM Studio, pentru a permite utilizatorilor să-și gestioneze sarcinile de lucru AI de pe o mașină Windows, Linux sau macOS. Cadrul este conceput pentru a aloca fluxurile de lucru AI și solicitările de inferență în toate nodurile locale disponibile, exploatând resursele de calcul inactive pentru a îmbunătăți performanța generală a sarcinii.
PAIR poate oferi o super-mașină AI complet locală. Fișierele de date, agenții și interogările chatbot rămân în rețeaua locală fără a necesita conexiune la cloud sau la internet, ceea ce ar trebui să ofere o ușurare pentru utilizatorii conștienți de confidențialitate și pentru aplicațiile AI sensibile.
Nvidia poziționează PAIR ca o platformă AI locală concepută pentru a funcționa în mod fiabil într-un mediu de calcul eterogen, fără a fi nevoie de hardware la nivel de centru de date sau de acceleratoare puternice de IA pentru server. Cu toate acestea, managerul de produs Nvidia, Seth Schneider, a explicat că noul cadru de software va funcționa cel mai bine în SOHO și casele unde mașinile de calcul puternice stau inactiv de cele mai multe ori.
Schneider a oferit un scenariu „ideal”, cu un tată care lucrează atât la un laptop RTX Spark, cât și la un computer desktop DGX Spark, o mamă cu un laptop echipat cu RTX 5090 și doi copii cu un desktop de gaming și un MacBook Pro. Tot acest hardware puternic deține aproximativ 165 de teraFLOPS de putere de calcul și o comoară de „jetoane gratuite” inactiv, iar PAIR poate ajuta la punerea în funcțiune a capacității AI subutilizate pentru a funcționa cu relativă ușurință.
