Modelul de limbaj Llama al Meta AI a fost modificat pentru a rula pe Xbox 360 veche de zeci de ani

URMĂREȘTE-NE
16,065FaniÎmi place
1,142CititoriConectați-vă

Adaptarea llama2.c la Xbox 360 nu a fost o sarcină ușoară

Un cartof fierbinte: Proiectul open-source llama2.c este conceput pentru a rula o versiune ușoară a modelului Llama 2 în întregime în cod C. Acest model „baby” Llama 2 este inspirat de llama.cpp, un proiect creat pentru a permite inferența LLM într-o gamă largă de hardware, de la dispozitive locale la platforme bazate pe cloud. Aceste experimente cu coduri compacte sunt acum utilizate pentru a rula tehnologia AI pe aproape orice dispozitiv cu un cip, evidențiind accesibilitatea și versatilitatea în creștere a instrumentelor AI.

După ce a văzut Exo Labs rulând un model de limbaj mare pe un vechi Pentium II care rulează Windows 98, dezvoltatorul Andrei David a decis să accepte o provocare și mai neconvențională. S-a scos praful consola Xbox 360, si-a propus sa forțeze mașina veche de aproape două decenii să încarce un model AI din familia de LLM-uri Llama de la Meta AI.

David a spus pe X că a portat cu succes llama2.c pe consola de jocuri Microsoft din 2005. Cu toate acestea, procesul nu a fost lipsit de obstacole semnificative. Procesorul PowerPC al Xbox 360 este o arhitectură big-endian, care a necesitat o conversie extinsă a endianness-ului atât pentru configurația, cât și pentru greutatea modelului. În plus, a trebuit să se ocupe de ajustări și optimizări substanțiale ale codului original pentru a-l face să funcționeze pe hardware-ul vechi.

Gestionarea memoriei a reprezentat încă o provocare semnificativă. Modelul llama2 de 60 MB a trebuit să fie structurat cu atenție pentru a se potrivi în arhitectura de memorie unificată a Xbox 360, unde procesorul și GPU-ul împărtășesc același pool de RAM. Potrivit lui David, arhitectura de memorie a Xbox 360 a fost remarcabil de avansată pentru timpul său, prefigurand tehnicile de gestionare a memoriei standard acum în consolele de jocuri și APU-urile moderne.

După o codificare și optimizare extinsă, David a rulat cu succes llama2 pe Xbox 360, folosind un mesaj simplu: „Sleep Joe said”. În ciuda faptului că modelul llama2 are doar 700 de linii de cod C fără dependențe externe, David a remarcat că poate oferi performanțe „surprinzător” de puternice atunci când este adaptat unui domeniu suficient de îngust.

David a explicat că lucrul în limitele unei platforme limitate precum Xbox 360 te obligă să prioritizezi utilizarea eficientă a memoriei mai presus de orice. Ca răspuns, un alt utilizator X a sugerat că cei 512 MB de memorie de pe vechea consolă Microsoft ar putea fi suficiente pentru a rula alte implementări LLM mici, cum ar fi smolLM, creat de startup-ul AI Hugging Face.

Dezvoltatorul a acceptat cu bucurie provocarea, așa că probabil vom vedea experimente suplimentare LLM pe Xbox 360 în viitorul nu atât de îndepărtat.

Dominic Botezariu
Dominic Botezariuhttps://www.noobz.ro/
Creator de site și redactor-șef.

Cele mai noi știri

Pe același subiect

LĂSAȚI UN MESAJ

Vă rugăm să introduceți comentariul dvs.!
Introduceți aici numele dvs.