Arhitectura revoluționară BitNet este cheia pentru IA prietenoasă cu CPU
Pe scurt: Un grup de cercetători în inteligența artificială a demonstrat rularea unui model de limbaj AI puternic pe o mașină Windows 98. Și nu vorbim despre orice computer vechi, ci despre un sistem Pentium II vintage cu doar 128 MB de RAM. Echipa din spatele experimentului este EXO Labs, o organizație formată din cercetători și ingineri de la Universitatea Oxford.
Într-un videoclip distribuit pe X, EXO Labs a declanșat un sistem prăfuit Elonex Pentium II 350MHz care rulează Windows 98. În loc să joace Minesweeper sau să navigheze cu Netscape Navigator, PC-ul a fost pus în treabă cu ceva mult mai solicitant: rularea unui model AI.
Acest model a fost bazat pe codul Llama2.c al lui Andrej Karpathy. Împotriva tuturor probabilităților, computerul a reușit să genereze o poveste coerentă la comandă. A făcut-o și la o viteză decentă, ceea ce este de obicei dificil cu modelele AI care rulează local.
Ritmul este deja o provocare destul de mare, dar un alt obstacol pe care echipa a trebuit să-l depășească a fost obținerea de cod modern pentru compilare și rulare pe un sistem de operare din 1998.
În cele din urmă, au reușit să susțină o performanță de 39,31 de jetoane pe secundă, rulând un LLM bazat pe Llama cu 260.000 de parametri. Cu toate acestea, mărirea dimensiunii modelului a redus semnificativ performanța. De exemplu, modelul Llama 3.2 cu parametrii de 1 miliard abia gestiona 0,0093 de jetoane pe secundă pe hardware-ul vintage.
În ceea ce privește motivul pentru care echipa se străduiește atât de mult să ruleze modele AI care necesită de obicei hardware de server puternic pe astfel de mașini vechi, scopul este de a dezvolta modele AI care să poată rula chiar și pe cele mai modeste dispozitive. Misiunea EXO Labs este de a „democratiza accesul la AI” și de a împiedica câțiva giganți ai tehnologiei să monopolizeze această tehnologie care schimbă jocul.
35,9 tok/sec pe Windows 98 🤯
Acesta este un LLM de 260.000 cu arhitectură Llama.
Am încercat și modele mai mari. Rezultate în postarea de pe blog. https://t.co/QsViEQLqS9 pic.twitter.com/lRpIjERtSr
– Alex Cheema – e/acc (@alexocheema) 28 decembrie 2024
Pentru aceasta, compania dezvoltă ceea ce numește „BitNet” – o arhitectură de transformator care utilizează greutăți ternare pentru a reduce drastic dimensiunea modelului. Cu această arhitectură, un model cu 7 miliarde de parametri are nevoie de doar 1,38 GB de stocare, ceea ce face posibilă rularea pe majoritatea hardware-ului bugetar.
BitNet este, de asemenea, proiectat să fie mai întâi pe CPU, evitând nevoia de GPU-uri scumpe. Mai impresionant, arhitectura poate folosi un model uimitor de 100 de miliarde de parametri pe un singur CPU, menținând în același timp vitezele de citire umane la 5-7 jetoane pe secundă.
Dacă doriți să vă alăturați revoluției modelelor administrate la nivel local, EXO Labs caută activ colaboratori. Doar consultați postarea completă pe blog pentru a vă face o idee mai bună despre misiune.
