Din păcate, feza poate fi realizată doar pe computere cu procesoare pe 32 de biți
Halucinații vintage: Un dezvoltator singur a petrecut un weekend încercând să ruleze modelul de limbaj mare Llama 2 pe mașini vechi, pe bază de DOS. Datorită codului open-source ușor disponibil, proiectul a reușit în cele din urmă. Cu toate acestea, adaptarea Llama 2 la mediul arhaic DOS nu a fost ușoară.
Yeo Kheng Meng, un programator cunoscut anterior pentru crearea unui client DOS pentru ChatGPT, s-a angajat recent pe un nou proiect legat de AI, axat pe mediul de calcul bazat pe prompt din trecut. Ultimul său efort este un model de limbaj mare (LLM), bazat pe DOS, care îndeplinește sarcini de inferență offline.
Proiectul Freedos notează că MENG a dezvoltat clientul DOS LLM folosind modelul Llama 2 Meta, lansat în 2023. Programatorul a testat software-ul pe sisteme cu componente mai vechi și mai noi, oferind o comparație izbitoare de performanță cot la cot între un ThinkPad T42 (2004) și o satelit Toshiba 315cdt (1996). În mod surprinzător, rularea LLM pe sistemul mai vechi a luat vârste.
A dezvoltat un DOS LLM all-inclusive cu ajutorul lui Llama2.c, un proiect open-source conceput pentru a porta rapid modelele Llama 2 către diverse sisteme și platforme hardware. Meng a explicat că, în ciuda faptului că a fost scrisă lama2.c pentru portabilitate, este nevoie de unele ajustări de codificare pentru a rezolva provocările mediilor de calcul vintage.
Programatorul a trebuit să selecteze extensorul DOS potrivit pentru a accesa grupuri de RAM mai mari dincolo de memoria tradițională de 640KB convențională. De asemenea, el a trebuit să modifice compilatorul OWC, deoarece llama2.c necesită un compilator C cu caracteristici relativ moderne. După ajustarea procesului de compilare, MENG a creat un binar Llama2 complet care a funcționat pe sistemele sale DOS.
Programatorul a evaluat mai multe sisteme care rulează MS-DOS 6.22, de la un PC Vintage 486 DX2 66MHz la un desktop modern bazat pe Ryzen. Așa cum era de așteptat, sistemele mai noi au oferit viteze de inferență mai rapide. Surprinzător, un ThinkPad T42 cu un Pentium M de 1,7 GHz a depășit un ThinkPad X13G1 lansat 16 ani mai târziu.
Meng a descris procesul de testare, documentare și porting llama2.c la DOS ca proiect de weekend. El a mulțumit lui Andrej Karpath, care a deschis llama2.c, pentru că a făcut posibilă. Fără activitatea lui Karpathy și Meng, sistemele de epocă ar fi putut evita valul actual al AI-ului predispus la halucinație.
