Internetul rămâne fără date de antrenament
Pe scurt: OpenAI încă lucrează la ChatGPT-5, următoarea generație a modelului multimodal de limbă mare al companiei, dar proiectul se pare că are probleme. Nu numai că ChatGPT-5 este în întârziere după ce nu s-a lansat anul acesta, dar costă și o avere.
În martie a fost raportat că ChatGPT-5, care se presupune că va oferi o mulțime de funcții suplimentare îmbunătățite față de modelul actual GPT-4o, era antrenat de OpenAI și urmează să fie lansat în curând.
Sfârșitul anului este puțin peste o săptămână, dar încă nu se vede versiunea de nouă generație a ChatGPT. Wall Street Journal a aruncat puțină lumină asupra motivului.
GPT-5, cu numele de cod Project Orion, este în dezvoltare de 18 luni la firma lui Sam Altman. Microsoft, cel mai mare investitor al OpenAI, se aștepta ca acesta să fie lansat la jumătatea anului 2024.
Sursele WSJ spun că OpenAI a efectuat deja cel puțin două curse de antrenament menite să îmbunătățească modelul prin antrenamentul cu cantități uriașe de date.
Acele curse de antrenament nu au mers prea bine, conform persoanelor apropiate proiectului. S-a spus că rularea inițială este mai lentă decât se aștepta, ceea ce sugerează că o cursă de antrenament la scară largă ar dura un timp incredibil de lung, mărind costurile și mai mult. S-a ajuns la concluzia că sunt necesare date de instruire mai diverse, de înaltă calitate, deoarece internetul public nu avea suficiente pentru a face GPT-5 considerabil „mai inteligent” decât predecesorul său.
O soluție pe care OpenAI o încearcă este să angajeze oameni care să scrie cod proaspăt sau să rezolve probleme de matematică din care să învețe Orion, creând, în esență, date de antrenament de la zero. Este un proces lent: GPT-4 a fost antrenat pe aproximativ 13 trilioane de jetoane. O mie de oameni care scriu 5.000 de cuvinte pe zi ar dura luni pentru a produce un miliard de jetoane.
OpenAI a început, de asemenea, să dezvolte date sintetice – date create de modelele sale actuale de AI – pentru a antrena Orion. Am auzit anterior avertismente despre felul de gunoi fără sens pe care îl pot crea aceste bucle de feedback AI, deși OpenAI consideră că problemele pot fi evitate prin utilizarea datelor create de o1.
Tulburările interne din cadrul companiei nu au ajutat lucrurile. CEO-ul Altman a fost înlăturat înainte de a reveni rapid la sfârșitul anului 2023, iar peste două duzini de directori cheie au părăsit OpenAI în acest an. Altman a acuzat anterior lansarea lui o1 pentru întârzierea GPT-5.
Miliardele de dolari cheltuite pentru toate lucrurile legate de inteligența artificială continuă să crească mai sus – investiții care încă nu au generat profituri egale. OpenAI știe că trebuie să justifice cheltuielile cu ChatGPT-5, asigurându-se că modelul este o îmbunătățire semnificativă față de ceea ce a apărut înainte, ceva care se dovedește mai dificil pe măsură ce datele de antrenament de pe internet sunt epuizate.
