Acesta este motivul pentru care transparența în dezvoltarea AI este atât de importantă, spune un expert
WTF?! Cel mai recent model AI al OpenAI, o1, a afișat un comportament neașteptat care a captat atât atenția utilizatorilor, cât și a experților. Conceput pentru sarcini de raționament, modelul a fost observat schimbând limbile la mijlocul gândirii, chiar și atunci când interogarea inițială este prezentată în limba engleză.
Utilizatorii de pe diverse platforme au raportat cazuri în care modelul o1 al OpenAI își începe procesul de raționament în engleză, dar trece în mod neașteptat la chineză, persană sau alte limbi înainte de a oferi răspunsul final în engleză. Acest comportament a fost observat într-o serie de scenarii, de la simple sarcini de numărare la exerciții complexe de rezolvare a problemelor.
Un utilizator Reddit a comentat: „A început să gândească aleatoriu în chineză la jumătatea drumului”, în timp ce un alt utilizator de pe X a întrebat: „De ce a început să gândească aleatoriu în chineză? Nicio parte a conversației (5+ mesaje) nu a fost în chineză”.
De ce o1 pro a început să gândească aleatoriu în chineză? Nicio parte a conversației (5+ mesaje) nu a fost în chineză… foarte interesantă… influența datelor de antrenament pic.twitter.com/yZWCzoaiit
– Rishab Jain (@RishabJainK) 9 ianuarie 2025
Comunitatea AI a fost plină de teorii pentru a explica acest comportament neobișnuit. Deși OpenAI nu a emis încă o declarație oficială, experții au înaintat mai multe ipoteze.
Unii, inclusiv CEO-ul Hugging Face Clément Delangue, speculează că fenomenul ar putea fi legat de datele de antrenament utilizate pentru o1. Ted Xiao, cercetător la Google DeepMind, a sugerat că dependența de serviciile terțe de etichetare a datelor chineze pentru datele de raționament la nivel de experți ar putea fi un factor care contribuie.
„Din motive de disponibilitate a forței de muncă și de costuri experți, mulți dintre acești furnizori de date au sediul în China”, a spus Xiao. Această teorie presupune că influența lingvistică chineză asupra raționamentului ar putea fi rezultatul procesului de etichetare utilizat în timpul pregătirii modelului.
Sau impactul faptului că jucătorii cu sursă închisă folosesc IA cu sursă deschisă (dominată în prezent de jucătorii chinezi) precum seturile de date cu sursă deschisă?
Țările sau companiile care câștigă AI open-source vor avea o putere și o influență masivă asupra viitorului AI. https://t.co/M8ZdYfWxNI
– clem 🤗 (@ClementDelangue) 10 ianuarie 2025
O altă școală de gândire sugerează că o1 ar putea selecta limbile pe care le consideră cele mai eficiente pentru rezolvarea unor probleme specifice. Matthew Guzdial, cercetător în inteligență artificială și profesor asistent la Universitatea din Alberta, a oferit o perspectivă diferită într-un interviu acordat TechCrunch: „Modelul nu știe ce limbă este sau că limbile sunt diferite. Totul este doar un text pentru el.” a explicat el.
Acest punct de vedere implică faptul că schimbările de limbaj ale modelului pot proveni din mecanica sa internă de procesare, mai degrabă decât dintr-o alegere conștientă sau deliberată bazată pe înțelegerea lingvistică.
Apare un nou fenomen: cea mai recentă generație de modele de fond de ten trec adesea la chineză în mijlocul urmelor de gândire dure CoT.
De ce? Laboratoarele AGI precum OpenAI și Anthropic utilizează servicii de etichetare a datelor 3P pentru date de raționament la nivel de doctorat pentru știință, matematică și codare; pentru… https://t.co/VllUIC9V91
– Ted Xiao (@xiao_ted) 9 ianuarie 2025
Tiezhen Wang, inginer software la Hugging Face, sugerează că inconsecvențele de limbaj ar putea proveni din asocierile pe care modelul le-a format în timpul antrenamentului. „Prefer să fac matematică în chineză, deoarece fiecare cifră este doar o silabă, ceea ce face calculele clare și eficiente. Dar când vine vorba de subiecte precum părtinirea inconștientă, trec automat la engleză, în principal pentru că acolo am învățat și am absorbit pentru prima dată acele idei, „, a explicat Wang.
Întotdeauna am simțit că a fi bilingv nu înseamnă doar să vorbești două limbi, ci să Gândești și să mormăi în orice limbă pare mai naturală, în funcție de subiect și context. De exemplu, prefer să fac matematică în chineză pentru că fiecare cifră este doar o silabă, care… https://t.co/yD2YNscWW5
– Tiezhen WANG (@Xianbao_QIAN) 13 ianuarie 2025
În timp ce aceste teorii oferă perspective interesante asupra posibilelor cauze ale comportamentului lui O1, Luca Soldaini, cercetător la Institutul Allen pentru IA, subliniază importanța transparenței în dezvoltarea AI.
„Acest tip de observație asupra unui sistem AI implementat este imposibil de susținut din cauza cât de opace sunt aceste modele. Este unul dintre numeroasele cazuri pentru care transparența în modul în care sunt construite sistemele AI este fundamentală”, a spus Soldaini.
