Contrar revendicărilor GitHub Copilot
Pe scurt: Dezvoltatorii trebuiau să fie printre cei mai mari beneficiari ai hype-ului generativ de AI, deoarece instrumentele speciale făceau elaborarea codului mai rapidă și mai ușoară. Dar, potrivit unui studiu recent de la Uplevel, o firmă care analizează valorile de codificare, câștigurile de productivitate nu se materializează – cel puțin nu încă.
Studiul a urmărit aproximativ 800 de dezvoltatori, comparând rezultatele lor cu și fără asistentul de codare Copilot de la GitHub pe perioade de trei luni. În mod surprinzător, la măsurarea unor valori cheie, cum ar fi timpul ciclului de solicitare de extragere și debitul, Uplevel nu a găsit îmbunătățiri semnificative pentru cei care folosesc Copilot.
Matt Hoffman, un analist de date la Uplevel, a explicat publicației CIO că echipa lor a crezut inițial că dezvoltatorii vor putea scrie mai mult cod și că rata defectelor ar putea scădea, deoarece dezvoltatorii foloseau instrumente AI pentru a ajuta la revizuirea codului înainte de a-l trimite. Dar descoperirile lor au sfidat aceste așteptări.
De fapt, studiul a constatat că dezvoltatorii care folosesc Copilot au introdus cu 41% mai multe erori în codul lor, potrivit CIO. De asemenea, Uplevel nu a văzut nicio dovadă că asistentul AI a ajutat la prevenirea epuizării dezvoltatorilor.
Dezvăluirile contrar afirmațiile producătorilor Copilot de la GitHub și alți susținători ai instrumentelor de codare vocală AI cu privire la creșterea masivă a productivității. Un studiu sponsorizat de GitHub susținea anterior că dezvoltatorii au scris codul cu 55% mai rapid cu ajutorul Copilot.
Dezvoltatorii ar putea vedea într-adevăr rezultate pozitive, având în vedere că un raport din primele zile ale Copilot a arătat că aproape 30% din noul cod implică asistență AI – un număr care probabil a crescut. Cu toate acestea, o altă posibilitate din spatele creșterii utilizării este că programatorii dezvoltă o dependență și devin leneși.
Pe teren, experiența cu asistenții de codare AI a fost amestecată până acum. La firma de software personalizat Gehtsoft SUA, CEO-ul Ivan Gekht a spus CIO că a găsit codul generat de AI dificil de înțeles și de depanat, făcându-l mai eficient să rescrie pur și simplu de la zero uneori.
Un studiu de anul trecut în care ChatGPT a greșit peste jumătate din întrebările de programare adresate pare să susțină observațiile sale, deși chatbot-ul sa îmbunătățit considerabil de atunci cu mai multe actualizări.
Gekht a adăugat că dezvoltarea de software este „90% funcție a creierului – înțelegerea cerințelor, proiectarea sistemului și luarea în considerare a limitărilor și restricțiilor”, în timp ce transformarea tuturor acestora în cod este partea mai simplă a sarcinii.
Cu toate acestea, la furnizorul de cloud Innovative Solutions, CTO Travis Rehl a raportat rezultate excelente, productivitatea dezvoltatorilor crescând de până la trei ori datorită instrumentelor precum Claude Dev și Copilot.
Conturile aflate în conflict evidențiază faptul că probabil că suntem încă în primele zile pentru asistenții de codare AI. Dar cu instrumentele care avansează rapid, cine știe unde se îndreaptă pe linie?
