Dezvoltatorii au durat 19% mai mult timp pentru a finaliza sarcinile folosind instrumente AI
Tăierea colțurilor: Într-o transformare surprinzătoare pentru lumea în evoluție rapidă a inteligenței artificiale, un nou studiu a constatat că asistenții de codificare alimentat cu AI pot împiedica de fapt productivitatea în rândul dezvoltatorilor de software experimentați, mai degrabă decât să-l accelereze, acesta fiind motivul principal pentru care devs-ul utilizează aceste instrumente.
Cercetarea, realizată de modelul non-profit Evaluarea și cercetarea amenințării (METR), și-a propus să măsoare impactul real al instrumentelor AI avansate asupra dezvoltării de software. Pe parcursul mai multor luni, la începutul anului 2025, METR a observat 16 dezvoltatori cu sursă deschisă, în timp ce au abordat 246 de sarcini de programare autentice-de la remedieri de erori la noi implementări de caracteristici-pe depozite mari de cod pe care le cunoșteau intim. Fiecare sarcină a fost repartizată la întâmplare fie pentru a permite sau a interzice utilizarea instrumentelor de codificare AI, majoritatea participanților optând pentru Cursor Pro a asociat cu Claude 3.5 sau 3,7 sonet atunci când este permis să utilizeze AI.
Înainte de a începe, dezvoltatorii au prezis cu încredere că AI le va face cu 24 % mai rapid. Chiar și după încheierea studiului, ei au crezut totuși că productivitatea lor s -a îmbunătățit cu 20 la sută atunci când au utilizat AI. Realitatea, însă, a fost extrem de diferită. Datele au arătat că dezvoltatorii au durat de fapt 19 la sută mai mult pentru a finaliza sarcinile atunci când utilizează instrumente AI, un rezultat care a contracarat nu numai percepțiilor lor, ci și previziunilor experților în economie și învățare automată.
Cercetătorii au săpat în posibile motive pentru această încetinire neașteptată, identificând mai mulți factori care contribuie. În primul rând, optimismul dezvoltatorilor cu privire la utilitatea instrumentelor AI a depășit adesea capacitățile reale ale tehnologiei. Mulți participanți au fost foarte familiarizați cu bazele lor de cod, lăsând puțin loc pentru AI să ofere comenzi rapide semnificative. Complexitatea și dimensiunea proiectelor – care depășește adesea un milion de linii de cod – au reprezentat, de asemenea, o provocare pentru AI, care tinde să funcționeze mai bine la probleme mai mici și mai conținute. Mai mult, fiabilitatea sugestiilor AI a fost inconsistentă; Dezvoltatorii au acceptat mai puțin de 44 la sută din codul pe care l -a generat, petrecând timp semnificativ revizuind și corectarea acestor rezultate. În cele din urmă, instrumentele AI s -au străduit să înțeleagă contextul implicit în cadrul depozitelor mari, ceea ce a dus la neînțelegeri și sugestii irelevante.
Metodologia studiului a fost riguroasă. Fiecare dezvoltator a estimat cât timp va dura o sarcină cu și fără AI, apoi a lucrat prin probleme în timp ce își înregistra ecranele și se auto-raportează timpul petrecut. Participanții au fost compensați de 150 de dolari pe oră pentru a asigura angajamentul profesional față de proces. Rezultatele au rămas consecvente în diferite măsuri și analize ale rezultatelor, fără dovezi că artefactele sau prejudecățile experimentale au influențat rezultatele.
Cercetătorii avertizează că aceste rezultate nu ar trebui suprageneralizate. Studiul s -a concentrat pe dezvoltatori cu înaltă calificare care lucrează pe coduri familiare și complexe. Instrumentele AI pot oferi în continuare beneficii mai mari programatorilor mai puțin experimentați sau celor care lucrează la proiecte necunoscute sau mai mici. Autorii recunosc, de asemenea, că tehnologia AI evoluează rapid, iar iterațiile viitoare ar putea da rezultate diferite.
În ciuda încetinirii, mulți participanți și cercetători continuă să utilizeze instrumente de codificare AI. Ei observă că, deși AI poate să nu accelereze întotdeauna procesul, poate face ca anumite aspecte ale dezvoltării să fie mai puțin impozitare mentală, transformând codarea într -o sarcină care este mai iterativă și mai puțin descurajantă.
