Scorurile unui student sunt sincere, dacă nu altceva
Facepalm: Scara endemică a înșelăciunii asistate de AI în rândul studenților din ultimii câțiva ani este bine documentată, dar puține reprezentări vizuale ilustrează problema, precum și o diagramă recentă a unui profesor de la Universitatea Brown. Oricât de îngrijorător este graficul, răspunsul sunet al universității la acesta este potențial și mai îngrijorător.
Când profesorul de economie de la Brown University, Robert Serrano, a bănuit că cei mai mulți dintre studenții săi au folosit AI pentru a înșela la un examen la jumătatea perioadei, el a decis să le compare scorurile cu cele de la o finală în persoană. Rezultatul a fost poate unul dintre cele mai clare exemple de efect al IA generativă asupra mediului academic.
Motivul pentru care Serrano a permis examenele de la jumătatea cursului este atât rezonabil, cât și un semn serios al lumii în care locuiesc în prezent studenții americani: unii studenți nu s-au simțit confortabil să susțină examene la clasă după ce un bărbat înarmat a ucis doi studenți și i-a rănit pe alți nouă la universitate în decembrie anul trecut.
Cu toate acestea, Serrano a observat curând semne că ceva nu era în regulă. Când 86 de studenți s-au înscris la cursul său de economie a bunăstării în acel semestru, față de cei 30 obișnuiți, el a bănuit că mulți l-au susținut pentru că a permis examenele de acasă, oferindu-le posibilitatea de a folosi ChatGPT sau instrumente similare AI.
Suspiciunile profesorului au fost aproape confirmate când scorurile la mijlocul trimestrului au fost în medie de 96%. Aceasta a fost cu mult peste intervalul tipic de 65% până la 80%, în ciuda eforturilor lui Serrano de a face testul mai dificil de luat în considerare pentru timpul nelimitat al studenților.
În timp ce mulți profesori au încercat să contracareze înșelăciunea AI cu instrumente bazate pe AI, Serrano a înțeles că verificarea AI produce adesea false pozitive și negative. Studenții din alte universități și-au dat în judecată școlile după ce au fost acuzați în mod fals că folosesc AI, iar un studiu de anul trecut a indicat că practica pur și simplu îi antrenează pe studenți să scrie împotriva detectorilor AI, de multe ori folosind AI.
În schimb, Serrano a folosit o soluție mai simplă – și-a condus mandatul de mijloc prin ChatGPT. Deloc surprinzător, răspunsurile chatbot-ului semănau foarte mult cu cele trimise de studenții săi, folosind un limbaj și un raționament similar.
Când profesorul a anunțat că examenul final va fi personal, 18 studenți au renunțat la curs, iar alți nouă nu s-au prezentat la examen. Scorurile celorlalți 59 de studenți au fost în medie de 48,6%. Mediile anterioare nu au scăzut niciodată sub 65%. Trei studenți au obținut 0%, iar graficul rezultatelor a arătat că cei mai mulți au căzut cu peste 30 de puncte în urma scorurilor lor la mijlocul perioadei.
Graficul sugerează că probabil doar doi studenți au susținut testele fără inteligență artificială, dintre care unul a fost probabil cel mai bun marcator, cu 95,5% la mijlocul trimestrului și 95% la final. Interesant este că celălalt student care pare nevinovat a obținut doar 55% la jumătatea trimestrului și 59% la finală. Ei au afișat cel mai mic scor la jumătatea perioadei și au fost singurii elevi al căror scor s-a îmbunătățit în finală.
Ulterior, Serrano a renunțat la scorurile la mijlocul trimestrului și a făcut calculul final pentru 80% din nota finală a studenților. În mod normal, ar fi depășit toți cei care au obținut 50% sau mai mult, dar în acest caz, profesorul a coborât pragul la 40%.
Cu toate acestea, Serrano nu a primit niciun răspuns după ce a transmis datele Comitetului Permanent al Codului Academic al Universității Brown. După ce a făcut public incidentul, comisia a cerut plângeri individuale împotriva fiecărui student și copii ale examenelor lor, dar Serrano a bănuit că le-ar rula pur și simplu prin teste de AI.
Experții sugerează că problema va persista atâta timp cât nimeni nu este plătit pentru a asigura integritatea elevilor. În timp ce Universitatea Brown investighează în continuare problema, rămâne neclar dacă cineva va găsi un factor de descurajare mai bun pentru înșelăciunea AI decât testarea analogică și în persoană.
