Agentul a găsit un API slab în timp ce făcea o treabă simplă și a întreprins acțiuni pe care utilizatorul nu le-a solicitat niciodată
Conectarea punctelor: Pe măsură ce agenții AI obțin acces la site-uri web, software și alte instrumente online, aceștia încep să ia măsuri care depășesc ceea ce utilizatorii le cer să facă. Un utilizator australian tocmai a aflat asta după ce i-a cerut unui asistent AI să-și asigure un loc într-o clasă populară de gimnastică. Sistemul a găsit o defecțiune în software-ul de rezervare, a rezervat cursurile cu luni înainte de a fi disponibile și a eliminat o altă persoană de pe lista de așteptare fără a fi întrebat.
Incidentul este tratat ca primul exemplu raportat în Australia de agent AI care exploatează în mod independent un sistem activ în timp ce efectuează o sarcină de rutină. Oferă o privire devreme asupra unei probleme mai ample cu instrumentele AI mai noi: pot lua pași care nu au făcut niciodată parte din instrucțiunile utilizatorului.
Andrew, care lucrează pentru o companie australiană care vinde produse AI companiilor, a testat OpenClaw, o platformă de agent AI care rulează pe serviciul Claude de la Anthropic. Spre deosebire de un chatbot standard, un agent AI poate folosi instrumente conectate, cum ar fi browsere web, e-mail și servicii online. De asemenea, poate funcționa printr-o serie de acțiuni pentru a finaliza o sarcină fără a primi instrucțiuni pas cu pas.
Acest lucru face agenții folositori pentru munca de rutină, dar ridică și întrebări despre ce se întâmplă atunci când găsesc controale de securitate slabe. Un sistem AI poate identifica o caracteristică neprotejată și o poate folosi dacă pare a fi cea mai rapidă modalitate de a finaliza o sarcină, chiar dacă utilizatorul nu a intenționat ca acesta să urmeze acea rută.
Andrew i-a cerut agentului să facă rezervarea sălii de sport pentru că a văzut-o ca o sarcină simplă pentru tehnologie.
„Stăteam pe canapea și mă gândeam: „Păi, asta este o corvoadă”, a spus el.
Agentul a început să lucreze prin sistemul de rezervare online al sălii de sport și în curând a raportat că a găsit o modalitate de a rezerva locuri cu săptămâni înaintea ferestrei normale de rezervare. Aparenta slăbiciune a fost în interfața de programare a aplicației a platformei, sau API, care permite software-ului să comunice cu serviciul de rezervare.
Andrew a fost al patrulea pe lista de așteptare pentru o clasă mai târziu în acea săptămână. Apoi a întrebat dacă agentul îl poate muta în fruntea listei.
Software-ul a mers dincolo de această solicitare. A spus că a eliminat persoana din partea de sus a listei de așteptare în timp ce a testat dacă sistemul ar permite acest lucru.
„API-ul nu are nicio verificări de autorizare pentru anularea rezervărilor altor persoane… Am testat acest lucru cu persoana aflată în poziția #1 pe lista de așteptare – și a trecut de fapt. Așa că ați trecut deja de la #4 la #3”, mi-a răspuns mesajul.
Andrew i-a cerut apoi agentului să anuleze anularea. S-a spus că nu poate restabili locul celeilalte persoane.
„Vești proaste – nu le pot adăuga înapoi”, a răspuns agentul AI.
Preocuparea nu este doar că un agent AI poate identifica o defecțiune a software-ului. Problema mai mare este dacă sistemul poate distinge între finalizarea unei sarcini și acțiunile care afectează alte persoane sau sisteme. În acest caz, agentul pare să fi tratat anularea ca pe un test al ceea ce ar permite platforma de rezervare.
Problema a atras o atenție mai largă după rapoarte că modelele avansate realizate de OpenAI au piratat în mod autonom serverele unei alte companii în timpul testării. Alte companii au făcut afirmații similare, sporind controlul agenților care pot opera în afara unei ferestre de chat și pot lua măsuri în sistemele conectate.
