(Acest articol a fost publicat pentru prima dată pe R / noteși a contribuit cu drag la R-Bloggers). (Puteți raporta problema despre conținutul de pe această pagină aici)
Doriți să vă împărtășiți conținutul pe R-Bloggers? Faceți clic aici dacă aveți un blog sau aici dacă nu.
Din ce în ce mai mulți studenți folosesc codul generat de AI în studiile lor, fără a înțelege neapărat riscurile de securitate pe care le implică acest lucru. Acest lucru are consecințe pentru utilizatori precum elevii care învață cum să codeze în R.
Serviciile AI generative, cum ar fi ChatGPT, folosesc modele de limbaj mare pentru a genera cod computerizat. Aceste modele sunt „instruite” împotriva unui set de date al Cod disponibil public.
Mulți utilizatori de AI generativ nu par pe deplin conștienți de ceea ce ar putea conține „codul disponibil public” și, prin urmare, nu par cu adevărat conștienți, la rândul său, de riscurile de securitate care vin cu executarea codului generat de AI.
Utilizarea serviciilor AI generative într -un mediu de învățare, cum ar fi academia, ridică multe îngrijorări. Securitatea este doar unul dintre ei.
Limbile de programare precum R nu sunt sandboxate. Aceasta înseamnă că aceste limbi pot executa instrucțiuni rău intenționate, cum ar fi „ștergeți fiecare imagine de pe hard diskul acelui laptop”, sau „înlocuiți toate evenimentele„ evreiești ”în acel text cu„ Kike ”.
Sandboxing Execuția codului R este posibilă, dar nu este modul în care r rulează în mod implicit.
La fel cum limbile umane au fost deja „otrăvite” în diverse moduri, o parte din codul computerului care alcătuiesc codul public pe care sunt instruiți modelele de limbaj mare a fost deja „otrăvit” în diferite moduri.
Unul dintre modurile în care s -a întâmplat acest lucru este prin intermediul pachetelor software. Este foarte ușor să grupați codul dăunător sau rău intenționat într -un pachet softwareapoi pentru a -i da un nume care seamănă cu numele unui pachet software legitim.
Executarea codului R care conține un astfel de pachet va reprezenta o amenințare de securitate pentru utilizator, echivalentă cu cea a deschiderii e -mailurilor sau atașamentelor trimise de surse necunoscute. Consecințele pot fi relativ inofensive sau extrem de grave.
Atât codul generat de AI, cât și utilizatorii neatenți pot fi induși în eroare să se refere la aceste pachete software dăunătoare sau rău intenționate în propriul cod. Vulnerabilitatea va fi declanșată atunci când este executat codul.
Acest scenariu nu este o viziune a viitorului. Se întâmplă deja.
Chiar și un utilizator ca mine, care a învățat cum să codeze în R în scopuri de cercetare, poate scrie foarte ușor un pachet software rău intenționat.
Un exemplu de astfel de pachet software ar putea face următoarele:
- Scanați toate fișierele text pe disc pentru informații despre cardul de credit
- Ascundeți informațiile într -o adresă a site -ului
- Deschideți automat un browser web și indicați -l către acea adresă
- Colectați partea serverului de informații despre cardul de credit
- Ștergeți cât mai multe fișiere pe hard disk
Pașii de mai sus pot fi executați fără a observa deloc utilizatorul sau se pot executa parțial sau integral înainte ca utilizatorul să le poată opri să se întâmple.
Confidențialitatea și încălcările de securitate de acest fel sunt foarte ușor de implementat, și au fost implementate în practic toate limbajele de programare.
Desigur, riscul nu se limitează la codul generat de AI. Executarea codului computerului de la orice sursă de încredere poate duce la aceleași probleme.
Utilizatorii R ar trebui să verifice întotdeauna de unde provin pachetele lor.
R Utilizatorii care utilizează codul generat de AI ar trebui să fie și mai atenți și ar trebui să fie, de asemenea, avertizați alți utilizatori că codul lor a fost cel puțin în parte generat de AI.
Este de la sine înțeles că nu am niciodată și nu voi proiecta niciodată tipul de atac descris în această notă.
