Idiotia artificială continuă să îmbunătățească lucrurile … pentru cibernetici
AI mai întâi, securitate mai târziu: Pe măsură ce instrumentele Genai se îndreaptă în aplicațiile și fluxurile de lucru, se dezvoltă îngrijorări serioase cu privire la siguranța lor din lumea reală. Departe de a stimula productivitatea, aceste sisteme sunt din ce în ce mai mult exploatate-beneficiind ciberneticii și directorii de reducere a costurilor mult mai mult decât utilizatorii finali. Cercetătorii din această săptămână au descoperit modul în care modelul Gemini al Google utilizat în Gmail poate fi subvertit într -un mod incredibil de simplu, facilitând campaniile de phishing mai ușoare ca niciodată.
Mozilla a dezvăluit recent un nou atac de injecție prompt împotriva Google Gemini pentru spațiul de lucru, care poate fi abuzat pentru a transforma rezumatele AI în mesajele Gmail într -o operațiune eficientă de phishing. Cercetătorul Marco Figueroa a descris atacul asupra 0din, programul de recompensare a erorilor Mozilla pentru servicii AI generative.
Vă recomandăm cu tărie să citiți raportul complet dacă credeți că tehnologia Genai este pregătită pentru implementarea în producție sau produse live, orientate către clienți.
La fel ca multe alte servicii alimentate de Gemeni, funcția de rezumare AI a fost recent forțată pentru utilizatorii Gmail ca o nouă îmbunătățire a fluxului de lucru presupus. Opțiunea „Rezumați acest e -mail” este menită să ofere o imagine de ansamblu rapidă a mesajelor selectate – deși comportamentul său depinde foarte mult de capriciile lui Gemeni. Introduceți inițial ca o caracteristică opțională, instrumentul sumar este acum copt în aplicația Gmail Mobile și funcționează fără intervenția utilizatorului.
Atacul de injecție prompt nou dezvăluit exploatează natura autonomă a acestor rezumate-și faptul că Gemeni va urma „cu fidelitate” orice instrucțiuni ascunse bazate pe prompt. Atacatorii pot utiliza HTML și CSS simple pentru a ascunde solicitări rău intenționate în corpurile de e -mail, setându -le la zero dimensiunea fontului și culoarea textului alb, ceea ce le face esențial invizibile utilizatorilor. Acest lucru este oarecum similar cu o poveste pe care am raportat -o în această săptămână, despre cercetătorii care ascund prompturi în lucrările academice pentru a manipula recenziile de la egal la egal.
Folosind această metodă, cercetătorii au elaborat un avertisment aparent legitim despre un cont Gmail compromis, îndemnând utilizatorul să apeleze la un număr de telefon și să furnizeze un cod de referință.
Conform analizei 0din, acest tip de atac este considerat risc „moderat”, deoarece necesită în continuare interacțiunea activă a utilizatorului. Cu toate acestea, o campanie de phishing de succes ar putea duce la consecințe grave prin recoltarea acredităților prin-phishing-voce.
Și mai mult, aceeași tehnică poate fi aplicată pentru a exploata AI -ul Gemini în documente, diapozitive și căutare de conducere. Buletinele de informare, e-mailurile automatizate de ticketing și alte mesaje distribuite în masă ar putea transforma un singur cont SaaS compromis în mii de balize de phishing, avertizează cercetătorii.
Figueroa a descris injecțiile prompte drept „noua macro-e-mail”, menționând că încrederea percepută a rezumatelor generate de AI nu face decât să amenință nu face decât să amenințe.
Ca răspuns la dezvăluire, Google a spus că în prezent implementează o abordare de securitate cu mai multe straturi pentru a aborda acest tip de injecție promptă în infrastructura Gemini.
