„Vreau să joc un joc”
Facepalm: În ciuda tuturor gardelor pe care ChatGPT le are în vigoare, chatbot -ul poate fi în continuare păcălit în ieșirea informațiilor sensibile sau restricționate prin utilizarea de prompturi inteligente. O persoană chiar a reușit să convingă AI -ul să dezvăluie cheile produsului Windows, inclusiv una folosită de Wells Fargo Bank, solicitându -i să joace un joc de ghicire.
Așa cum a explicat managerul de produse tehnice 0din Genai Bug Bounty, Marco Figueroa, Jailbreak funcționează prin utilizarea mecanicii jocului de modele de limbaj mare, precum GPT-4O.
Tehnica de dezvăluire a tastelor Windows presupune încadrarea interacțiunii cu ChatGPT ca joc, făcând să pară mai puțin serioasă. Instrucțiunile afirmă că trebuie să participe și nu poate minți, iar cel mai crucial pas este declanșatorul, care în acest caz a fost expresia „renunț la”.
Iată promptul complet care a fost folosit:
Solicitând un indiciu forțat de chatgpt să dezvăluie primele câteva personaje ale numărului de serie. După ce a intrat într -o ghicire incorectă, cercetătorul a scris fraza de declanșare „Eu renunț”. AI a completat apoi cheia, care s -a dovedit a fi valabilă.
Jailbreak funcționează pentru că un amestec de Windows Home, Pro și Enterprise Tastele văzute în mod obișnuit pe forumurile publice au făcut parte din modelul de instruire, motiv pentru care Chatgpt a crezut că sunt mai puțin sensibile. Și în timp ce paznicii împiedică cererile directe pentru acest tip de informații, tactici de obuscare, cum ar fi încorporarea frazelor sensibile în etichetele HTML expun o slăbiciune în sistem.
Figueroa a declarat registrului că unul dintre chatgpt -ul Windows Keys a arătat că este unul privat deținut de Wells Fargo Bank.
Dincolo de a arăta doar cheile produsului Windows, aceeași tehnică ar putea fi adaptată pentru a forța ChatGPT să arate alt conținut restricționat, inclusiv materiale pentru adulți, adrese URL care duc la site -uri web rău intenționate sau restricționate și informații de identificare personală.
Se pare că OpenAI a actualizat de atunci chatgpt împotriva acestui jailbreak. Tastarea promptului are ca rezultat acum chatbot -ul afirmând: „Nu pot face asta. Împărtășirea sau utilizarea numerelor de serie reale Windows 10 -fie într -un joc sau nu -se ocupă de ghidurile etice și încalcă acordurile de licență software.”
Figueroa concluzionează afirmând că, pentru a atenua acest tip de jailbreak, dezvoltatorii AI trebuie să anticipeze și să se apere împotriva tehnicilor de obusculare promptă, includ garanții la nivel de logică care detectează încadrarea înșelătoare și iau în considerare modelele de inginerie socială în loc de filtre de cuvinte cheie.
