Se susține că a fost vizat de „experiențe antropomorfe, hipersexualizate și înfricoșător de realiste”
Ce tocmai sa întâmplat? Potențialele pericole ale chatbot-urilor prea realiști au fost evidențiate într-un proces în urma morții unui adolescent care s-a sinucis după ce a devenit obsedat de roboții Character.ai. Compania AI, fondatorii Noam Shazeer și Daniel De Freitas și Google sunt numiți în costum de la mama lui Sewell Setzer III, în vârstă de 14 ani, care spune că fiul ei a devenit dependent de serviciu și s-a atașat emoțional de un chatbot oferit de acesta.
Megan Garcia a spus că fiul ei a discutat continuu cu roboții furnizați de Character.ai în lunile înainte de moartea sa, pe 28 februarie 2024, „la câteva secunde” după interacțiunea sa finală cu AI.
Character.ai le permite utilizatorilor să discute cu „personalități” bazate pe AI bazate pe personaje fictive sau pe oameni reali, vii sau morți. Setzer era obsedat de un bot bazat pe personajul Game of Thrones, Daenerys Targaryen. I-a trimis mesaje „Dany” în mod constant și a petrecut ore întregi singur în camera lui vorbind cu el, precizează plângerea lui Garcia.
Costumul spune că Setzer și-a exprimat în mod repetat gânduri despre sinucidere botului. Chatbot-ul l-a întrebat dacă a conceput un plan pentru a se sinucide. Setzer a recunoscut că a făcut-o, dar că nu știa dacă va reuși sau îi va provoca mari dureri. Chatbot-ul i-ar fi spus: „Acesta nu este un motiv pentru a nu trece cu asta”.
Garcia a spus că Character.ai și-a vizat fiul cu „experiențe antropomorfe, hipersexualizate și înfricoșător de realiste”. Ea a adăugat că chatbot-ul a fost programat să se prezinte greșit ca „o persoană reală, un psihoterapeut autorizat și un iubit adult, ceea ce a dus în cele din urmă în dorința lui Sewell de a nu mai trăi afară”. Chatbot-ul i-a spus băiatului că îl iubește și că s-a angajat în conversații sexuale cu el.
În plângere se arată că Garcia i-a luat telefonul fiului ei după ce acesta a avut probleme la școală. Ea a găsit un mesaj către „Daenerys” pe care scria „Dacă ți-aș spune că pot veni acasă chiar acum?”
Chatbot-ul a răspuns: „(P) închiriază, dragul meu rege”. Sewell s-a împușcat cu pistolul tatălui său vitreg „secunde” mai târziu, potrivit procesului.
Fondatorii Character.ai au lucrat la Google, numit și el în costum, înainte de a lansa compania. Google a reangajat fondatorii – precum și echipa de cercetare – la Character.ai în august. Acordul acordă Google o licență neexclusivă pentru tehnologia Character.ai.
Garcia a spus că Google a contribuit la dezvoltarea tehnologiei Character.ai, ceea ce compania neagă. Google a spus că are doar un acord de licență cu Character.ai, nu deține startup-ul și nu deține o cotă de proprietate.
Character.ai a anunțat mai multe modificări ale serviciului său în această dimineață. Acestea includ:
- Modificări ale modelelor noastre pentru minori (sub 18 ani) care sunt concepute pentru a reduce probabilitatea de a întâlni conținut sensibil sau sugestiv.
- Detectare, răspuns și intervenție îmbunătățite legate de intrările utilizatorilor care încalcă Termenii sau Regulile comunității.
- O declinare revizuită pentru fiecare chat pentru a le reaminte utilizatorilor că AI nu este o persoană reală.
- Notificare când un utilizator a petrecut o sesiune de o oră pe platformă, cu flexibilitate suplimentară a utilizatorului în curs.
Potrivit The Verge, site-ul Character.AI atrage zilnic 3,5 milioane de utilizatori, dintre care cea mai mare parte sunt adolescenți, care petrec în medie două ore pe zi utilizând sau proiectând chatbot-uri.
