Un om de știință de date sociale examinează de ce mai puțini oameni – și mai mulți roboți – răspund la sondaje
Imaginea de ansamblu: Lauren Leek susține că sondajele nu sunt învechite, dar ea avertizează că se confruntă cu provocări serioase, deoarece participarea scade și agenții AI umplu din ce în ce mai mult golul. În ciuda acestor obstacole, Leek observă că companiile de sondaj și cercetătorii de top și cercetătorii dezvoltă deja soluții inventive pentru a aborda problemele. „Dacă dorim sondaje care să supraviețuiască amenințărilor identificate ale gemenilor, trebuie să depunem eforturi în mod colectiv în creșterea calității datelor”, spune ea.
Sondajele, odată fundamentul sondajului politic, cercetarea de piață și politica publică, se confruntă cu o criză liniștită, dar profundă. Potrivit omului de știință al datelor sociale, Lauren Leek, situația este determinată de două tendințe întrețesute: o scădere accentuată a ratelor de răspuns uman și un aflux din ce în ce mai mare de agenți de inteligență artificială care completează sondaje în loc de oameni reali.
În mod clar, a existat o scădere dramatică a participării la sondaj în ultimele decenii. În anii ’70 -’80, ratele de răspuns au variat între 30 și 50 la sută. Astăzi, acestea pot fi de până la 5 %.
Cu toate acestea, scăderea implicării umane este doar jumătate din problemă. Pietrea ilustrează cât de accesibilă automatizarea sondajului a devenit prin construirea unei conducte simple Python care a permis propriul agent AI să completeze sondaje în numele ei.
Ea explică că procesul necesită acces doar la un model de limbă puternic – a folosit API -ul OpenAI – un analizor de sondaj de bază (cum ar fi un fișier .txt sau un fișier JSON de la Qualtrics sau Tipoform) și un generator de persona care se rotește între diferite tipuri de respondent precum „Urban Lefty”, „Centristul rural” sau „Climul pesimist”.
Partea cea mai consumatoare de timp, notează ea, face ca agentul să interacționeze cu interfața de sondaj. „Asta e. Cu un efort mai mare, acest lucru ar putea să se extindă până la zeci sau sute de bots. Codificarea vibrației de la zero ar funcționa perfect”, adaugă Leek. Deși prazul nu și -a implementat agentul pe o platformă reală, ea spune că alții au.
Efectele din aval ale acestor tendințe sunt semnificative. În politică, Leek explică faptul că multe sondaje se bazează pe ponderarea statistică pentru a corecta grupurile subreprezentate. Dar, pe măsură ce ratele de răspuns scad și răspunsurile generate de AI cresc, „ipotezele de bază din spatele acestor corecții se prăbușesc”.
Agenții sintetici tind să imite opiniile mainstream găsite pe surse de internet cu trafic ridicat, ceea ce înseamnă modele „suprasolicitați marginile mijlocii și întreprinse”. Acest lucru duce la predicții stabile, dar sistematice părtinitoare, lipsind perspectivele grupurilor minoritare.
Cercetarea de piață se confruntă cu o dilemă similară. Răspunsurile generate de AI sunt fluente și consistente, dar nu au imprevizibilitatea comportamentului uman real. „Consumatorii sintetici nu vor ura niciodată un produs în mod irațional, nu vor înțelege greșit interfața de utilizator sau nu vor interpreta greșit brandingul dvs.”, observă Leek. Rezultatul este produsele concepute pentru un utilizator ipotetic mediu, adesea nereușind să răspundă nevoilor segmentelor de piață reale, în special a celor care sunt subestimate sau dificil de modelat.
Politica publică este, de asemenea, în pericol. Guvernele depind de sondajele pentru alocarea resurselor și a serviciilor de planificare. Dacă răspunsurile generate de AI domină, populațiile vulnerabile pot deveni „invizibile statistic”, ceea ce duce la suportul serviciilor unde sunt cele mai necesare.
Mai rău, leek avertizează cu privire la buclele de feedback: „ca agenții„ validează ”cererea pe baza datelor poluate, eșantionarea lor viitoare și direcționarea resurselor devin din ce în ce mai înclinate”.
Abordând aceste provocări, prazul oferă soluții practice, dacă parțiale. În primul rând, ea susține că sondajele trebuie reproiectate pentru a fi mai antrenante. „Trebuie să trecem pe lângă sondaje pline de rețea și să începem să proiectăm experiențe pe care oamenii doresc să le finalizeze. Asta înseamnă că mobilele pentru primul mobile, perioade mai scurte și poate chiar un pic de povestiri.”
În al doilea rând, prazul discută setul de instrumente în creștere pentru detectarea răspunsurilor generate de AI. Metodele includ analizarea entropiei de răspuns, a modelelor de stil de scriere și a metadatelor, cum ar fi momentul de apăsare a tastei. Ea recomandă integrarea acestor instrumente mai pe scară largă și introducerea elementelor pe care numai oamenii le pot completa, cum ar fi necesitatea colectării de premii în persoană.
Cu toate acestea, ea avertizează: „Acești roboți pot fi proiectați cu ușurință pentru a găsi modalități în jurul celei mai frecvente tactici de detectare, cum ar fi CAPTCHAS, răspunsuri cronometrate și cod poștal și recunoașterea IP. Credeți -mă, cu mult mai puțin cod decât este necesar pentru a face acest lucru”.
În al treilea rând, prazul solicită stimulente mai inteligente și mai dinamice pentru a atrage participanți reali, în special din grupuri subreprezentate. „Dacă oferiți doar 50 de cenți pentru 10 minute de efort mental, nu vă mirați când piscina dvs. respondentă este formată din agenți AI și lucrători de concert lipsiți de somn”, notează ea.
În cele din urmă, prazul solicită o regândire mai largă a modului în care organizațiile adună informații despre oameni. Susține ea, sondajele nu sunt singurul instrument disponibil. Urmele digitale, datele comportamentale și înregistrările administrative pot oferi o înțelegere mai bogată, dacă este mai dezordonată. „Gândiți -vă la asta ca trecând de la o singură imagine la o imagine mai completă, amestecată. Da, este mai dezordonat – dar este și mai real”, spune ea.
