Când AdTech își denaturează propriile teste A/B

Preambul: Am avut o pauză de aproximativ 8 ani de la blogging și m-am concentrat pe copii, plus sarcinile conexe. Anul acesta, voi încerca să încep din nou.
Scopul meu este să scriu despre cercetările (legate de publicitate) și despre modul în care practicienii pot aplica informațiile.

Lucrarea de astăzi este din „International Journal of Research in Marketing” și descrie cât de mari companiile de tehnologie publicitară (Google / Meta) comunică greșit metodele lor și pot umfla rezultatele testelor A/B de publicitate.

Recomandări pentru practicienii în publicitate?

1. Tratați cu scepticism „testele A/B” ale platformei: Când Google sau Meta spun că vor efectua un test A/B, presupuneți că este o analiză observațională, cu excepția cazului în care confirmă în mod specific randomizarea corespunzătoare. Nu vă bazați pe aceste rezultate pentru decizii cu mize mari.

2. Înțelegeți limitările: Analiza observațională poate fi totuși valoroasă, dar trebuie să înțelegeți limitele acesteia. Poate arăta corelații, nu cauzalitate. Folosiți-l pentru perspective, nu pentru concluzii definitive.

3. Împingeți pentru opțiuni mai bune: Dacă sunteți un agent de publicitate mare, solicitați reprezentanților platformei dvs. pentru opțiuni de testare cu adevărat experimentale. Tehnologia există – pur și simplu nu este oferită.

4. Luați în considerare soluțiile de la terți: Pentru testarea A/B validă, poate fi necesar să utilizați instrumente terțe sau să vă construiți propria infrastructură de testare în afara instrumentelor încorporate ale platformei.

Versiune lungă:

Am întâlnit recent o lucrare a lui Bögershausen, Oertzen și Bock (2025) intitulată „Despre caracterizarea greșită persistentă a testelor A/B Google și Facebook”, care expune ceva important despre modul în care platformele de publicitate majore își reprezintă instrumentele de testare. Lucrarea dezvăluie că Google și Meta au denaturat în mod sistematic natura capacităților lor de testare A/B pentru cercetători și agenți de publicitate.

Iată problema principală: Google și Meta își prezintă instrumentele de testare A/B ca efectuând experimente curate, controlate aleatoriu. Acestea poziționează aceste modele experimentale adecvate, în care utilizatorii sunt repartizați aleatoriu la diferite variante de anunțuri, permițând agenților de publicitate să compare performanța într-un mod valid din punct de vedere științific. Dar realitatea este cu totul alta.

Autorii au analizat ce fac aceste platforme de fapt și au descoperit că „testele A/B” lor nu sunt deloc experimente adevărate. În loc de alocare aleatorie, aceste instrumente folosesc de obicei abordări observaționale non-ex care nu stabilesc grupuri de control adecvate. Utilizatorii nu sunt alocați aleatoriu condițiilor de tratament – li se afișează doar reclame diferite în funcție de ceea ce ținește algoritmul platformei.

Acest lucru contează deoarece testarea A/B adevărată necesită randomizare pentru a stabili inferența cauzală. Fără o alocare aleatorie adecvată, nu puteți atribui diferențe de performanță variațiilor anunțului în sine – ar putea exista diferențe sistematice în ceea ce privește cine vede ce anunț, factori de confuzie sau alte părtiniri. Platformele vând în esență analize observaționale îmbrăcate ca design experimental.

De ce ar face platformele asta? Lucrarea sugerează că este parțial o problemă de comunicare – instrumentele sunt comercializate ca „teste A/B”, deoarece acesta este un termen familiar și liniștitor pentru agenții de publicitate, chiar dacă metodologia actuală nu se potrivește cu ceea ce înseamnă acest termen în designul experimental. De asemenea, probabil că este mai ușor să vinzi „vom efectua un test A/B” decât „vom afișa diferite reclame pentru diferiți oameni și vom analiza rezultatele”.

Problema este gravă din mai multe motive:

În primul rând, induce în eroare agenții de publicitate care cred că efectuează experimente valide din punct de vedere științific. Când un agent de publicitate vede Google sau Meta spunând „rulați un test A/B pentru a vă compara anunțurile”, se așteaptă la o randomizare adecvată și o inferență cauzală. Dar nu înțeleg asta – primesc analize observaționale cu toate limitările pe care le implică.

În al doilea rând, creează o încredere falsă în deciziile de marketing. Agenții de publicitate iau alocarea bugetului și deciziile creative pe baza acestor rezultate „test A/B”, crezând că au dovezi experimentale atunci când nu au. Acest lucru poate duce la strategii de marketing suboptime deoarece validitatea fundamentală a rezultatelor este compromisă.

În al treilea rând, creează o problemă de credibilitate pentru platforme. Când cercetătorii analizează modul în care funcționează de fapt aceste instrumente și descoperă că nu sunt experimente adevărate, subminează încrederea în platforme mai larg. Lucrarea notează că această denaturare a persistat în ambele companii de ani de zile, în ciuda faptului că cercetătorii au subliniat problemele.

Autorii sună (și sunt total de acord) ca Google și Meta să facă două lucruri:

1. Comunicați mai precis despre ce fac de fapt instrumentele lor de testare A/B. Fiți clar că acestea sunt analize observaționale, nu experimente controlate randomizate. Nu mai folosiți terminologie care implică un design experimental adecvat atunci când nu asta se întâmplă.

2. Oferiți opțiuni cu adevărat experimentale. În mod ideal, platformele ar trebui să ofere agenților de publicitate și cercetătorilor o modalitate de a efectua teste A/B randomizate reale, în care utilizatorii sunt alocați corespunzător diferitelor variante de anunțuri într-un mod cu adevărat aleatoriu. Acest lucru ar oferi opțiunea de inferență cauzală validă atunci când este necesar.

Acest lucru este deosebit de interesant, deoarece nu este vorba despre complexitatea tehnică – platformele au infrastructura pentru a rula experimente adecvate (o fac intern tot timpul). Problema este despre transparență și oferirea instrumentelor potrivite agenților de publicitate.

Lucrarea este un memento important că trebuie să fim critici cu privire la ceea ce ne spun platformele despre instrumentele lor, chiar și – sau mai ales – atunci când terminologia sună familiară și liniștitoare. „Testul A/B” are o semnificație specifică în designul experimental, iar platformelor de marketing nu ar trebui să li se permită să coopteze acel termen pentru ceva fundamental diferit.

Referință: Bögershausen, A., Oertzen, T. v., & Bock, K. (2025). Despre caracterizarea greșită persistentă a testelor A/B Google și Facebook.

Notă: conținut acceptat de AI.