(Acest articol a fost publicat pentru prima dată pe R – blogul lui Davidși cu amabilitate a contribuit la R-bloggeri). (Puteți raporta problema legată de conținutul acestei pagini aici)
Doriți să vă distribuiți conținutul pe R-bloggeri? dați clic aici dacă aveți un blog, sau aici dacă nu aveți.
Uneori folosesc această întrebare amuzantă de interviu pentru aspiranții cercetători de date:
Cum sunt distribuite valorile p presupunând că ipoteza nulă este adevărată?
Am auzit o mulțime de răspunsuri rezonabile, inclusiv:
- Ar trebui să fie centrat pe valori mari
- ar trebui să aibă o masă aproape zero sub 0,05
- Depinde de model
- Depinde de ipoteza nulă
Toate răspunsurile foarte rezonabile și intuitive pe care probabil, la un moment dat, mi le-aș fi dat. De asemenea, toți greșesc.
Răspunsul (poate surprinzător) este că sub orice ipoteza nulă, valorile p sunt distribuite uniform: toate Valorile p între 0 și 1 sunt la fel de probabile.
Înainte de a da o dovadă formală, iată câteva intuiții. Pentru orice nivel de semnificație $alpha$, cât de des va obține un rezultat semnificativ un test statistic sub valoarea nulă? Desigur $alpha$, după definiția nivelului de semnificație. Dar pentru ca un test să fie semnificativ la $alpha$, trebuie să fie adevărat că valoarea p $p < alpha$. Deci spunem că $p < alpha$ cu probabilitate $alpha$. Sau $Pr(p < alpha) = alpha$, care este definiția unei distribuții uniforme.
Mai formal, atunci când efectuăm un test statistic, calculăm o statistică $hat{S}$ din date. Sub null, această statistică urmează o distribuție $S$. Statistica $hat{S}$ este asociată cu o valoare p $hat{p}$, care, prin definiție, este probabilitatea ca statistica de test să fie cel puțin la fel de extremă ca $hat{S}$: $ hat{p} = Pr(S > hat{S})$. Dar rețineți, de asemenea, că pentru ca valoarea p să fie mai mică decât $hat{p}$ ar fi nevoie ca statistica de test să fie mai mare decât $hat{S}$, deci $Pr(p < hat{p}) = Pr(S > hat{S})$, despre care tocmai am spus că este egal cu $hat{p}$. Deci $Pr(p < hat{p}) = hat{p}$, care este din nou definiția unei distribuții uniforme.
Observați că nicăieri nu a trebuit să presupun nimic despre $S$, distribuția statisticii testului. Acest rezultat este valabil indiferent de statistica de testare pe care o facem. Să vedem acest lucru în acțiune pentru două teste statistice comune.
Testul t
Testul t testează egalitatea mediilor între două eșantioane. Ipoteza nulă afirmă că ambele eșantioane sunt extrase din aceeași distribuție (normală). Deci, pentru a vedea cum este distribuită valoarea p, vom extrage două eșantioane de dimensiuni egale din aceeași distribuție, vom calcula valoarea p din testul t și vom repeta:
one_ttest <- function() {
x <- rnorm(100)
y <- rnorm(100)
test <- t.test(x, y)
test$p.value
}
p_values_ttest <- replicate(1000, one_ttest())
hist(p_values_ttest)
După cum era de așteptat, valorile p sunt distribuite uniform de la 0 la 1. Nu există dovezi ale vreunei acumulări de masă către valori mai mari și nici nu există dovezi că valorile p mai mici de 0,05 sunt mai puțin probabile.
Testul binom
Testul binom testează dacă o proporție empirică este diferită de o proporție ipotetică $p$. Ipoteza nulă afirmă că eșantionul este extras dintr-o populație în care condiția de interes se întâmplă cu probabilitatea $p$. Deci vom urma aceeași metodă ca mai sus:
one_binomtest <- function() {
prob <- 0.2
successes <- rbinom(1, 1000, prob)
test <- binom.test(successes, 1000, p = prob)
test$p.value
}
p_values_binomtest <- replicate(1000, one_binomtest())
hist(p_values_binomtest)
Ca mai sus, nu există niciun motiv să bănuiți că valorile p sunt altceva decât distribuite uniform
Concluzie
În testul t sau testul binom nu a trebuit să specificăm niciun nivel de semnificație, doar ne-am uitat la distribuția unei valori p presupunând că ipoteza nulă este adevărată. Am constatat că, așa cum a prezis teorie, valorile p sunt distribuite uniform între 0 și 1 și, prin urmare, probabilitatea de a respinge nulul la un nivel de semnificație $alpha$ este tocmai $alpha$. Toate valorile p între 0 și 1 sunt la fel de probabile, indiferent de testul statistic pe care îl utilizați (cu unele excepții, cum ar fi o distribuție de test discretă).
Addendum
Am postat un scurt videoclip pe YouTube care ilustrează aceste exemple.
Postarea Cum sunt distribuite valorile P sub nul? a apărut prima dată pe blogul lui David.
