h14power.Rmd

# Power {#ch-power}

## Inleiding {#sec:power-inleiding}

Bij statistische toetsing van H0 bepalen we de kans $P$ op de
geobserveerde verschillen of effecten (of op nog grotere verschillen of
effecten dan geobserveerd) indien H0 waar zou zijn, en dus indien het
geobserveerde verschil louter aan het toeval toegeschreven moet worden
(zie §\@ref(sec:empirischecyclus) en
Hoofdstuk \@ref(ch-toetsing)). Als die kans $P$ zeer klein is, dan hebben we
dus resultaten gevonden die zeer onwaarschijnlijk zijn als H0 waar zou
zijn. We concluderen dan dat H0 vermoedelijk *niet waar* is en we
verwerpen daarom H0. Het gevonden verschil of effect noemen we dan
"significant" (Latijn: 'betekenis makend'). Er is echter wel een kans,
$P$, dat het gevonden verschil toch een toevalstreffer was, en dat we
door H0 te verwerpen een fout van Type-I maken (d.w.z. H0 ten onrechte
verwerpen, zie
§\@ref(sec:toetsing-inleiding)). Omdat we een bepaald
significantieniveau $\alpha$ hanteren waarmee we $P$ vergelijken, is
deze $\alpha$ dus ook de kans dat we een Type-I-fout maken.

Minstens even belangrijk, echter, is de omgekeerde fout om H0 ten
onrechte *niet* te verwerpen, een Type-II-fout. Voorbeelden van deze
fouten zijn: een verdachte niet veroordelen ook al is hij schuldig, een
'spam' mail-bericht doorlaten naar mijn mailbox, een patiënt onderzoeken
en diens ziekte toch niet opmerken, concluderen dat vogels zwijgen
hoewel ze toch zingen
(voorbeeld 13.1), of ten onrechte concluderen dat twee
groepen niet verschillen hoewel er wel een belangrijk verschil bestaat
tussen de twee groepen. De kans op een Type-II-fout wordt aangeduid met
het symbool $\beta$.

Als H0 in werkelijkheid niet waar is (er is een verschil, het bericht is
'spam', de vogels zingen, enz), dan dient H0 dus verworpen te worden, en
dient $\beta$ dus zo klein mogelijk te zijn. De kans om H0 dan *terecht*
te verwerpen is dan $(1-\beta)$ (zie complementregel \@ref(eq:complementregel)); 
deze kans $(1-\beta)$ wordt de *power*
genoemd. Power is op te vatten als **de kans voor de onderzoeker om gelijk
te _krijgen_** (H0 wordt verworpen) **als zij ook gelijk _heeft_** (H0 is onwaar).

De kansen op fouten van Type-I en Type-II moeten goed tegen elkaar
afgewogen worden. In veel onderzoek worden als overschrijdingskansen
gehanteerd $\alpha=.05$ (significantieniveau) en $\beta=.20$
(power=$.80$). Hiermee wordt een impliciete afweging gemaakt dat een
Type-I-fout $4\times$ zo ernstig is als een Type-II-fout. Voor sommige
onderzoeken zou dat gerechtvaardigd kunnen zijn, maar het is ook goed
denkbaar dat onder bepaalde omstandigheden een Type-II-fout eigenlijk
nog ernstiger is dan een Type-I-fout. Als we beide typen fouten min of
meer even ernstig vinden, dan zouden we dus moeten streven naar een
kleinere $\beta$ en grotere power [@Rose08].

De power van een onderzoek hangt af van drie factoren: (i) de
effectgrootte $d$, die zelf weer afhankelijk is van het gemeten verschil
$D$ en van de variatie $s$ in de observaties
(formule \@ref(eq:d-standardized)), (ii) de steekproefgrootte $N$, en (iii)
het significantieniveau $\alpha$. In de volgende paragrafen zullen we
deze factoren afzonderlijk bespreken, waarbij we de andere twee factoren
zoveel mogelijk constant houden. Bij deze bespreking gebruiken we
afbeeldingen van de berekende power
(Figuren \@ref(fig:powercontours-alpha01) en
\@ref(fig:powercontours-alpha05)). De afgebeelde power-contouren
zijn specifiek voor een *t*-toets voor onafhankelijke steekproeven
(§\@ref(sec:ttoets-onafh)) met tweezijdige toetsing. De hieronder
besproken verbanden treden echter ook op bij andere statistische
toetsen.

```{r powercontours-alpha01, echo=FALSE, fig.cap="Power uitgedrukt in contouren (zie schaalverdeling), afhankelijk van de gestandaardiseerde effectgrootte (d) en de steekproefgrootte (n), volgens een tweezijdige t-toets voor ongepaarde, onafhankelijke waarnemingen, met significantieniveau alpha=.01."}
# adapted from plot.powercontours.2050705.R
# HQ 20150705
alpha <- .01
x1 <- seq(0.1,1.0,by=.05) # effect size d
x2 <- seq(2,150,by=5) # sample size N
zz <- matrix(NA, nrow=length(x1),ncol=length(x2))
rownames(zz) <- x1
colnames(zz) <- x2
for (i in x1) { 
  for (j in x2) zz[as.character(i),as.character(j)] <- power.t.test( d=i, n=j, sig=alpha, 
                                                                     type="two", alt="two" )$power 
  }
filled.contour( x1, x2, zz, levels=c(0:10)/10, 
                col=gray(c(10:0)/10), key.title = title(main = "Power"), 
                xlab="Effectgrootte (d)", ylab="Steekproefgrootte (n per groep)" )
title( main="t-toets voor\nonafhankelijke steekproeven", line=1.1 )
```

```{r powercontours-alpha05, echo=FALSE, fig.cap="Power uitgedrukt in contouren (zie schaalverdeling), afhankelijk van de gestandaardiseerde effectgrootte (d) en de steekproefgrootte (n), volgens een tweezijdige t-toets voor ongepaarde, onafhankelijke waarnemingen, met significantieniveau alpha=.05."}
# adapted from plot.powercontours.2050705.R
# HQ 20150705
alpha <- .05
x1 <- seq(0.1,1.0,by=.05) # effect size d
x2 <- seq(2,150,by=5) # sample size N
zz <- matrix(NA, nrow=length(x1),ncol=length(x2))
rownames(zz) <- x1
colnames(zz) <- x2
for (i in x1) { 
  for (j in x2) zz[as.character(i),as.character(j)] <- power.t.test( d=i, n=j, sig=alpha, 
                                                                     type="two", alt="two" )$power 
  }
filled.contour( x1, x2, zz, levels=c(0:10)/10, 
                col=gray(c(10:0)/10), key.title = title(main = "Power"), 
                xlab="Effectgrootte (d)", ylab="Steekproefgrootte (n per groep)" )
title( main="t-toets voor\nonafhankelijke steekproeven", line=1.1 )
```


## Verband tussen effectgrootte en power {#sec:effectgrootte-power}

De twee figuren \@ref(fig:powercontours-alpha01) en
\@ref(fig:powercontours-alpha05) laten zien dat in het algemeen de
power toeneemt, naarmate het te toetsen effect groter is (meer naar
rechts in elke figuur). Dat is ook niet verwonderlijk: een groter effect
heeft een grotere kans om opgespoord te worden in een statistische toets
dan een kleiner effect, onder dezelfde omstandigheden. Een middelmatig
groot effect van $d=.5$ heeft, bij $n=30$ observaties in elke groep,
slechts een kans van $.48$ om opgespoord te worden (als $\alpha=.05$, Figuur \@ref(fig:powercontours-alpha05)). Op basis van een
onderzoek met $n=30$ observaties per groep is het dus eigenlijk een
grote gok of een onderzoeker zo'n effect (met $d=.5$) wel zal opsporen,
en H0 zal verwerpen. Anders gezegd, de kans op een Type-I-fout is
weliswaar veilig laag ($\alpha=.05$) maar de kans op een Type-II-fout is
meer dan $10\times$ zo groot, en daarmee gevaarlijk hoog ($\beta=.52$) [@Rose08, Ch.12]. 

Een groter effect heeft een grotere kans om opgespoord te worden. Een
groter effect van $d=.8$, bijvoorbeeld, resulteert in een power van
$.86$ bij dezelfde toetsing. De kans op een Type-II-fout $\beta=.14$ is
weliswaar ook hier groter dan de kans op een Type-I-fout, maar de
verhouding $\beta/\alpha$ is aanzienlijk minder scheef.

Als onderzoeker hebben we alleen indirect invloed op de effectgrootte.
We hebben uiteraard geen invloed op het ware ruwe verschil $D$ in de
populatie. Voor de power is echter niet dat ruwe verschil $D$ van
belang, maar het gestandaardiseerde verschil $d=D/s$
(§\@ref(sec:ttoets-effectgrootte)). Dus als we zorgen dat de
standaarddeviatie $s$ op enige wijze kleiner wordt, dan wordt daarmee
$d$ groter, en dan wordt daarmee weer de power groter
(figuren \@ref(fig:powercontours-alpha01) en \@ref(fig:powercontours-alpha05)), 
en dan hebben we dus meer kans
om een bestaand effect daadwerkelijk op te sporen! Vanwege dat doel
streven onderzoekers er altijd naar om storende invloeden van allerlei
andere factoren zoveel mogelijk te neutraliseren. Die storende invloeden
zorgen immers voor extra variabiliteit in de observaties, en daarmee
voor een lagere power bij de statistische toetsing.

In een goed opgezet onderzoek willen we vooraf al bepalen wat de power
zal zijn, en hoe groot de steekproef dient te zijn (zie hierna).
Daarvoor hebben we een schatting nodig van de kleinste effectgrootte $d$
die we nog willen opsporen
(§\@ref(sec:ttoets-effectgrootte)) [@Quene10]. Om de effectgrootte te
schatten, is ten eerste een schatting nodig van het ruwe verschil $D$
tussen de groepen of condities. Ten tweede is er een schatting nodig van
de variabiliteit $s$ in de observaties. Die schattingen zijn meestal af
te leiden uit eerdere publicaties, waarin doorgaans ook de
standaarddeviatie $s$ wordt gerapporteerd. Als er geen eerdere
onderzoeksrapporten beschikbaar zijn, dan kan $s$ grofweg geschat worden
uit enkele informele 'pilot'-observaties. Neem daarvan het verschil
tussen de hoogste en de laagste (bereik of 'range'), deel dit bereik
door 4, en gebruik de uitkomst daarvan als grove schatting voor $s$
[@PD08].

## Verband tussen steekproefgrootte en power {#sec:steekproefgrootte-power}

Het verband tussen de steekproefgrootte $N$ en de power van een
onderzoek wordt geïllustreerd in
Figuur \@ref(fig:powercontours-alpha01) voor een streng
significantieniveau $\alpha=.01$, en in
Figuur \@ref(fig:powercontours-alpha05) voor het meest gebruikte
significantieniveau $\alpha=.05$. De figuren laten zien dat in het
algemeen de power toeneemt, naarmate de steekproef groter wordt (meer
naar boven). De toename is steiler (power neemt sneller toe) bij grotere
effecten (rechterkant) dan bij kleinere effecten (linkerkant). Anders gezegd: bij
kleine effecten is de steekproef eigenlijk bijna altijd te klein om deze
kleine effecten met voldoende power te kunnen opsporen. We zagen dat al
eerder in voorbeeld 13.3 (Hoofdstuk \@ref(ch-toetsing)).

De twee figuren \@ref(fig:powercontours-alpha01) en
\@ref(fig:powercontours-alpha05) zijn gebaseerd op de vergelijking tussen twee groepen die even groot zijn, elk met precies de helft van de observaties ($n_1=n_2=N/2$). Dat is ook het meest efficiënt. 
De power is gebaseerd op het *harmonisch gemiddelde* van $n_1$ en $n_2$ (zie §\@ref(sec:harmonischgemiddelde)), en dat harmonisch gemiddelde is altijd kleiner dan het rekenkundig gemiddelde van die twee getallen. Het is dus raadzaam om ervoor te zorgen dat de groepen of steekproeven die je vergelijkt ongeveer even groot zijn.

---

> *Voorbeeld 14.1*: In een studie worden twee groepen proefpersonen vergeleken, met $n_1=10$ en $n_2=50$ ($N=n_1+n_2=10+50=60$). Het harmonisch gemiddelde van $n_1=10$ en $n_2=50$ is $H=17$. Deze studie heeft dus dezelfde power als een kleinere studie met twee groepen van elk 17 proefpersonen, dus 34 proefpersonen in totaal. Voor deze studie zijn er dus 26 proefpersonen méér onderzocht (en belast) dan noodzakelijk (zie ook §\@ref(sec:ontwerp)) [@ACA11, p.295]. 

---

## Verband tussen significantieniveau en power {#sec:significantieniveau-power}

Het verband tussen het significantieniveau $\alpha$ en de power wordt
geïllustreerd door het verschil tussen de twee figuren
\@ref(fig:powercontours-alpha01) en
\@ref(fig:powercontours-alpha05). Voor iedere combinatie van
effectgrootte en steekproefgrootte is de power lager in
Figuur \@ref(fig:powercontours-alpha01) voor $\alpha=.01$ dan in
Figuur \@ref(fig:powercontours-alpha05) voor $\alpha=.05$. Als we het
significantieniveau $\alpha$ hoger kiezen, dan neemt de kans toe om H0
te verwerpen, en dus ook de power om H0 terecht te verwerpen als H0
onwaar is (zie
Tabel \@ref(tab:H0H1uitkomsten)). Maar helaas neemt met een hoger
significantieniveau $\alpha$ ook de kans toe om H0 ten onrechte te
verwerpen als H0 waar is (d.w.z. om een Type-I-fout te maken). De
onderzoeker moet een afweging maken tussen fouten van Type-I (met
kans $\alpha$) of van Type-II (met kans $\beta$); zoals eerder gezegd
moet deze afweging afhangen van de ernst van (de consequenties van) deze
twee typen van fouten.

## Nadelen van onvoldoende power

Helaas zijn er zeer veel voorbeelden te vinden van 'underpowered'
onderzoek in het domein van taal en communicatie. Dit onderzoek heeft
een te kleine kans om H0 te verwerpen als het onderzochte effect wel
bestaat (H0 is niet waar). Waarom is dat kwalijk [@Quene10]?

Ten eerste kan de Type-II-fout die hier optreedt ernstige consequenties
hebben: een behandelmethode die eigenlijk beter is, wordt niet als
zodanig erkend, een patiënt wordt niet of onjuist gediagnostiseerd, een
nuttige innovatie wordt ten onrechte terzijde geschoven. Deze fout
belemmert de groei van onze kennis en ons inzicht, en belemmert de
wetenschappelijke vooruitgang (zie ook
voorbeeld 3.2 in Hoofdstuk \@ref(ch-integriteit)).

```{r underpoweredeffectsizes, echo=FALSE, fig.cap="Gevonden effectgroottes (langs horizontale as) in gesimuleerde experimenten (tweezijdige t-toets voor onafhankelijke waarnemingen, alpha=.05), uitgesplitst naar steekproefgrootte (links $n=20$, rechts $n=80$) en naar toetsingsresultaat (donkere symbolen: wel significant; lichte symbolen: niet significant). De ware effectgrootte tussen groepen is altijd $d=0.5$, aangegeven met grijze stippellijn. De gemiddelde gevonden effectgrootte van de significante uitkomsten is aangegeven met zwarte stippellijn. Voor iedere steekproefgrootte zijn 100 simulaties uitgevoerd (langs verticale as)."}
# adapted from plot.underpoweredeffectsizes.20170225.R
# HQ 20150707
# aangepast HQ 20170225 voor oratie, met 2 panelen
set.seed(2003)
nsim <- 100
ii <- 1:nsim
# nn <- c(20,50,80) # values of n per group to simulate
nn <- c(20,80) # values of n per group to simulate
dnominal <- 0.5 # d is fixed at 0.5
sd.pooled <- function( x1, x2 ) {
 	nx1 <- length(x1)
 	nx2 <- length(x2)
 	var.pooled <- ((nx1-1)*var(x1)+(nx2-1)*var(x2))/(nx1+nx2-2)
 	return(sqrt(var.pooled))
 	}
dres <- matrix(NA,nrow=length(ii),ncol=length(nn))
pres <- matrix(NA,nrow=length(ii),ncol=length(nn))
rownames(dres)<-ii; colnames(dres)<-nn
rownames(pres)<-ii; colnames(pres)<-nn
for (n in nn) {
	for (i in ii) {
		x1 <- rnorm(n, dnominal, 1) # effect d=0.5
		x2 <- rnorm(n, 0  , 1) # baseline
		dres[as.character(i),as.character(n)] <- (mean(x1)-mean(x2))/sd.pooled(x1,x2) 	
		pres[as.character(i),as.character(n)] <- t.test(x1,x2,type="two")$p.value
	}
}

op <- par( mfrow=c(1,length(nn)), mar=c(5,0.5,5,0.5) )

for (n in 1:length(nn)) {
	dreported <- mean(dres[pres[ii,as.character(nn[n])]<.05,as.character(nn[n])])
	thebias <- (dreported-dnominal)
	thepower <- round(table(pres[ii,as.character(nn[n])]<.05)[2]/nsim,2)
	plot( dres[ii,as.character(nn[n])], ii, pch=ifelse(pres[ii,as.character(nn[n])]<.05,19,1), 
	      xlim=c(dnominal-1,dnominal+1), yaxt="n",
	      xlab="", ylab="", type="n", 
	      main=paste("n1 = n2 =",nn[n],"\nsd(d) =",round(sd(dres[,as.character(nn[n])]),2),"\npower = ",thepower,"\nbias =",round(thebias,2)) )
  # lines before points
	abline( v=dnominal,  lty=2, lwd=2, col="grey" )
	# add line for average of d values of significant outcomes
	abline( v=dreported, lty=3, lwd=2 )
	points( dres[ii,as.character(nn[n])], ii, 
#         pch=21, 
	        pch=ifelse(pres[ii,as.character(nn[n])]<.05,19,1) )
#	        col=ifelse(pres[ii,as.character(nn[n])]<.05,scales::alpha("black",.8),1),
#	        bg= ifelse(pres[ii,as.character(nn[n])]<.05,scales::alpha("black",.8),scales::alpha("white",.2) ) )
	}
mtext("effectgrootte (d)", side=1, line=-2, outer=TRUE)
par(op)
```
De uitkomsten van gesimuleerde experimenten met verschillende
steekproefgrootte, en dus met verschillende power, zijn samengevat in
Figuur \@ref(fig:underpoweredeffectsizes). We leggen het tweede nadeel uit aan de hand van deze wat complexe figuur. In het linker paneel van
Figuur \@ref(fig:underpoweredeffectsizes) zien we dat de verschillende
(simulaties van) 'underpowered' onderzoeken een gemengd beeld laten
zien. Sommige van deze onderzoeken laten wèl een significant effect zien
(donkere symbolen), en veel andere onderzoeken niet (lichte symbolen).
Dat gemengde beeld leidt dan doorgaans tot vervolgonderzoek, waarin men
probeert om uit te zoeken *waarom* het effect wel optrad in sommige
onderzoeken, en niet in andere. Zou het verschil in resultaten toe te
schrijven zijn aan verschillen in stimuli? proefpersonen? taken?
instrumentatie? Al dat vervolg-onderzoek is echter *overbodig*: het
gemengde beeld van deze onderzoeken is goed te verklaren door de geringe
power van elk onderzoek. Het nodeloze en overbodige vervolg-onderzoek
kost veel tijd en geld (en indirecte kosten, zie
Hoofdstuk \@ref(ch-integriteit)), en het gaat ten koste van ander, nuttiger
onderzoek [@Schm96, p.118]. Anders gezegd: één goed ontworpen studie met
ruim voldoende power kan vele nodeloze vervolg-studies voorkomen.

Het derde nadeel is gebaseerd op de ervaring dat onderzoek waarin wèl
een significant effect gevonden wordt (donkere symbolen), een grotere
kans heeft om gerapporteerd te worden; dit verschijnsel wordt
'publication bias' of het 'file drawer problem' genoemd. Immers, een
positief resultaat wordt vaak wel gepubliceerd en een negatief resultaat
verdwijnt vaak in een bureaulade. Bij geringe power leidt dat tot een
derde nadeel, nl. een overschatting of 'bias' van de gerapporteerde
effectgrootte. In een underpowered studie, immers, moet een gevonden
effect tamelijk groot zijn om gevonden te worden. In het meest linkse
paneel zien we dat er slechts $31\times$ een significant effect gevonden
wordt. De gemiddelde effectgrootte van deze 31 significante uitkomsten
is $\overline{d_{\textrm{signif}}}=0.90$ (zwarte stippellijn), d.w.z.
een vertekening of 'bias' van $0.40$ ten opzichte van de eigenlijke
$d=0.50$ (grijze stippellijn)[^fn14-1]. In het meest rechtse paneel zien we dat
er $91\times$ een significant effect gevonden wordt (dus de power is
hier voldoende). De gemiddelde effectgrootte van deze 91 significante
uitkomsten wijkt nauwelijks af van de eigenlijke $d$. Bovendien is de
standaarddeviatie van de gerapporteerde effectgrootten kleiner, en dat
is weer van belang voor later onderzoek, meta-studies, en systematische
reviews.

Ten vierde brengt het gemengde beeld van de verschillende onderzoeken,
met soms wel en soms niet significante uitkomsten, en met grote variatie
in de gerapporteerde effectgrootte, het gevaar met zich mee dat deze
uitkomsten minder serieus genomen worden door 'afnemers' van
wetenschappelijke kennis (behandelaars, zorgverzekeraars, ontwikkelaars,
beleidsmakers, e.d.). Deze afnemers krijgen zo de indruk dat de
wetenschappelijke evidentie voor dit onderzochte effect niet sterk is,
en/of dat de onderzoekers het oneens zijn over of dat effect bestaat en
zo ja hoe groot het dan is [@Kolf93] (Figuur \@ref(fig:underpoweredeffectsizes)). 
Ook dat belemmert de
wetenschappelijke vooruitgang, en het belemmert het gebruik van
wetenschappelijke inzichten in maatschappelijke toepassingen.

Om al deze bezwaren te vermijden moeten onderzoekers al in een vroeg
stadium rekening houden met de gewenste power van een onderzoek. Het
opzetten en uitvoeren van een onderzoek met onvoldoende power is immers
in strijd met de eerder besproken ethische en morele principes van
zorgvuldigheid en verantwoordelijkheid
(§\@ref(sec:integriteit-inleiding)).

[^fn14-1]: Een replicatie-studie die wel voldoende power heeft, vindt dus typisch een kleiner effect dan de originele 'underpowered' studie. Het kleinere effect gevonden in de replicatie-studie is dan typisch ook niet significant. We zeggen dan dat de replicatie-studie "fails to replicate" het effect dat in de originele studie wel significant was -- maar dat eigenlijk een spurieuze vondst was.