La potenza di un test statistico ti permette di controllare la probabilità di prendere decisioni errate, di valutare l’attendibilità di uno studio e di determinare quale è la numerosità campionaria necessaria per ottenere risultati statisticamente significativi. In pratica, ti permette di rispondere alla domanda: “quanto è probabile che quando ottengo un risultato non significativo, questo non sia un falso dovuto al caso ma davvero non ci sia significatività nei dati?”. Scopri come in questo articolo.
Indice
Test d’ipotesi: come funzionano
In statistica, i test d’ipotesi si basano su un’ipotesi nulla e su un’ipotesi alternativa ed hanno come obiettivo quello di accettare l’ipotesi nulla quando è vera e di rifiutarla quando è falsa.
Tuttavia, questi test statistici si basano sulle probabilità e, come sempre quando si è nel mondo delle probabilità e non delle certezze, pertanto resta sempre un margine di errore.
Questa incertezza è dovuta al fatto che i test statistici si utilizzano quando i dati raccolti riguardano solo una parte della popolazione (il campione statistico). In questi casi, non potendo sapere di preciso cosa avviene per l’intera popolazione, l’unica cosa che si può fare è valutare l’efficacia del test basandosi su quanto è grande la probabilità di errore.
Errori di I e di II tipo
La probabilità di commettere un errore nel decidere se accettare o rifiutare l’ipotesi nulla può essere di due tipologie.
Errore di I tipo
E’ la probabilità di rifiutare l’ipotesi nulla quando in realtà è vera. In pratica, questo errore si verifica quando la procedura di verifica delle ipotesi ti porta a dire che i tuoi dati supportano l’ipotesi di ricerca (cioè l’ipotesi alternativa) quando nella realtà questa ipotesi di ricerca è falsa. In altre parole, l’errore di primo tipo ti permette di rispondere alla domanda “quanto è probabile che il test risulti significativo quando in realtà il fenomeno che sto studiando non lo è?” dicendo che questa probabilità è al massimo pari al valore di alpha (spesso corrispondente al 5%).
Errore di II tipo
È la probabilità di accettare l’ipotesi nulla quando in realtà è falsa. L’errore di secondo tipo ti permette infatti di rispondere alla domanda “quanto è probabile che il test NON risulti significativo quando in realtà il fenomeno che sto studiando lo è?” dicendo che questa probabilità è al massimo pari al valore di 1-beta (spesso corrispondente al 10% o al 20%).
In pratica, questo errore si verifica quando la procedura di verifica delle ipotesi ti porta a dire che i risultati di uno studio non sono conclusivi (cioè che non si può rifiutare l’ipotesi nulla) quando in realtà l’ipotesi di ricerca (cioè l’ipotesi alternativa) è vera.
In generale, si vorrebbe che la probabilità di incorrere in un errore di I tipo fosse bassa. Detto in altre parole, quando l’ipotesi alternativa è falsa, non si vorrebbe ottenere un risultato statisticamente significativo. Il che corrisponde a dire che si vorrebbe che la probabilità di accettare l’ipotesi nulla quando è vera fosse alta. Queste due probabilità sono controllabili direttamente all’interno del test d’ipotesi attraverso l’impostazione del livello di significatività alpha.
Ma si vorrebbe anche che, quando l’ipotesi nulla è falsa, la probabilità di rifiutarla fosse elevata. Che, in altri termini, significa che si vorrebbe che la probabilità di errore di II tipo fosse bassa. Queste due probabilità sono controllabili attraverso l’impostazione della potenza del test.
Questa impostazione però non può essere fatta al momento della creazione del test ma deve essere tenuta in considerazione già al momento del disegno della ricerca attraverso l’impostazione della potenza statistica dello studio.
Potenza statistica: che cos’è in pratica
La potenza statistica è la probabilità che un test produrrà un risultato statisticamente significativo quando l’ipotesi alternativa è vera. In altre parole, la potenza dei un test è la sua probabilità di rifiutare l’ipotesi nulla quando l’ipotesi nulla è falsa ed è il complemento a uno della probabilità di errore di II tipo.
Come tutte le probabilità, anche la potenza statistica è un valore sempre compreso tra 0 ed 1. Più la potenza si avvicina a 0, più si dice che il test è poco potente. Più il valore si avvicina ad 1, più si dice che il test è potente.
Ad esempio, i test non parametrici sono meno potenti degli equivalenti test parametrici perché il loro valore di potenza è più basso. Questo è il motivo per cui, quando le ipotesi alla loro base sono verificate, è preferibile utilizzare i test parametrici. Tuttavia, quando le ipotesi non sono verificate, allora i test parametrici perdono di potenza e pertanto in questi casi si preferisce utilizzare i test non parametrici.
Potenza statistica: che valore impostare
In pratica, l’ideale sarebbe che la tua ricerca avesse una potenza alta (ad esempio 0,80 o 0,90) e un livello di significatività basso (ad esempio 0,05 o 0,01).
Ad esempio, adottare un livello di significatività di 0,05 garantisce che un’ipotesi nulla vera venga rifiutata, in media, soltanto una volta su 20. Mentre un livello di significatività pari a 0,01 garantisce che, in media, venga rifiutata l’ipotesi nulla quando nella realtà è vera solo in 1 caso su 100.
La probabilità di rifiutare correttamente l’ipotesi nulla quando è vera l’ipotesi alternativa (ovvero la potenza del test) non è invece un numero costante ma varia in base ai valori del parametro che si sta testando. Esistono infatti tanti valori di potenza quanti sono i possibili valori che può assumere il parametro che si sta studiando quando non è vera l’ipotesi nulla.
Potenza statistica: esempio per un test sulla media
Per capire meglio, prendiamo come esempio un test statistico che ha l’obiettivo di valutare se una media sia diversa a 0. In questo caso l’ipotesi nulla sarà media=0 mentre l’ipotesi alternativa sarà media≠0.
La probabilità di rifiutare correttamente l’ipotesi nulla sarà molto bassa quando la media della popolazione è un valore molto vicino a zero. Quando invece la media della popolazione è un valore molto lontano da zero, la probabilità di rifiutare correttamente l’ipotesi nulla sarà più alta.
Potenza statistica: da cosa dipende
La potenza del test dipende da diversi fattori, come:
- il livello di significatività alpha (ovvero l’errore di I tipo)
- la numerosità campionaria
- la dimensione dell’effetto
Power analysis in statistica: quando si usa
L’analisi della potenza (in inglese, power analysis) si utilizza all’inizio di un progetto di ricerca per determinare una corretta numerosità campionaria.
Ogni volta che si inizia a fare una ricerca è necessario infatti prendere diverse decisioni: una di queste è proprio l’ampiezza del campione. La numerosità del campione dipende dalla dimensione dell’effetto che si vuole analizzare e dal rischio di errore che si è disposti ad accettare.
Un effetto “grande” può infatti essere rilevato anche con un campione di piccole dimensioni, mentre un effetto “piccolo” necessita di un campione più numeroso.
Il rischio di prendere una decisione sbagliata basandosi sui risultati di un test statistico dipende invece dall’errore di I e di II tipo. All’aumentare della numerosità del campione aumenta infatti anche la potenza del test, a parità di livello di significatività e di dimensione dell’effetto e variabilità del fenomeno.
Tuttavia, campioni più numerosi richiedono costi e tempi più lunghe per le ricerche. Pertanto, l’obiettivo è trovare un buon compromesso tra fattibilità (numerosità del campione) ed efficacia (potenza dei test).
Calcolo potenza statistica a posteriori
Al termine di un’analisi statistica, si dovrebbe sapere su quale numerosità campionaria è stata condotta, con quale livello di significatività α e la dimensione dell’effetto. Da un punto di visto matematico è quindi possibile calcolare a posteriori la probabilità di aver selezionato un campione della giusta numerosità. Tuttavia, il calcolo della potenza statistica a posteriori è una scelta sempre più criticata in letteratura perché soggetta a diversi bias. Pertanto non te la consiglio.
Come alternativa, puoi basarti sull’osservazione degli intervalli di confidenza che ti permettono di avere un riscontro immediato della dimensione dell’effetto osservato.
Potenza statistica: e adesso?
Se hai dubbi su come stabilire la corretta numerosità campionaria per il tuo studio, non esitare a richiedere una consulenza check-up. È una soluzione veloce, economica ed efficace per chiarirti le perplessità e proseguire in modo corretto le tue analisi dati.
