Quando vogliamo confrontare le medie di più di due gruppi, il primo passo è sempre un’ANOVA. Se questo test risulta statisticamente significativo, significa che almeno uno dei gruppi differisce dagli altri. Ma come capire quale? Qui entrano in gioco i test post hoc (letteralmente “dopo questo”) che permettono di capire quali sono i gruppi le cui medie differiscono tra loro in modo statisticamente significativo.
Indice
Che cosa si intende per test post-hoc?
I test post-hoc effettuano confronti a coppie tra tutti i gruppi, come si farebbe con i test t. La differenza fondamentale è che i test post hoc correggono i p-values derivanti da tutti questi confronti, evitando il problema dei confronti multipli.
Effettuare un’analisi statistica fissando il livello di significatività in alpha=0,05, equivale infatti ad accettare che la differenza statisticamente significativa tra due gruppi che viene rilevata dal p-value, nel 5% dei casi non esiste davvero nella popolazione da cui è stato estratto il campione. In altre parole, fissare alpha=0,05 significa accettare una probabilità del 5% di incorrere in un errore di I tipo, ovvero in un falso positivo. Con due confronti per sottogruppi, alpha sale già al 10%, con 5 analisi al 23%, con 20 confronti al 64%, con 50 confronti diventa quasi certezza (92%).
Tuttavia, spesso più dati si hanno a disposizione, più test si eseguono, ma questo come abbiamo appena visto comporta una probabilità maggiore di commettere questo tipo di errore ed incorrere in falsi positivi.
E questo capita più spesso di quanto forse immaginiamo. Ad esempio, quando in uno studio di ricerca vogliamo confrontare due o più trattamenti su endpoint multipli, come mortalità, recidive e re-interventi.
Oppure quando abbiamo misurazioni ripetute di più parametri (dai valori della pressione arteriosa alle misurazioni di scale psicometriche). O ancora, quando suddividiamo una variabile in sottocategorie, rifacendo le analisi su sottoinsiemi del campione di partenza.
Insomma, senza applicare correzioni ai p-values, il rischio è che i risultati delle analisi a posteriori, anche quando risultano statisticamente significativi, potrebbero con elevata probabilità essere falsi positivi e pertanto poco affidabili o proprio del tutto inaccettabili da un punto di vista scientifico.
Un esempio di risultato inaccettabile lo possiamo ritrovare in uno studio sui segni zodiacali pubblicato nel 1988 dai ricercatori ISIS-2 proprio per dimostrare le insidie legate ad una scorretta interpretazione di un’analisi per sottogruppi. L’esperimento era stato condotto su veri pazienti per dimostrare l’efficacia dell’aspirina nella prevenzione degli attacchi ischemici cardiaci fatale e, sull’intero campione, l’aspirina si era dimostrata efficace.
Tuttavia, stratificando i pazienti in base al rispettivo segno zodiacale, la molecola si era rivelata non efficace o addirittura dannosa per i nati sotto il segno dei Gemelli e della Bilancia. I risultati di questa goliardica analisi post-hoc sono evidentemente dovuti all’ effetto del caso, ma se ci fossimo basati solo sui p-values, avremmo rischiato di affermare invece che c’era un’associazione statisticamente significativa con il segno zodiacale.
Per questo motivo, è necessario correggere i risultati falsamente positivi indotti da analisi multiple attraverso l’analisi dei contrasti o test post hoc. Con queste correzioni, infatti, questa probabilità di errore di I tipo rimane più controllata.
In particolare, le correzioni che si possono utilizzare nelle analisi post-hoc sono svariate e la scelta di quale preferire dipende dal tipo di disegno di studio e dalle finalità dell’analisi. Di seguito troverai una lista non esaustiva dei principali test statistici post-hoc.
Quale test post hoc usare?
1| Il più utilizzato quando i gruppi hanno varianze simili: Tukey
Il test di Tukey HSD (Honest Significant Difference) è probabilmente il più famoso tra i test post hoc.
Questa procedura usa la statistica di intervallo studentizzato per effettuare tutti i confronti pairwise tra gruppi. Funziona bene quando i gruppi hanno dimensioni uguali o simili.
2| Gruppi con varianze molto diverse: il test di Games-Howell
Se l’ipotesi di omogeneità delle varianze non è rispettata (lo puoi verificare con un test sulle varianze, come il test di Levene), allora è più appropriato utilizzare test per varianze non omogenee, come Games-Howell.
3| Pattern nelle differenze tra i gruppi: test SNK e REGWQ
Il test S-N-K (Student-Newman-Keuls) verifica per prime le differenze più estreme tra i valori medi. Questo approccio è utile per identificare pattern specifici nelle differenze tra i gruppi, che potrebbero non emergere con altri test. Quando i gruppi hanno numerosità diverse, una sua variazione più efficace è il test R-E-G-W-Q.
4| Correzione di Bonferroni e metodo di Dunn-Sidak.
La correzione di Bonferroni è la più facile da applicare (la puoi effettuare anche a mente), perché consiste semplicemente nel controllare il tasso di errore globale dividendo il livello di significatività alpha per il numero di confronti. Questo procedimento controlla bene l’errore di I tipo, ma è un test molto conservativo, che può ridurre la potenza statistica. La correzione di Sidak è simile a quella di Bonferroni, ma leggermente meno conservativa.
5| Metodo sequenziale per più confronti: la procedura di Holm e il metodo di Shaffer
La procedura di Holm (o sequenziale di Bonferroni) corregge i p-values in modo graduale. È una sorta di versione più potente di Bonferroni, preferibile quando ci sono molti gruppi.
6| Dunnett per confronti tra un controllo e vari trattamenti
Il metodo di Dunnet confronta ogni gruppo con un gruppo di controllo. Si utilizza soprattutto negli studi sperimentali con un solo gruppo di riferimento (placebo o controllo) e più trattamenti. È più potente di Holm se il tuo interesse è solo il confronto con il controllo, perché fa meno confronti complessivi.
Test post-hoc: e adesso?
Le analisi post-hoc sono uno strumento molto utile per approfondire le differenze tra le medie di tre o più gruppi. Sapere quale test usare ti permette infatti di interpretare correttamente i risultati dell’ ANOVA senza incorrere in falsi positivi.
Allo stesso tempo, è necessario applicare queste tecniche con attenzione, in quanto si associano a una maggiore probabilità di commettere errori statistici, con conseguente errata interpretazione dei risultati.
Nel soppesare pro e contro dobbiamo infatti ricordarci che scegliere il test post hoc giusto dipende da omogeneità delle varianze, dimensione dei gruppi, numero di confronti, disegno di studio e obiettivo dell’analisi.
