Quando l’ANOVA risulta significativa ed i gruppi sono più di due, per determinare quali medie sono diverse puoi scegliere tra due diversi approcci. Se non hai ipotesi a priori su quali gruppi differiscano dagli altri, puoi usare i test post-hoc per effettuare tutti i possibili confronti a coppie. Se invece te ne interessano solo alcuni, per migliorare la potenza del test, puoi scegliere di effettuare un’analisi dei contrasti (planned contrasts). In questo articolo vedremo come si realizza in pratica e come interpretare i risultati di un’analisi dei contrasti.
Indice
Quando il solo test dell’ANOVA non è sufficiente?
Il test dell’ANOVA permette di valutare con quale probabilità sia possibile rifiutare l’ipotesi nulla di omogeneità tra le medie di due o più gruppi. Infatti, il test dell’ANOVA permette di valutare se l’effetto principale (main effect) sia statisticamente significativo, ovvero se esista una qualche differenza significativa fra le medie dei gruppi.
Tuttavia, quando un test F è significativo (cioè ha un p-value prossimo a zero) non significa necessariamente che le medie di tutti i gruppi differiscano tra loro in modo statisticamente significativo. In pratica, quando i gruppi sono tre o più, solo guardando il risultato del test dell’ANOVA, non possiamo sapere tra quali gruppi effettivamente ci sono differenze statisticamente significative tra le medie.
Il risultato del test dell’ANOVA ti permette di rispondere alla domanda “c’è almeno una differenza tra le medie?”. Ma se la tua successiva domanda di ricerca è “quali gruppi sono diversi dagli altri?” allora è necessario fare un’ulteriore analisi.
La soluzione che in genere per prima viene in mente è quella di andare a confrontare le singole medie a coppie, attraverso la costruzione di tanti test t. Tuttavia, questa non è una soluzione applicabile, a causa del problema dei confronti multipli.
Data dredging: il problema dei confronti multipli
Immagina che ti venga chiesto di indovinare una carta da gioco coperta. L’ipotesi è che non possiamo affermare che tu sia un mago a meno che tu non indovini. In termini statistici, avremo quindi un’ipotesi nulla che afferma che tu non sia un mago, ed un’ipotesi alternativa che invece afferma che tu sia un mago. L’idea è che se non sei un mago, la probabilità che tu indovini la carta sarà molto bassa, ovvero la probabilità di rifiutare un’ipotesi nulla vera sarà molto bassa. Tuttavia, se ci provi tante volte, potrebbe capitare che alla fine tu ci riesca non per le tue doti di magia ma per il solo effetto del caso.
I metodi dei confronti multipli si utilizzano proprio di evitare quest’ultima situazione, ovvero per contrastare la probabilità che facendo tanti test ne troviamo qualcuno significativo per il solo effetto del caso. Il data dredging (dragaggio dei dati, detto anche “data snooping”, cioè “curiosare illecitamente tra i dati” o “data fishing” cioè “pescare i dati”) consiste infatti nell’effettuare molti test nella speranza di ottenerne almeno uno statisticamente significativo.
Per capire l’entità di questo problema, considera che facendo 20 test, la probabilità che almeno uno di questi rifiuti erroneamente l’ipotesi nulla è di circa il 65%. Se si eseguono 100 test, tale probabilità sale fino al 99,4%, ovvero raggiunge quasi la certezza, anche se tutte le ipotesi nulle in realtà sono vere.
Quando si effettuano molti confronti, è necessario quindi applicare alcune accortezze che permettono di controllare la probabilità simultaneamente piuttosto che individualmente.
Analisi dopo l’ANOVA: quale scegliere?
Quando l’ANOVA risulta significativa ed i gruppi sono più di due, per determinare quali medie sono diverse, devi scegliere innanzitutto tra due diversi approcci:
- Analisi dei contrasti o dei confronti pianificati (planned contrasts), che si imposta durante la pianificazione del disegno di studi, e quindi prima di eseguire l’esperimento, in base ad una previsione suggerita dalla teoria o da uno studio precedente. In pratica, si selezionano a priori solo alcuni confronti da verificare, tra tutti quelli possibili.
- Analisi post hoc, che invece si effettua dopo l’esecuzione dell’esperimento. In pratica, si confrontano tra loro a coppie tutti i gruppi (in sostanza si fanno tanti t-test) ma applicando una correzione ai p-values risultanti, al fine di contenere l’errore di I tipo entro il valore di alpha prefissato (in genere 0,05). Nell’ANOVA a misure ripetute questa analisi è anche chiamata “pairwise comparisons” ma in entrambi i casi si utilizza per confrontare tra loro le medie di tutti i gruppi, presi a due a due. In questa categoria rientrano, tra le altre, le correzioni di Bonferroni, Tukey, Games-Howell e FDR.
In questo articolo ci concentreremo sulla prima di queste due metodologie, che seppur sia quella in genere meno trattata nei corsi di statistica, offre il vantaggio di poter aumentare la potenza statistica dei test.
Che cos’è un planned contrast?
Con l’espressione planned contrast (contrasto pianificato) si intende un set di coefficienti (pesi) che specificano un’ipotesi nulla che vogliamo rifiutare, ovvero che la differenza tra le medie con peso positivo e quelle con peso negativo sia nulla.
Nello specifico, questa analisi assegna pesi positivi o negativi alle medie che si vogliono utilizzare per i contrasti, mentre assegna pesi pari a 0 alle medie che si vogliono ignorare. Alle medie che si vogliono combinare in un unico gruppo verrà attribuito lo stesso peso, mentre verranno assegnati pesi di segno opposto alle medie che si vogliono combinare.
Stimare un contrasto equivale quindi a costruire una nuova variabile che sommi le medie dei gruppi pesandoli (moltiplicandoli) per dei pesi. Vediamo quindi in pratica come possiamo trovare questi numeri.
Ad esempio, ipotizziamo che abbiamo calcolato il voto medio preso all’esame di statistica tra chi ha seguito un corso solo in presenza (gruppo A), chi solo online (gruppo B), e chi un po’ in presenza ed un po’ online (gruppo C). Se la nostra ipotesi di ricerca è che la modalità mista (gruppo C) sia preferibile alle altre due, possiamo pianificare a priori un contrasto che avrà i seguenti pesi:
Peso=1 per il Gruppo A
Peso=1 per il Gruppo B
Peso=-2 per il Gruppo C
Otterremmo lo stesso risultato se attribuissimo peso 0,5 ai gruppi A e B e peso -1 al gruppo C, oppure se attribuissimo peso -1 ai gruppi A e B e peso +2 al gruppo C. La scelta della dimensione del peso è arbitraria, e quello che conta è solo che la somma sia sempre pari a zero e che i due gruppi che si vogliono confrontare abbia segno diverso.
Come si interpretano un planned contrast?
Da un punto di vista matematico, un contrasto è un confronto tra due “pezzi” di varianza. Per questo motivo, proprio come nell’ANOVA, il test su un contrasto restituisce come risultato un valore di F (o di t, a seconda dei software) che indica la varianza spiegata dal contrasto dopo aver eliminato tutta la varianza spiegata dal resto del modello. Se la somma dei pesi risulterà significativamente diversa da 0, il confronto specificato dai pesi sarà significativo. Più il p-value è prossimo a 0 più aumenta la probabilità che le medie pesate positivamente siano diverse da quelle pesate negativamente. In pratica, un contrasto significativo (p<alpha)indica che la differenza tra i due gruppi che si sono confrontati è statisticamente significativa.
Quanti contrasti si possono creare?
L’analisi dei contrasti prevede la possibilità di effettuare più test simultaneamente.
Ad esempio, nei disegni sperimentali controllati con più gruppi di trattamento, in genere il primo contrasto confronta il gruppo placebo con il gruppo sperimentale. I successivi contrasti poi vanno ad approfondire l’eventuale differenza tra i diversi trattamenti sperimentali.
Contrasti ortogonali: cosa sono?
Se il prodotto di tutti i contrasti fatti per ogni gruppo è pari a 0, allora saremo in presenza dei cosiddetti contrasti ortogonali. Questa categoria di contrasti è quella preferibile in quanto facilita l’interpretazione dei risultati. I contrasti ortogonali hanno la caratteristica di essere tra loro indipendenti, e pertanto i rispettivi p-values possono essere interpretati separatamente.
Ad esempio, se volessimo pianificare un ulteriore contrasto per valutare se la modalità solamente online (gruppo B) sia preferibile a quella solo in presenza (gruppo A), allora il gruppo C dovrà avere un peso pari a 0. In questo caso quindi, al fine di mantenere sia la regola della somma dei pesi che del prodotto dei contrasti uguale a zero, i pesi potrebbero quindi essere:
- Peso=1 per il Gruppo A
- Peso=-1 per il Gruppo B
- Peso=0 per il Gruppo C
La somma +1+1+0 restituisce infatti 0, e quindi è verificata la regola della somma dei pesi uguale a zero.
Inoltre, se moltiplichiamo i pesi per gruppo avremo:
- Gruppo A: 1*1=1
- Gruppo B: -1*1=-1
- Gruppo C: -2*0=0
Se sommiamo il prodotto dei contrasti otteniamo +1-1+0 ovvero nuovamente zero.
Contrasti polinomiali: cosa sono?
I contrasti polinomiali sono un tipo particolare di contrasti ortogonali (cioè tra loro indipendenti) che si utilizzano per studiare il trend delle medie (trend analysis). Sono costituiti da un set di pesi noto e possono essere di tipo lineare, quadratico, cubico, quartico…
Per questa tipologia di analisi i pesi sono già impostati dal software con cui effettui l’analisi e quello che devi fare è semplicemente scegliere tra le diverse possibilità il giusto polinomio (contrasto) in base a quale siano le tue domande sul trend. Ad esempio:
- polinomio lineare: permette di studiare i trend lineari. Puoi usare questo polinomio quando la tua domanda è del tipo “i punteggi medi tendono ad aumentare nel tempo?” oppure “i punteggi medi tendono a diminuire nel tempo?”. Oltre ad una lettura basata sul tempo, è possibile interpretarli anche in base alle misure confrontate. Ad esempio, “In media, abbiamo che per ogni tempo in più le medie aumentano?”
- polinomio quadratico: permette di studiare i trend quadratici (a parabola). Puoi quindi usare questo polinomio quando la tua domanda è del tipo: “c’è una tendenza nel trend delle medie ad incurvarsi?”oppure “le medie tendono prima ad aumentare e poi a diminuire?” o ancora “le medie tendono prima a descrescere e poi a crescere?”
- polinomio cubico: permette di studiare i trend cubici (con due cambi di direzione). In pratica, quando è presente questa tipologia di trend il grafico delle medie contiene una parte a forma di S. Questo polinomio risulta quindi utile per rispondere a domanda del tipo: “c’è una tendenza nel trend ad incurvarsi in direzioni diverse?”
Planned contrasts: e adesso?
Hai già scaricato la guida gratuita a 10 tra i termini statistici più utilizzati? Ti aiuterà a fare chiarezza ed a comprendere meglio cosa significano in pratica alcune delle espressioni statistiche che più si utilizzano nel corso di un’analisi dati.
