Il livello di significatività è la soglia che determina se un determinato risultato può essere considerato statisticamente significativo. Proprio per questo, i livelli di significatività sono una componente fondamentale dell’inferenza statistica. In questo articolo scoprirai come scegliere quello più adatto per il tuo studio.
Indice
Livello di significatività: che cos’è e come si calcola?
I livelli di significatività sono una componente fondamentale dell’inferenza statistica. Tuttavia, a differenza di altri valori, questi livelli non sono calcolati da un software ma devono essere determinati a priori da chi fa le analisi. Per ottenere questo valore non serve quindi nessun calcolo ma solo un po’ di ragionamento.
Il livello di significatività è la soglia che determina se un determinato risultato può essere considerato statisticamente significativo. E’ quindi un numero che viene deciso a priori, in fare di progettazione dello studio, e nei protocolli di ricerca si riporta nella sezione dedicata alla statistica.
Ad esempio, ipotizziamo che tu voglia confrontare il punteggio medio conseguito all’esame di statistica da due diversi gruppi di studenti. Il primo è composto dai frequentati il corso, il secondo dai non frequentanti. Analizzando i dati, emerge che i frequentanti hanno conseguito un punteggio medio di 26, mentre i non frequentanti di 24. Quindi nel campione si osserva una differenza tra i due punteggi medi.
Per poter dire se questa differenza rispecchia una differenza presente anche nelle due popolazioni (quella di tutti i frequentanti il corso di statistica e quella di tutti i non frequentanti) oppure se è dovuta solo al caso, è necessario effettuare un test d’ipotesi oppure calcolare un intervallo di confidenza.
In entrambe le procedure, è necessario scegliere a priori quale è il livello di significatività alpha. In altre parole, quanto deve essere grande la differenza tra i due punteggi medi perché il risultato sia statisticamente significativo.
Nei test d’ipotesi, infatti, i valori critici della statistica test che definiscono la regione di rifiuto sono definiti proprio a partire dal livello di significatività del test. Allo stesso modo, gli estremi degli intervalli di confidenza sono calcolati sempre a partire da questo livello di significatività.
Alpha ed errore di primo tipo
In statistica, il livello di significatività viene indicato con alpha (α). In termini un po’ più tecnici, alpha rappresenta la probabilità che l’analisi produca risultati statisticamente significativi quando in realtà è vera l’ipotesi nulla.
Nell’esempio precedente, l’ipotesi nulla è che le due popolazioni siano tra di loro sovrapponibili in termini di punteggio medio. Ovvero, che i frequentanti tendano in media a conseguire lo stesso punteggio all’esame di statistica dei non frequentanti. Pertanto, rifiutare l’ipotesi nulla quando in realtà è vera significa affermare che vi è una differenza statisticamente significativa tra i punteggi medi di frequentanti e non frequentanti quando nella realtà non è così.
Rifiutare un’ipotesi nulla che in realtà è vera significa commettere un errore di primo tipo. E, il livello di significatività alpha è proprio l’indicatore di quanto al massimo può essere grande questo errore. O, detto in altri termini, è la probabilità massima che si è disposti ad accettare di incorrere in un falso positivo.
Ovviamente questa probabilità deve essere piccola, in quanto è la probabilità di un errore. Il livello in assoluto più utilizzato è α=0.05.
Alpha=0,05: cosa significa?
Impostare α=0.05 significa che le tue analisi hanno il 5% di probabilità di restituire un risultato significativo (e quindi portarti a rifiutare l’ipotesi nulla) quando in realtà l’ipotesi nulla è vera.
Questo livello di significatività viene adottato molto frequentemente in quanto si ritiene che il rapporto 1/20 (cioè proprio 0.05), che per primo fu proposto da Fisher, sia sufficientemente piccolo da poter concludere che sia piuttosto improbabile che la differenza osservata sia dovuta al semplice caso. In altre parole, se imposti questa soglia stai dicendo che per il tuo studio va bene che 1 volta su 20 la differenza osservata potrebbe in realtà essere dovuta solo al caso.
Per comprendere meglio perché proprio 0.05, puoi pensare al lancio di una moneta. Al primo lancio esce testa. Al secondo lancio esce testa. Anche al terzo lancio esce testa. E probabilmente è proprio a questo punto che inizi a pensare che sia una coincidenza rara. Se poi esce testa anche al quarto lancio la coincidenza diventa molto rara. E se anche al quinto lancio esce testa pensi che davvero sia estremamente rara.
La probabilità di ottenere:
- testa con un lancio è infatti di 1 su 2, cioè il 50%
- due teste consecutive in due lanci è pari a 1 su 4, ovvero al 25%
- tre teste in tre lanci è di 1 su 8, il 12,5%.
- quattro teste in quattro lanci è di 1 su 16, cioè il 6,25%.
- cinque teste consecutive in cinque lanci è di 1 su 32, che corrisponde a poco più del 3%.
Il livello di significatività del 5% è proprio a metà strada tra quello che pensi tra l’ottenere 4 o 5 volte di fila testa lanciando una moneta.
Livello di significatività e p-value: che differenza c’è?
Come abbiamo visto, alpha rappresenta la quantità di evidenza che imposti tu a priori. Il p-value rappresenta invece la forza dell’evidenza che esiste nel tuo campione. Quando il p-value è minore di alpha, allora la forza dell’evidenza a favore di un risultato statisticamente significativo presente nel tuo campione è maggiore di quella impostata. In questo caso si può quindi concludere che il risultato ottenuto è statisticamente significativo.
Puoi pensare al livello di significatività come all’altezza in cui viene posizionata l’asticella nel salto in alto:
- più posizioni l’asta in alto, più avrai un alpha piccolo.
- più posizioni l’asta in basso, più avrai valori grandi di alpha.
Il p-value è l’atleta che effettua il salto. Ipotizziamo che l’atleta sappia saltare esattamente fino a 2 metri di altezza. Lo so, è poco realistico, ma se preferisci ipotizza che l’atleta sia un robot con prestazioni prestabilite. Se posizioni l’asticella più in alto di quella soglia, l’atleta fallirà il salto e quindi il risultato non sarà statisticamente significativo. Se invece la poni sotto i due metri, l’atleta non fallirà il salto ed in questo caso il risultato sarà statisticamente significativo.
Come cambiare il valore di alpha?
Cambiando il valore di alpha, puoi quindi aumentare o diminuire la quantità di evidenza richiesta nel campione per concludere che un determinato effetto esiste anche nella popolazione.
Come infatti già affermava Fisher nel lontano 1956: “Nessuno scienziato deve avere un livello di significatività predefinito al quale, per sempre e in ogni circostanza, rifiutare ogni ipotesi; piuttosto, deve ragionare su ogni particolare caso alla luce delle prove a disposizione e delle sue idee in merito”
Livello di significatività al 10%
Spostare alpha dal 5% al 10% significa abbassare il livello dell’asta. In questo modo, stai rendendo più facile il “salto” sia ai veri positivi che ai falsi positivi. In altre parole, stai rendendo più probabile (più facile) rifiutare l’ipotesi nulla. Questo vuol dire che:
- la probabilità di ottenere un falso positivo sarà adesso del 10%
- commettere un errore di primo tipo avrà adesso una probabilità del 10%
- la probabilità di rifiutare l’ipotesi nulla quando in realtà è vera sarà adesso del 10%
- l’analisi avrà una maggiore sensibilità, ovvero alcuni effetti che prima non risultavano statisticamente significativi, adesso lo saranno.
Livello di significatività all’1%
Passare da alpha al 5% all’1% significa invece alzare il livello dell’asta. In questo modo stai rendendo più difficile il “salto” per i falsi positivi ma anche per i veri positivi. In pratica, stai rendendo meno probabile (più difficile) rifiutare l’ipotesi nulla.
Il che da un lato riduce i falsi positivi, ma dall’altro aumenta i falsi negativi (cioè i veri positivi che non riescono a saltare aldilà dell’asta). Questo vuol dire che:
- ottenere un falso positivo avrà adesso una probabilità dell’1%
- la probabilità di commettere un errore di primo tipo sarà adesso dell’1%
- la probabilità di rifiutare l’ipotesi nulla quando in realtà è vera sarà adesso dell’1%
- l’analisi avrà una minore sensibilità, ovvero alcuni degli effetti che prima risultavano statisticamente significativi ora non lo saranno più.
Livello di significatività: e adesso?
Hai già scaricato la guida gratuita ai 10 termini statistici più utilizzati? Ti aiuterà a fare chiarezza ed a comprendere meglio cosa significano in pratica alcune delle espressioni statistiche che più si utilizzano nel corso di un’analisi dati. Buona lettura!
