Controllo di un'ipotesi

Un tutorial semplice e breve sui test di ipotesi usando Python

Immagine tratta da: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

In questo blog, fornirò un breve tutorial di test di ipotesi usando metodi statistici in Python. I test di ipotesi fanno parte del metodo scientifico che conosciamo tutti, qualcosa che probabilmente abbiamo imparato nei nostri primi anni di istruzione. Tuttavia, nelle statistiche, vengono fatti molti esperimenti su un campione di una popolazione.

“Determinare ciò che un campione di osservazioni ci dice su una spiegazione proposta, in generale, ci richiede di fare una deduzione, o come la chiamiamo noi statistici, a Reason With Uncertainty. Il ragionamento con incertezza è il nucleo dell'inferenza statistica ed è tipicamente fatto usando un metodo chiamato Null Hypothesis Significance Testing. ” -Ovens.

Come esempio per questo blog, userò un set di dati sul calcio europeo trovato su Kaggle e condurrò test di ipotesi. Il set di dati può essere trovato qui.

Passo 1

Fai un'osservazione

Il primo passo è osservare i fenomeni. In questo caso, sarà: c'è un impatto dell'aggressione della difesa su obiettivi mediamente ammessi?

Passo 2

Esamina la ricerca

Una buona mentalità da seguire è il lavoro più intelligente, non più difficile. Una cosa buona da fare è vedere se la ricerca relativa alla tua osservazione esiste già. In tal caso, potrebbe essere utile rispondere alla nostra domanda. Essere consapevoli di ricerche o esperimenti già esistenti ci aiuterà a strutturare meglio il nostro esperimento, o forse anche a rispondere alla nostra domanda e non dovremo condurre l'esperimento in primo luogo.

Passaggio 3

Formare un'ipotesi nulla e un'ipotesi alternativa

Un'ipotesi alternativa è la nostra ipotesi educata e un'ipotesi nulla è semplicemente l'opposto. Se l'ipotesi alternativa afferma che esiste una relazione significativa tra due variabili, l'ipotesi nulla afferma che non esiste una relazione significativa.

La nostra ipotesi nulla sarà: Non vi è alcuna differenza statistica negli obiettivi consentiti con le squadre con un punteggio di aggressione della difesa maggiore o uguale a 65 rispetto alle squadre inferiori a 65.

Ipotesi alternativa: esiste una differenza statistica negli obiettivi consentiti con le squadre con un punteggio di aggressione della difesa maggiore o uguale a 65 rispetto alle squadre inferiori a 65.

Passaggio 4

Determina se la nostra ipotesi è un test a una coda o un test a due code.

Test a una coda

"Se stai utilizzando un livello di significatività di 0,05, un test a una coda consente a tutta la tua alfa di testare la significatività statistica in una direzione di interesse." Un esempio di test a una coda sarebbe "Le squadre di calcio con un punteggio di aggressività inferiore a 65 consentono statisticamente un numero significativamente maggiore di goal rispetto alle squadre con un punteggio inferiore a 65".

Test a due code

"Se stai utilizzando un livello di significatività di 0,05, un test a due code consente a metà del tuo alfa di testare il significato statistico in una direzione e metà del tuo alfa per testare il significato statistico nell'altra direzione. Ciò significa che 0,025 è in ogni coda della distribuzione della statistica del test. "

Con un test a due code, stai testando il significato statistico in entrambe le direzioni. Nel nostro caso, stiamo testando il significato statistico in entrambe le direzioni.

Passaggio 5

Imposta un livello di significatività della soglia (alfa)

(valore alfa): la soglia marginale alla quale siamo d'accordo con il rifiuto dell'ipotesi nulla. Un valore alfa può essere qualsiasi valore impostato tra 0 e 1. Tuttavia, il valore alfa più comune nella scienza è 0,05. Un valore alfa impostato su 0,05 significa che stiamo bene rifiutando l'ipotesi nulla anche se c'è una probabilità del 5% o meno che i risultati siano dovuti alla casualità.

Valore P: probabilità calcolata di arrivare a questi dati in modo casuale.

Se calcoliamo un valore p e risulta pari a 0,03, possiamo interpretarlo dicendo "C'è una probabilità del 3% che i risultati che vedo siano in realtà dovuti a casualità o pura fortuna".

Immagine da Learn.co

Il nostro obiettivo è calcolare il valore p e confrontarlo con il nostro alfa. Più basso è l'alfa, più rigoroso è il test.

Passaggio 6

Eseguire il campionamento

Qui abbiamo il nostro set di dati chiamato soccer. Per il nostro test, abbiamo solo bisogno di due colonne nel nostro set di dati: team_def_aggr_rating e goals_allowed. Lo filtreremo su queste due colonne, quindi creeremo due sottoinsiemi per le squadre con un punteggio di aggressività difensiva maggiore o uguale a 65 e le squadre con un punteggio di aggressività difensiva inferiore a 65.

Per ricapitolare il nostro test di ipotesi:

Impatto dell'aggressione della difesa su obiettivi mediamente consentiti. Ipotesi nulla: non vi è alcuna differenza statistica negli obiettivi consentiti con le squadre con un livello di aggressione della difesa maggiore o uguale a 65 rispetto alle squadre inferiori a 65. Ipotesi alternativa: esiste una differenza statistica negli obiettivi consentiti con le squadre con un livello di aggressione della difesa maggiore uguale o uguale a 65 rispetto a squadre inferiori a 65. Test Alpha a due code: 0,05

Ora abbiamo due elenchi di campioni su cui possiamo eseguire test statistici. Prima di quel passaggio, traccerò le due distribuzioni per ottenere un'immagine.

Passaggio 7

Eseguire un test T a due campioni

Il test t a due campioni viene utilizzato per determinare se due mezzi di popolazione sono uguali. Per questo, useremo il modulo Python chiamato statsmodels. Non entrerò in troppi dettagli sugli statsmodels ma puoi vedere la documentazione qui.

Passaggio 8

Valutare e concludere

Ricordiamo che l'alfa che abbiamo impostato era a = 0,05. Come possiamo vedere dai nostri risultati dei test che il valore p è inferiore al nostro alfa. Siamo in grado di respingere la nostra ipotesi nulla e con il 95% di fiducia accettiamo la nostra ipotesi alternativa.

Grazie per aver letto! Per ulteriori approfondimenti sui test di ipotesi, puoi dare un'occhiata a questo progetto di gruppo su GitHub in cui sono stato coinvolto nel test di ipotesi qui.

risorse:

Forni, Matthew. "Statistiche e il" metodo scientifico "recuperati da YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Introduzione a SAS. UCLA: Gruppo di consulenza statistica. da https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (consultato maggio 16, 2019).

Manuale delle statistiche di ingegneria. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm