Pensa come uno statistico – senza la matematica

Riprendo (e traduco) da FlowingData un post comparso lo scorso 4 marzo 2010. Mi sembra un punto di vista interessante, in un momento storico in cui in Italia ci si appresta a chiudere le facoltà di statistica.

Mi definisco statistico perché, beh, sono laureato in statistica. Eppure, se mi fate domande specifiche sul test delle ipotesi o sulla dimensione campionaria, probabilmente la mia risposta non sarà del tutto corretta.

L’altro giorno stavo cercando di ricordarmi quando fosse stata l’ultima volta che ho fatto il test di un’ipotesi o condotto un’analisi formale. Non ci sono riuscito. Sono dovuto andare a scovare vecchi appunti dei tempi dell’università. È stato 4 anni fa, durante l’ultimo anno di corso. Ero bravo all’università, e sono sicuro che mi basterebbe una bella rinfrescata per essere in grado di farlo di nuovo. Ma non è la risposta che cercavo. La verità è che non sono cose che faccio abitualmente.

Invece, le cose veramente importanti che ho imparato non sono quelle formali, ma altre, che si sono dimostrate estremamente utili quando lavoro o gioco con i dati. Eccole, un po’ alla rinfusa.

Attenzione ai dettagli

Spesso sono le piccole cose a risultare le più importanti. Un giorno il professore ci proiettò un grafico: era una nuvola di punti con una curva di regressione. Ci chiese che cosa vedevamo. Beh, cresceva all’inizio, diventava pressoché orizzontale nel mezzo, e poi saliva ancora. Quello che non avevo notato era un punto dove la curva iniziava a crescere. Era quello che avremmo dovuto notare.

La lezione era che le tendenze e le configurazioni generali sono importanti, ma lo sono anche gli outlier, i dati mancanti e le incongruenze.

Il quadro generale

Nonostante quello che ho appena detto, è importante non farsi prendere troppo da singoli punti o da una piccola parte di un dataset veramente grande. L’abbiamo visto di recente a proposito di recessione e ripresa. Come qualcuno ha notato, se si fa un passo indietro e si prende in considerazione un arco di tempo più lungo, il contrasto tra l’era di Bush e quella di Obama non è poi così impressionante.

Senza programmi predefiniti

Non dovrebbe essere nemmeno necessario dirlo: avvicinatevi ai dati il più oggettivamente possibile.Non sto dicendo che non dovete avere idea di che cosa state cercando, ma non permettete ai vostri preconcetti di influenzare i risultati. Perché se cercate abbastanza a lungo una certa configurazione, probabilmente finirete per trovarla. Sì, ma a scapito di risultati più accurati.

Guarda all’esterno dei dati

Contesto, contesto, contesto. A volte ve lo forniscono i metadati. A volte altri dati.

Più cose sapete sul modo in cui i dati sono stati raccolti, da dove vengono, a quando si riferiscono, che cosa d’altro stava succedendo in quel periodo, più i vostri risultati saranno ricchi d’informazione e più fiducia potrete riporre nelle vostre scoperte.

Chiedetevi perché

Infine – e questa è la cosa più importante che ho imparato – chiedetevi sempre perché. Quando vedete un’anomalia in un grafico, dovreste chiedervi perché c’è. Se trovate qualche correlazione, chiedetevi se ha senso o no. Se ce l’ha, bene, ma se non ce l’ha bisogna scavare più a fondo. I numeri sono una gran cosa, ma ricordatevi che – quando ci sono di mezzo le persone – gli errori sono sempre possibili.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

Iscriviti

Ricevi al tuo indirizzo email tutti i nuovi post del sito.

Unisciti agli altri 374 follower

%d blogger cliccano Mi Piace per questo: