Tech

L'importanza della statistica

di Patrizio S.14 minuti

L'importanza della statistica

Tra le varie scienze che ci sono al mondo, una delle tante è quella della Statistica. Di statistica sentiamo spesso parlare: ai telegiornali, nei quotidiani, in Internet tramite sondaggi e così via. Quella che però sembra apparentemente qualcosa di poco utile è in realtà una scienza molto importante, che consente di migliorare la vita nei suoi molteplici aspetti.

Cos'è

La statistica è una scienza che, come cita Wikipedia, ha come fine lo studio quantitativo e qualitativo di un particolare fenomeno in condizioni di incertezza ovvero di non completa conoscenza di esso o parte di esso. Studia come raccogliere i dati a partire dall'avvenimento di un certo fenomeno e procede esplorandoli, analizzandoli, interpretandoli scientificamente con l'intento di fornire risposte alle domande che ci si pone in un modo rigoroso, scientifico, dai criteri stabili e ben fondati. La statistica può essere pensata come la scienza dell'inesattezza: non si presuppone di rispondere si o no alle domande, ma stabilisce la probabilità per la quale possiamo dichiarare un determinato evento vero o falso.  Questa scienza è molto usata in diversi campi: la fisica ne fa uso per descrivere certi fenomeni non facilmente osservabili; l'economia ne sfrutta le potenzialità di previsione (econometria) o di descrizione (modelli statistici, statistica economica); la medicina ci lavora per capire se, ad esempio, un farmaco ha effettivamente effetto sulla maggioranza delle persone o il contrario; nel marketing è importante perché permette di conoscere i desideri dei consumatori e di interpretarli al meglio, al fine di fornire dei prodotti che la clientela stessa desidera davvero.

Il problema di Monty Hall

La statistica si basa molto sulla probabilità, un concetto dalla definizione ambigua ma che ha ampio risalto in molte situazioni, come ad esempio i giochi del lotto e in generale i giochi d'azzardo, ma anche il lancio di un dado ed altro. E, perché no, anche nei quiz a premi. Forse qualcuno di voi avrà già sentito parlare del problema di Monty Hall: questi era il conduttore di una popolare trasmissione televisiva americana basata su un gioco a premi. Il gioco consisteva nel scegliere una delle tre porte che si presentavano davanti al concorrente, le quali nascondevano due capre e un'automobile, fornendo quindi la probabilità pari a un terzo (numero di casi favorevoli: 1 diviso numero di casi possibili: 3) di vincere la vettura. Il gioco divenne celebre quando una ragazza pose a Marilyn Von Savant la seguente questione: "Supponi di essere in un gioco televisivo, e di dover scegliere tra tre porte. Dietro ad una porta c'è un auto, dietro le altre una capra. Tu bussi ad una porta, per esempio la numero 1, e il conduttore, che sa cosa c'è dietro ad ogni porta, apre un'altra porta, ad esempio la numero 3, dietro la quale c'è una capra. Il conduttore, a questo punto, ti chiede se vuoi cambiare una porta. Secondo te, è meglio tenere o cambiare la porta?". Marilyn rispose che conveniva sempre cambiare, perché le probabilità di vincere un auto salivano a due terzi. Ciò le costò numerose critiche, che principalmente la accusavano di essere una persona incompetente e ignorante nel campo della matematica. Ma in realtà Marilyn aveva ragione. Provate a pensarci voi e, se cercate conferma alle vostre teorie o non riuscite a trovare la visione, guardatevi questo spezzone di video estratto dalla serie televisiva Numb3rs che spiega molto bene il tutto.

La legge dei grandi numeri

Quello che colpisce nel video, oltre ovviamente alla spiegazione del fenomeno, è anche l'ultima frase che il professore dice: provateci a casa per un po' di volte. E noi vi consigliamo di provare a fare un piccolo esperimento. Prendete una moneta non truccata, e fate il gioco del testa o croce una decina di volte; alla fine, segnatevi quante volte vi è capitato testa e quante volte vi è capitato croce. Ora, rifate lo stesso esperimento per cento volte, e procedete a scrivere il risultato. Se avete ancora un po' di pazienza, oppure in un momento libero della vostra giornata, ripetete lo stesso esperimento altre 1000 volte, o almeno 500. Poi, riprovate il lancio per un'altra decina di volte. Guardate infine i risultati ottenuti, e scoprirete alcune cose che all'inizio potranno risultare un po' strane ma in realtà sono ben spiegate dalle leggi della statistica. Guardate bene: negli esperimenti da dieci lanci, la prima volta otterrete molto probabilmente un risultato diverso dal secondo; ad esempio, nel primo caso avete ottenuto 7 teste (chiamiamole T) e 3 croci (chiamiamole C), nel secondo invece 4 T e 6 C. Quando facciamo l'esperimento, ci aspettiamo un esito, e immaginiamo che questo sia la proporzione di T nel computo totale dei lanci. In linea teorica, la probabilità di T è di 1/2 (1 caso favorevole: T su due casi possibili: T e C). Nell'esperimento dei dieci lanci, la proporzione sarà in realtà 7/10 e 4/10, risultati cioè diversi da un mezzo. Ma nell'esperimento da 100 lanci otterrete qualcosa molto vicino a 50 T su 100 casi, cioè una proporzione molto vicina ad 1/2, ad esempio 48/100. E nell'esperimento dei 1000 lanci quello che otterrete sarà ancor più vicino a 1/2, magari 490/1000. In poche parole, maggiore è il numero di lanci, maggiore è la vicinanza dell'aspetto pratico all'aspetto teorico. Questo risultato è uno dei fondamenti della statistica, e viene chiamato Legge dei Grandi Numeri. Tale legge spiega anche che i numeri del Lotto hanno pari probabilità di uscire ad ogni estrazione; motivo per cui non dovete farvi ingannare dagli schermi di molte ricevitorie che vi mostrano i numeri ritardari: se un numero non esce da tanto tempo non significa che verrà fuori nelle prossime estrazioni con più probabilità, poiché tutto ciò è solo effetto del caso.

Inferenza Statistica

Quindi, come abbiamo appena detto, più esperimenti effettuiamo, più il valore che ci interessa e che analizziamo dal punto di vista pratico si avvicina al vero valore della popolazione, ossia al valore che si otterrebbe se l'esperimento venisse effettuato infinite volte. A cosa ci serve questo risultato? Ci serve ad ovviare al più grande problema su cui la statistica si basa: la numerosità. Quando dobbiamo effettuare delle statistiche, dobbiamo innanzitutto stabilire la popolazione di riferimento, ossia l'insieme delle unità che interessano il fenomeno; quando ci interessa vedere l'efficacia di un sonnifero, la popolazione è l'insieme delle persone che soffrono di insonnia; se invece siamo interessati all'efficacia di un fertilizzante, la popolazione è l'insieme di tutti i terreni su cui questo fertilizzante potrebbe essere applicato; o ancora, se cerchiamo di capire l'età media dei residenti in Italia, la popolazione di riferimento è l'insieme delle persone che vivono nel Belpaese, quindi 60 milioni circa. Per ottenere dati significativi dal punto di vista della correttezza, abbiamo bisogno della popolazione di riferimento; ma chiaramente è difficile ottenere questa popolazione, vuoi per la numerosità della stessa, vuoi per la difficoltà di raggiungerla (come facciamo a ottenere una lista di tutte le persone del mondo che soffrono di insonnia?). Bisogna quindi agire in un altro modo: selezioniamo pertanto un campione, ossia una parte della popolazione soggetta ad indagine, e conduciamo le statistiche su di esso. Fare questo comporta però un ulteriore problema: siamo sicuri che queste persone che abbiamo scelto rappresentino efficacemente la popolazione di riferimento? Immaginate di condurre una ricerca sull'efficacia di un sonnifero: per fare ciò troviamo un po' di persone da vari Paesi del mondo che soffrono di insonnia. Perché queste persone siano perfettamente funzionali allo scopo della ricerca, dobbiamo estrarle completamente a caso, e magari anche essere sicuri che queste non abbiano già usato altri sonniferi, perché magari questi influiscono sugli effetti che il farmaco oggetto di indagine provoca.

Le stime

Una volta certi della perfetta rappresentatività del campione (cosa che nel campo delle ricerche di mercato assume ancor più importanza, vedremo perché) possiamo cominciare ad effettuare le statistiche necessarie. Partendo però con un assunto: ogni risultato che troveremo avrà si una stima puntuale (ad esempio, la media aritmetica), ma questa non sarà sicura al 100%, proprio perché indaghiamo su un campione e non sulla popolazione di riferimento. Per questo forniamo il cosiddetto intervallo di confidenza, ossia un intervallo numerico che contiene proprio la stima puntuale. Non vi è chiaro? Facciamo un esempio. Siamo interessati a verificare la proporzione di maschi e femmine nelle scuole primarie d'Italia. Prendiamo a caso (o quasi) alcune scuole del territorio, ad esempio 100, e lavoriamo su di queste. Troviamo che la proporzione di maschi in queste scuole è del 49.8%, ma proprio perché le persone di queste 100 scuole sono un campione e non la popolazione, non siamo completamente sicuri che questa sia la vera proporzione. Per cui, a questa percentuale (la stima puntuale) associamo l'intervallo di confidenza che ci dice che la vera percentuale di maschi, quindi la percentuale della popolazione, oscilla con alta probabilità (diciamo al 95%) tra il 49,75% e il 49,85%. Cosa significa "con alta probabilità"? Significa che, nel 95% dei casi, l'intervallo di confidenza trovato è vero, non sbagliato; in altre parole, siamo quasi certi (attenzione: quasi, non completamente!) che quello che abbiamo ricavato dal nostro campione rappresenta efficacemente la popolazione. Aumentare la probabilità dell'efficacia è possibile, possiamo arrivare anche al 99%, ma ciò significa fornire intervalli di confidenza più ampi, quindi fornire maggiori margini di errore, cioè stime meno precise.

Perché la statistica?

Una volta capito come funziona basilarmente la statistica, ci chiediamo: ma perché tutta questa trafila, queste complicanze, queste teorie pesanti? E noi vi rispondiamo che la statistica migliora la vita. Immaginate: comprereste mai un farmaco, magari spendendo molti soldi, che alla fine non ha efficacia? Avviereste mai un'attività in un determinato settore se già sapeste, grazie alle statistiche, che tal settore è in caduta libera da anni? Non trovereste comodo, nel caso voi foste azionisti in Borsa, sapere l'andamento futuro di un determinato titolo? Se siete dei commercianti, non vi semplificherebbe sapere di quanto incidono i fattori stagionali (come il Natale e le altre festività, o le variazioni di temperatura) nelle vostre vendite? Queste sono tutte domande a cui molto probabilmente risponderete sì. Diciamoci la verità: capire come funziona il nostro mondo, ma anche il mondo in generale, è una gran bella comodità. Vi facciamo un piccolo esempio, piuttosto banale e abbastanza chiarificativo. Siete degli studenti alle scuole superiori, e volete cercare di capire come migliorare il vostro rendimento scolastico in due materie, come matematica e scienze. In matematica avete dieci voti: 5 volte avete preso 5 e 5 volte avete preso 7; anche in scienze avete dieci voti: 5 volte avete preso 4 e 5 volte avete preso 8. Cosa potete notare? Certamente noterete che la vostra media in entrambe le materie è 6: siete salvi, nessun debito. Ma fate caso alla variabilità dei voti: in matematica andate poco sotto o poco sopra la sufficienza, perché come minimo avete preso 5 e come massimo 7; in scienze invece avete molti alti e bassi: cadete spesso in basso (avete preso 4 per ben 5 volte!) ma avete anche momenti di eccellenza (8 è certamente un gran bel voto!). Da qui potete ricavare alcune informazioni. In matematica siete sufficienti, e vi posizionate molto vicino a questo voto; se studiate di più, probabilmente non vi discosterete molto dai voti che già avete preso. In scienze siete molto più variabili: ciò significa che studiate un po' a caso, siete mal organizzati ma avete le capacità per avere una media superiore al 6. Morale della favola? Per matematica vi serviranno tanti sforzi per migliorare; in scienze invece dovrete imparare a organizzarvi meglio: capite facilmente questa materia, vi basta poco per alzare notevolmente la media.

Ricerche di mercato

Ma non vogliamo assolutamente fermarci ad esempi semplici, per cui vi illustriamo ambiti un po' più sofisticati. Partiamo allora dal campo delle ricerche di mercato. Negli anni '90 la KFC (Kentucky Fried Chicken) volle lanciare un nuovo menù per famiglie nei suoi locali in Inghilterra. La KFC era un marchio che veniva generalmente associato a ristoranti di tipo take away, e annoverava, nella sua clientela, principalmente giovani uomini ma non attirava l'interesse delle madri inglesi; McDonald's invece riusciva ad attirare le famiglie nei suoi locali in percentuale superiore. L'azienda decise quindi di risolvere questo problema e lanciare, in Inghilterra, un nuovo menù per le famiglie, il Family Feast (FF), cercando quindi di attirare anche le madri inglesi. Per scoprire se il lancio avrebbe portato ai miglioramenti desiderati, venne commissionata una ricerca che portò i risultati sperati: il nuovo menù FF avrebbe effettivamente attratto le madri inglesi, inducendole a consumare i pasti con la famiglia nei locali KFC. E ciò accadde: dal lancio del menù avvenuto nel Maggio del '94, il numero di clienti di KFC aumentò vistosamente, ottenendo quanto desiderato.

Servizi Web

Quello che forse non vi aspettavate dalla statistica è la ampia varietà d'uso, tant'è che essa viene impiegata perfino nei computer e negli smartphone per le traduzioni linguistiche o il riconoscimento vocale. Pensate a Siri o a Google Now, quei servizi integrati su iPhone e Android che vi permettono di parlare e riconoscono ciò che dite: come fanno? Facile, direte voi: creiamo un database che raccoglie il maggior numero di parole possibili per ogni lingua (in pratica, è come se ci inserissimo tanti dizionari), e poi ci associamo un sistema che sappia appunto riconoscere le lettere e le parole stesse. Ma quando parlate male? In questo caso il software riconosce, grazie all'uso della statistica, quale parola va inserita al posto di quella da noi mal pronunciata: riesce cioè a capire il significato dei termini ben espressi, ne analizza il contesto e ne ricava la parola migliore. Così come per le traduzione: a volte una parola in una lingua è traducibile in diverse parole di un'altra lingua: anche qui, il software di traduzione fa le dovute statistiche e restituisce il risultato migliore partendo dall'elaborazione del contesto espresso dalla frase. Una cosa simile si sta evolvendo anche nel campo del Web Semantico, ossia quella nuova rete Internet che restituisce i risultati in base al contesto che le parole di ricerca esprimono. Ma di questo parleremo in un articolo futuro.

Azienda

Anche nelle imprese, ovviamente, la statistica ha grande risalto e può essere fondamentale nelle decisioni strategiche e nell'analisi del vantaggio competitivo. Oltre alle già citate ricerche di mercato, abbiamo vari campi di applicazione. Uno di questi è il controllo statistico della qualità, cioè un insieme di procedure che, durante lo svolgimento di un processo produttivo, raccolgono dati circa le caratteristiche del processo stesso o del prodotto al fine di intraprendere eventuali azioni correttive. Uno degli strumenti fondamentali per il controllo statistico è quello delle carte di controllo, ossia diagrammi in cui sono riportati i punti rappresentativi di ogni sottogruppo (tipo di prodotto, numero di difetti, percentuale di pezzi non conformi alle direttive...) e che possono far capire, ad esempio, se un determinato processo funziona regolarmente, o meglio, se gli errori avvenuti nel processo stesso sono effetto puramente del caso o hanno una qualche struttura sistematica; ciò quindi consente di conoscere al meglio i propri impianti, e intervenire in fretta ed efficacemente nel caso di rilevazione di anomalie. Le carte di controllo hanno forte valenza, e le loro direttive sono ben regolate e specificate dall'Ente Nazionale di Unificazione (UNI).

Il mondo in generale

Noi ci fermiamo qui con gli esempi, ma sappiate che la statistica ha davvero tanti campi di utilità: la fisica, la meccanica, il settore alimentare, la chimica, l'enologia, la medicina, ma anche il nostro mondo, i luoghi in cui viviamo, siano essi piccoli come i comuni o grandi come i Paesi o i continenti. Per questo ci sentiamo in dovere di citare i lavori fatti dall'Istat in collaborazione con Cnel e che hanno prodotto il documento BES: Benessere Equo Sostenibile. Piccola introduzione: generalmente la ricchezza di una nazione viene misurata con il Pil, ossia il Prodotto Interno Lordo; questa definizione, come scritto in un articolo presente qui su Tasc, è un po' ambigua perché corrisponde all'equazione soldi=felicità, che non è necessariamente vera. C'è pertanto bisogno di introdurre nuovi criteri che badino non soltanto all'aspetto economico ma anche a quello sociale e ambientale. Da questa osservazione nasce appunto il Bes, che si fonda su 12 indicatori tra cui la salute, l'istruzione e l'ambiente. Se siete curiosi (e noi speriamo vivamente lo siate) vi invitiamo a cliccare su questo link per vedere come il Belpaese si attesta in base a tali indicatori.

Big Data e Data Visualization

Uno degli aspetti positivi della statistica è quindi, come già detto prima, la conoscenza del nostro mondo nei suoi molteplici, vasti aspetti. E la varietà dei dati sta aumentando esponenzialmente: la combinazione tra statistica e informatica ha prodotto la categoria dei Big Data, di cui vi abbiamo già abbondantemente parlato in precedenza. Il bello dei Big Data è certamente la gran quantità di informazioni da analizzare, e quindi la possibilità di conoscere sempre di più il mondo che ci circonda; oltretutto, gran quantità significa stime più precise: ricordiamo che, come detto all'inizio dell'articolo, più la numerosità del campione è vicina a quella della popolazione di riferimento, più i risultati che otteniamo saranno veritieri e precisi. Un'ulteriore campo che si sta facendo strada negli ultimi tempi è quello della Data Visualization, letteralmente la "rappresentazione dei dati". Sicuramente tutti voi avrete sentito recentemente parlare di infografica: ecco, questa è proprio una delle strumentazioni che stanno prendendo sempre più piede, per la loro semplicità d'uso, bellezza e trasmissione efficace di informazioni. Per darvi un esempio, vi mostriamo selfiecity.net, un progetto consistente in una ricerca sulla moda del momento, i selfie, i cui risultati sono resi disponibili attraverso una dashboard interattiva. Fatevi un salto nel sito, guardatevi cosa è stato scoperto grazie a questa ricerca, ma soprattutto, divertitevi a navigare e consultare i dati.

Social Media

Ma come non considerare il forte impatto che i social network stanno avendo nel corso degli anni più recenti? Ciò che si è scoperto è davvero particolare: sembrerebbe quasi che essi riescano a fornire molte più informazioni - e assai più precise - di ogni altro strumento statistico di raccolta dei dati. Sono quindi nati istituti di ricerca di mercato specifici proprio per questo settore, come Voicesfromtheblogs e Blogmeter. Insomma, gli utenti di Facebook e Twitter, spesso inconsapevolmente, oggetto di analisi da parte degli istituti nel loro campo di attività online. A tal proposito vogliamo mostrarvi un fatto piuttosto esemplificativo e particolare. Quest'anno, come ogni altro anno, sono stati assegnati gli Oscar, e c'è chi s'è chiesto: ma i social media possono aver individuato in anticipo i premi corretti? Tra i numerosi enti che hanno cercato di risolvere il quesito, vi segnaliamo l'agenzia Way  To Blue, la quale ha impostato la ricerca con solo due parametri: il volume di tweet (ossia il numero di tweet riferiti ad un determinato film) e il desiderio di vincere (tweet dichiaranti molto chiaramente il vincitore/i vincitori del premio). Risultato? Ben 5 previsioni corrette su 6: miglior film (12 anni schiavo), miglior regista (Alfonso Cuaron), miglior attore (Matthew McConaughey), miglior attrice (Cate Blanchett), miglior attore non protagonista (Jared Leto). L'unico errore ha riguardato il premio per la migliore attrice non protagonista, Lupita Nyyong'o, la quale però era praticamente sconosciuta prima degli Oscar stessi. Per vedere al meglio i risultati, guardatevi l'infografica qui sotto.

Statistica per tutti

Ben fatta quest'infografica, vero? Se siete curiosi di vedere altre informazioni, vi lasciamo un po' di link dove scoprire ricerche particolari e statistiche interessanti.

Vi lasciamo inoltre con un video, girato da alcuni ragazzi della facoltà di Scienze Statistiche dell'Università di Padova in occasione di un concorso, che risulta molto simpatico ma allo stesso tempo esemplificativo delle possibilità che la statistica può offrire a ciascuno di noi.

Conclusioni

Viviamo in un mondo che aumenta le proprie conoscenze giorno dopo giorno. E se pensiamo che fino ad un centinaio di anni fa circa nemmeno esisteva il telefono, e che cinquant'anni fa nemmeno esisteva il personal computer, capiamo quanto stiamo progredendo velocemente. Quello che però noi vogliamo evidenziarvi è non tanto la conoscenza, ma la conoscenza ancora da scoprire. Pensate al progresso in corso d'opera, e immaginate di vivere sessanta anni fa: non vi sarebbe nemmeno passata per la testa l'idea che un giorno noi di Tasc saremmo stati qui a scrivere articoli da un dispositivo, dandovi la possibilità di scoprire innovazioni, progetti, idee grazie a qualche ora trascorsa davanti ad una tastiera. Immaginate ora questa situazione al giorno d'oggi: davanti a noi ci sono anni di grandi cambiamenti, di aumenti esponenziali delle conoscenze. Conoscenze che, come studiamo a scuola, provengono da ricerche approfondite, da studi lunghi molti anni, dalla volontà di tante persone che affiancano le loro intuizioni a criteri rigorosi. Inoltre, proprio perché sono conoscenze da acquisire, spesso non siamo capaci di stabilire il loro grado di affidabilità e verità. La statistica serve proprio a risolvere questo problema: con essa stabiliamo le regole del mondo, analizziamo la verità stessa. Non forniamo più conoscenze a caso, in modo esageratamente approssimativo, ma compiamo scelte informate, stabiliamo l'incertezza riguardo ad un contesto ed ai fattori che lo influenzano, forniamo previsioni sensate (ma attenzione a non esagerare: le regole vanno bene, ma un po' di testa serve sempre; fatevi un giro qui e capirete perché) e quindi scegliamo razionalmente. Analizziamo pertanto la realtà, la comprendiamo, studiamo in quali modi i fenomeni si concatenano, diamo un valore a parametri che inizialmente possono sembrare non definibili, contribuendo così al progresso della conoscenza stessa. E conoscere significa migliorare, capire, innovare, comprendere al meglio.

Bisogna ringraziare la statistica se possiamo dire che fumare fa male, o che l'amianto uccide; in generale, bisogna ringraziare la statistica per le tante scoperte che senza di essa non avrebbero mai potuto essere tali. Insomma, bisogna ringraziare la statistica se la società si sta evolvendo e ci permette di vivere al meglio, facendoci capire cosa davvero succede nel mondo. È ora di conoscere meglio questa disciplina, perché possiamo davvero essere tutti migliori.

Ultima cosa: se vi abbiamo suscitato un po' di interesse, vi lasciamo con un giochetto. Immaginate di aver giocato, ad esempio, a Monopoli. La partita con i vostri amici è durata, facciamola grande, tre ore. Siete capaci di dire qual è la media del punteggio che avete ottenuto lanciando i dadi? Vi aspettiamo nei commenti, magari anche con la spiegazione della vostra risposta!

TechTendenzeScienzaWebAziendeHowto