Non vi fidate dei sondaggi? Fate bene, ecco perché

Se nei sondaggi politici che inondano quotidianamente la nostra informazione il Partito Democratico perde mezzo punto percentuale, si parla di “crollo”. Se il Movimento 5 Stelle guadagna sette decimali si parla di “boom” e tra i partiti più piccoli si disquisisce anche di un singolo 0,1 per cento. È l’inevitabile scotto che si paga da quando i sondaggi sono diventati un immancabile appuntamento in tutti i talk show televisivi e non solo. Con il risultato che ogni giorno assistiamo a un continuo saliscendi di partiti, amplificato dalle esigenze mediatiche che costringono gli stessi sondaggisti ad appligliarsi a ogni decimale per vaticinare il futuro di un partito.

Ma ha senso questo modo di presentare i sondaggi? No, non ne ha. E se fosse mostrata con più chiarezza la metodologia con cui vengono realizzati sarebbe evidente a tutti. Che senso ha discutere di decimali quando l’intervallo di confidenza (la forbice all’interno della quale ci si può davvero fidare di quanto ci dicono i sondaggi) varia tra i cinque e i nove punti percentuali? Il modo corretto di dare i numeri, di conseguenza, sarebbe piuttosto questo: “Il Partito Democratico è tra il 32 e il 38%, la Lega Nord tra il 9 e il 15%, il Nuovo Centrodestra tra l’1 e il 6%”. Non stupisce che nessuno abbia il coraggio di raccontare i sondaggi in questo modo, visto che l’interesse spasmodico che l’opinione pubblica coltiva nei confronti delle rilevazioni scomparirebbe all’istante.

D’altra parte, se il campione è di mille persone e un partito cala di tre decimali, significa che solo tre persone in meno hanno dichiarato il loro favore nei confronti di quel partito. Tre persone su mille, all’interno di un campione sempre diverso ogni settimana (nella stragrande maggioranza dei casi). Non c’è bisogno di conoscere la scienza statistica per capire che tre persone in più o in meno non possono essere significative per parlare di “crescita” o “calo” di una forza politica. E questo nel migliore dei casi, perché alcuni istituti – per esempio l’Istituto Piepoli – forniscono sondaggi basati su un campione di poco più di 500 persone. In questo caso, basta una persona in più o in meno per determinare un calo o una crescita di due decimali (va detto che Piepoli, infatti, non segnala cambiamenti inferiori al mezzo punto e che nelle ultime settimane ha cambiato metodologia).

Figura 1: esempio metodologia Istituto Piepoli

La situazione peggiora ulteriormente se si prende in considerazione un altro aspetto: “Quei 500 sono quelli che hanno al risposto al sondaggio”, spiega Paolo Natale, professore di Metodologia della Ricerca sociale alla Statale di Milano e consulente Ipsos, “ma di questi quanti hanno detto quale partito voteranno?”. In effetti, anche quel 30/40% che afferma di volersi astenere o di essere indeciso fa parte del campione, col che i numeri che determinano un presunto “boom” di un partito sono ancora più piccoli.

Il racconto dei sondaggi, quindi, si attacca a logiche mediatiche per appassionare il lettore e il telespettatore. Rinunciando però alla corretta esposizione, che richiederebbe di esplicitare l’intervallo di confidenza e soprattutto di evitare la drammatizzazione dei decimali in più o in meno che un partito conquista o perde ogni settimana. Questo dando per scontato che una narrazione corretta dei sondaggi possa essere di qualche aiuto, visto che casi recenti fanno venire il dubbio che gli stessi sondaggi siano semplicemente inutili.

Che senso ha dare tutta questa attenzione a rilevazioni che sbagliano clamorosamente le loro previsioni? Nel 2013 il Pd avrebbe dovuto vincere facilmente, invece finì con un pareggio con il Movimento 5 Stelle. Nel 2014, alle Europee, il Movimento 5 Stelle doveva essere alle calcagna del Pd, invece Renzi conquistò quasi il doppio dei voti del partito guidato da Beppe Grillo. Che cos’è successo? “Ci sono sempre partiti sottostimati nei sondaggi e altri sovrastimati. Un problema che i sondaggisti risolvono grazie alla ponderazione, andando a vedere cos’è successo nelle tornate precedenti. Ma se un partito è appena nato, è impossibile fare delle ponderazioni. Così, quello che è successo nel 2013 è che il Movimento 5 Stelle è stato abbondantemente sottostimato, mentre al Pd venivano sempre assegnati dei punti in più”, spiega Natale.

Da una parte l’impossibilità di fare una ponderazione, dall’altra una ponderazione sbagliata. Nel 2014, probabilmente, i sondaggisti speravano di aver risolto il problema. “Nel 2014 si sapeva che il M5S era sottostimato, quindi gli sono stati attribuiti dei voti in più. Del Pd si sapeva che era sovrastimato, e quindi gli sono stati attribuiti dei voti in meno, in modo che si arrivasse un vantaggio importante ma limitato”, prosegue Paolo Natale. “La cosa più interessante è che se si vanno a vedere i sondaggi prima che venisse effettuata la ponderazione erano perfetti. Davano il Pd attorno al 40% e il Movimento 5 Stelle attorno al 20%, le persone interpellate erano state sincere e non c’era bisogno di alcuna ponderazione”. E questo è quanto risulta sia avvenuto in tutti i maggiori istituti di rilevazioni statistiche.

Ma se in alcune occasioni non ci si può fidare di quanto dichiarano le persone che rispondono ai sondaggi e in altre non ci si può fidare delle ponderazioni, come si fa a fidarsi dei sondaggi? “Infatti i sondaggisti non sanno che pesci pigliare, soprattutto con due fenomeni molto nuovi quali sono il Movimento 5 Stelle e il Partito Democratico dell’era Renzi”. Oggi, però, che cosa sia successo nel 2014 e perché i sondaggi hanno di nuovo sbagliato le previsioni è abbastanza chiaro: “Tre fattori hanno avuto un ruolo decisivo, il primo è più tecnico: i miglioramenti negli algoritmi di stima fornivano dati di fatto già ponderati. In più, probabilmente, in occasione delle Europee il M5S godeva di una maggiore ‘desiderabilità sociale’, frutto anche di una stampa meno negativa e di alcuni quotidiani e testate che lo hanno apertamente appoggiato, rendendo più facile per l’elettore ‘confessare’ la sua scelta”.

Probabilmente, però, il fattore più importante in assoluto è un altro: la bassa affluenza. “Un’affluenza bassa esclude il ventre molle dell’elettorato, quelli che non sanno cosa votare e magari decidono negli ultimissimi giorni, seguendo uno stimolo immediato. Escludendo il 45% di persone che non si recano al voto, quindi, rimangono in campo solo quelli più interessati alla politica e più vicini a un certo partito. In questo modo, grazie all’affluenza in calo, si esclude una bella percentuale che risponde un po’ a caso”. Inoltre, non si corre il rischio che le previsioni vengano sconfessate da una percentuale importante di elettori che ha preso la sua decisione nelle ultime due settimane, quando per legge i sondaggi non possono più essere divulgati.

E così, i sondaggisti saranno nuovamente alle prese con il dubbio se fidarsi o meno di quanto le persone dicono, se ponderare o meno i loro risultati e se sperare in una bassa affluenza per veder confermate le loro previsioni. Perché, oggi come oggi, sembra che i sondaggi siano affidabili solo la settimana dopo in cui si è andati al voto, quando, come per magia, le rilevazioni tornano a essere conformi con i risultati usciti dalle urne.

Il caso più evidente è ancora una volta quello delle Europee: prima che si andasse al voto tutti gli istituti attribuivano al Pd circa il 33%; alle elezioni il partito di Renzi conquista invece il famoso 40,8%, qualche settimana dopo i sondaggi scoprono che il Partito Democratico è attorno al 43%. Messa così, sembra quasi una “ponderazione” fatta col buon senso, partendo dal risultato noto delle Europee e mixando un po’ di effetto bandwagon (il fenomeno per cui un partito cresce dopo aver vinto), un po’ di effetto 80 euro e arrivando così al 43%. E invece? “Invece, semplicemente, gli analisti hanno smesso di ponderare il risultato del Pd e quello del Movimento 5 Stelle, ottenendo risultati conformi alla realtà dei fatti”, spiega Paolo Natale.

Figura 2: il Pd prima e dopo le europee nei sondaggi Ixè

Questo per quanto riguarda il confronto tra sondaggi pre e post elezioni. Ci sono poi casi in cui diversi istituti monitorano lo stesso fenomeno ottenendo risultati estremamente diversi. È il caso dei sondaggi che hanno lo scopo di rilevare la fiducia che gli italiani hanno nelle personalità politiche più note. Un caso recente lo potete vedere nell’immagine qua sotto.

Figura 3: la fiducia nei leader nei sondaggi Ixè (sopra) ed Emg (sotto)

La fiducia in Mattarella è al 74% o al 50%? E quella in Renzi è al 32 o al 41%? “Anche in questo caso ci sono tre fattori. Prima di tutto: che cos’è la fiducia? Si tratta di un concetto poco misurabile in sé, un fenomeno che non ha un’unità di misura. Alcuni usano il voto scolastico, da uno a 10, decidendo che la fiducia è rappresentata da tutti i voti superiori a sei. Altri, invece, chiedono se si abbia ‘per nulla, poca, abbastanza, molta’ fiducia in un leader, tenendo poi conto di quanti rispondono ‘abbastanza’ o ‘molta’. Ma ‘abbastanza’ non è la stessa cosa del voto ‘sei’”. Di conseguenza, paragonare sondaggi di istituti diversi è un esercizio inutile – soprattutto quando si indagano fattori poco misurabili in sé, come la fiducia – a causa delle diverse metodologie con cui questi vengono fatti.

E a proposito delle diverse metodologie, ci si può fidare di un sondaggio a cui hanno risposto 800 persone su 10.000 contattate? E di un sondaggio condotto su internet, in un paese in cui circa la metà della popolazione non è connessa? “Tra i nove su dieci che non rispondono a un sondaggio, però, ci sono però molti ‘fuori quota’, ovvero persone che è il sondaggista a non essere interessato a sentire, perché, per fare un esempio, ha magari già coperto la quota degli over-65”, prosegue Paolo Natale. Ciononostante, in molti hanno fatto notare come l’alto numero di persone che non risponde ai sondaggi potrebbe inficiare il sondaggio, visto che spesso hanno caratteristiche socio-economiche simili: “Ma non è mai stata trovata una correlazione di questo tipo. Moltissimi non rispondono, semplicemente, perché sono impegnati a fare altro”.

Figura 4: esempio di metodologia Ixè

Un altro aspetto è quello relativo alla metodologia più classica, il CATI (computer assisted telephone interviewing), ovvero il sondaggio condotto telefonando ai numeri fissi. Che però, negli ultimi anni, sono sempre meno, visto che il 30% circa degli italiani ha soltanto il cellulare. Un problema, anche questo, che si risolve miscelando il CATI e il CAMI (il sondaggio condotto telefonando su mobile). Più difficile fidarsi dei sondaggi condotti via internet, il cosiddetto CAWI, che esclude una porzione enorme e molto connotata di popolazione che non è connessa.

“Ma anche in questo caso si può risolvere. Certo, fare un sondaggio CAWI senza costruire il campione con attenzione dà dei risultati senza senso, in cui il Movimento 5 Stelle è al 40%. Se invece si tara il campione sulla base dei risultati precedenti allora anche il sondaggio via internet è affidabile”. Un istituto che tipicamente conduce i suoi sondaggi col metodo CAWI è Emg, la società che fornisce le rilevazioni per il TgLa7. In questo caso, in effetti, non solo il campione viene costruito, ma si tratta anche di un panel, ovvero di un bacino di persone, sempre le stesse, dalle quali si può attingere per condurre il sondaggio. Guardando alla metodologia, si nota che nei sondaggi Emg rispondono tra le 1.300 e le 1.600 persone su 2.000 contattate. Una percentuale di risposta che arriva quindi fino all’82%. Grazie al panel, almeno teoricamente, anche un calo di pochi decimali nelle intenzioni di voto assume valore (proprio perché a rispondere sono più o meno sempre gli stessi), mentre il numero più elevato di persone ascoltate permette di avere un intervallo di fiducia più basso. Quindi, ci si può fidare anche della metodologia basata su internet: “Tutte le metodologie sono affidabili, se il sondaggio è fatto bene”, conferma Natale.

Figura 5: esempio di metodologia Emg

Salvo poi scoprire che, come abbiamo visto, anche i sondaggi fatti con il migliore dei campioni non ci prendono per niente, perché c’è sempre qualche fattore imprevedibile che interviene. Tra cui anche il fatto che gli stessi sondaggi hanno l’effetto perverso di condizionare l’opinione pubblica, creando un cortocircuito vero e proprio: invece di prevedere i risultati, i sondaggi possono cambiarli. Lo scrive, tra i tanti, anche Ilvo Diamanti: “I sondaggi stessi, quando vengono diffusi sui media, concorrono a formare e a modificare l’opinione pubblica. Così, Silvio Berlusconi nel febbraio 2006 fece svolgere da un istituto americano un sondaggio che sanciva la parità fra il “suo” Centrodestra e l’Unione di Centrosinistra guidata da Prodi. (…) Agli occhi degli elettori servì a trasformare un’elezione perduta (da Berlusconi) in una partita aperta. E tale diventò”. Nel 2013, il Movimento 5 Stelle era considerato in svantaggio, e quindi in molto lo votarono per protesta. Nel 2014, viceversa, il Movimento 5 Stelle sembrava sul punto di compiere il sorpasso; e così molti affidarono al Partito Democratico la “difesa” dall’avanzata di Beppe Grillo.

In una situazione di questo tipo, i sondaggisti vivono nella costante incertezza. E finiscono per non fidarsi più del loro lavoro e a guardare i risultati degli altri, creando un effetto omologazione per cui, a volte, tutti hanno previsioni simili e tutti sbagliano. E così, è anche difficile capire chi sia il più bravo.

In verità, chi sia il più bravo è ormai abbastanza noto. Ma ci sono due problemi: il primo è che non lavora in Italia, il secondo è che il suo metodo si basa proprio sulle medie dei sondaggi altrui. Si tratta ovviamente del “genio dei numeri” Nate Silver. Odiato dai sondaggisti perché sfrutta il loro lavoro prendendosi poi il merito di aver indovinato alla perfezione i risultati delle elezioni presidenziali statunitensi del 2008 (sbagliando solo in Indiana) e del 2012 (indovinando in tutti gli stati). E questo, semplicemente, facendo una media molto accurata di tutti i sondaggi che uscivano quotidianamente, pesando in maniera diversa i sondaggi degli istituti più o meno affidabili.

“È un metodo che funziona”, precisa Paolo Natale, “prendere dieci sondaggi con un campione di mille persone non equivale a fare un sondaggio con un campione di diecimila, ma ci si avvicina. Fare la media dei sondaggi ti aiuta a limare la distorsione e alla fine ci si approssima al dato reale”. E però, questo vale nel caso in cui i sondaggi siano affidabili. Fare la media dei sondaggi sbagliati del 2013 e del 2014 non avrebbe prodotto altro che l’ennesimo sondaggio sbagliato.

Il risultato di tutto questo è paradossale: i sondaggi condizionano il voto ma non riescono a indovinarlo, le ponderazioni che dovrebbero aiutare a fornire dati corretti rischiano di rovinare tutto (com’è avvenuto alle Europee), la gloria invece va a chi fa le medie dei sondaggi usando il lavoro dei vituperati sondaggisti. In questo caos, la domanda è solo una: ci si può fidare dei sondaggi? “Non puoi fidarti, ma è sbagliato anche non fidarsi mai”, conclude Natale. Se i sondaggi siano corretti o meno, tanto, lo si potrà sapere solo dopo che si avrà votato per davvero.