MONDO DELLE RICERCHE

Home » Demoscopia e Politologia » Come migliorare la qualità previsionale dei sondaggi di opinione attraverso la meta-analisi

Come migliorare la qualità previsionale dei sondaggi di opinione attraverso la meta-analisi

A cura di Alessandro Amadori

1. INTRODUZIONE

Come ci ricorda il ricercatore americano Stuart Oskamp (professore alla Stanford University), i sondaggi di opinione si sono notevolmente sviluppati a partire dagli anni ’30 come un mezzo scientifico per scoprire ciò che un grande numero di persone pensa, e sente, nei confronti di vari argomenti. Essi oggi sono usati estensivamente nei campi del marketing e delle scienze politiche. In entrambi i settori svariate società di sondaggi forniscono, ai candidati politici e alle direzioni aziendali, informazioni riservate che mostrano loro, ad esempio, il modo in cui sono percepiti dall’opinione pubblica. Questa informazione viene spesso usata per sviluppare programmi di comunicazione pubblicitaria e per pianificare la strategia delle campagne elettorali. In una delle ultime elezioni presidenziali americane, si è stimato che nel corso dell’anno alcune decine di differenti società di sondaggi abbiano rifornito i candidati di dati elettorali riservati per un investimento complessivo dell’ordine di grandezza della decina di milioni di dollari; si stima anche che circa il 90% dei nuovi eletti al Congresso degli Stati Uniti, dei senatori e dei governatori degli Stati facciano uso di informazione privata derivante da sondaggi. I risultati di questi sondaggi privati, sia in politica che nel marketing, sono solitamente confidenziali e non disponibili per il pubblico.

Vi sono tuttavia anche molte ricerche nazionali, su tutto il territorio, che sondano regolarmente la pubblica opinione su molti differenti argomenti e i cui risultati vengono pubblicati su giornali e riviste. Negli Stati Uniti i sondaggi di questo tipo più noti sono quelli eseguiti dalle società Harris, Gallup e Zogby (in Italia l’offerta è variegata e comprende svariati istituti fra cui ad esempio Demos, Ipr Marketing, Ipsos, Ispo, Istituto Freni, Istituto Piepoli, Lorien Consulting, SWG). Negli USA, una grande quantità di informazione di ricerca sul comportamento dei consumatori, e sugli atteggiamenti e comportamenti degli elettori, è stata (ed è tuttora) sviluppata e pubblicata da organizzazioni accademiche come il Survey Research Center presso l’Università del Michigan e il National Opinion Research Center all’Università di Chicago (mentre purtroppo nel nostro paese manca un centro nazionale di ricerca di riferimento). Ma vediamo un po’ di background storico sui sondaggi d’opinione.

2. BREVE STORIA DELLA METODOLOGIA DEMOSCOPICA

I primi sondaggi d’opinione vennero usati nell’ormai lontano 1824 da due giornali, “Harrisburg Pennsylvanian” e “Raleigh (N.C.) Star”, per testare la forza elettorale di candidati politici. Si è trattato dei cosiddetti “voti di paglia”, nei quali a un gruppo selezionato più o meno a caso di cittadini si chiedeva di fornire le loro opinioni per cercare di capire quale tipo di “vento politico” stesse soffiando. Negli anni ’20 e ’30 la rivista “Literary Digest” divenne famosa per i suoi sondaggi politici su larga scala. Essa mandava qualcosa come 18 milioni di cartoline postali a potenziali votanti negli Stati Uniti, chiedendo loro di esprimere una preferenza fra i candidati alle presidenziali. Più di 2 milioni di risposte potevano arrivare alla rivista, ma nonostante la dimensione enorme di questi campioni vi erano in realtà due importanti sorgenti di errore. Le liste di cittadini ai quali venivano spedite le cartoline erano “distorte” (biased), ossia non erano rappresentative del complesso della popolazione, dal momento che esse escludevano molte persone di status socioeconomico inferiore. In aggiunta, coloro che rispondevano venivano a costituire un campione auto-selezionato, e gli individui che si prendevano la briga di rispedire alla rivista la cartolina postale erano spesso più “estremi” nelle loro opinioni rispetto alla media dei cittadini elettori. Con tutta probabilità, qualcosa di simile è accaduto anche in Italia in occasione delle elezioni politiche del 2006 e del 2008, nelle quali gli exit poll hanno fornito risultati piuttosto distorti rispetto alla realtà. Nonostante queste fonti di errore, il “Literary Digest”, attraverso i suoi sondaggi, fu in grado di predire con esattezza chi avrebbe vinto le elezioni presidenziali sino al 1932. Ma nel 1936 esso predisse che Franklin D. Roosevelt avrebbe perso contro Alf Landon, mentre in realtà Roosevelt vinse con un ampio margine nazionale. In parte a causa di questo errore, la rivista uscì rapidamente dal mercato; e si stabilì con chiarezza il principio secondo cui un campione distorto, a prescindere dalle sue dimensioni, non può essere considerato affidabile. Ma allora come si deve formare un campione, per eseguire un corretto sondaggio d’opinione?

Nelle elezioni del 1936 venne introdotto nella ricerca politologica un metodo di campionamento più scientifico (un metodo peraltro usato nelle ricerche commerciali già a partire dagli anni ’20) da tre differenti pionieri delle moderne indagini demoscopiche: George Gallup, Elmo Roper e Archibald Crossley. Tutti e tre predissero correttamente la vittoria di Roosevelt lanciando così il metodo del sondaggio scientifico di pubblica opinione verso la sua successiva grande popolarità. Essi impiegarono il metodo di campionamento per quote, nel quale i singoli soggetti da inserire nel campione sono scelti secondo quote per parametri sociodemografici tali da riprodurre, almeno sommariamente, la struttura della popolazione generale su variabili come l’area geografica di residenza, l’appartenenza a un comune rurale oppure urbano, il sesso, l’età, la razza e lo status socioeconomico. Il maggiore problema con il metodo di campionamento per quote è che viene lasciata una notevole discrezionalità agli intervistatori nella scelta dei singoli soggetti rispondenti da inserire nelle quote per categorie. Anche questa discrezionalità può introdurre una sorgente di distorsione (bias), poiché il campione risultante può sistematicamente omettere determinate tipologie di individui (in particolare, quelli difficili da contattare). Un approccio molto migliore consiste nel metodo probabilistico di campionamento, nel quale gli specifici rispondenti sono scelti attraverso una procedura di selezione perfettamente casuale. Il risultato di questo metodo è che nessun tipo di individuo viene sistematicamente escluso dal campione, e la quantità probabile di errore nei dati risultati può essere calcolata per mezzo di apposite tecniche statistiche.

Proprio le leggi della statistica hanno stabilito che, indipendentemente dalla grandezza della popolazione oggetto di studio (da una piccola cittadina ad una intera grande nazione), l’ampiezza del campione è il principale fattore che determina il range atteso di errore in un campione probabilistico. La maggior parte dei sondaggi che vengono effettuati negli Stati Uniti (e negli altri paesi evoluti dal punto di vista demoscopico) usano campioni che variano, per dimensione, da 1000 a 2000 individui. Un campione di 1500 soggetti ha un margine atteso di errore (al 95% di confidenza) pari a +/- 3%, mentre campioni più grandi riducono solo marginalmente l’errore. Molti istituti di ricerche hanno adottato metodi probabilistici nella selezione dei loro campioni, ma i sondaggi meno affidabili ancora oggi usano metodi per quote quando non addirittura metodi non scientifici di selezione a caso del campione (con la qualità dei risultati che ne viene a soffrire proporzionalmente).

Parecchi altri fattori, oltre ai metodi di campionamento, possono causare errori nei risultati di un sondaggio. In primo luogo, il ricercatore deve determinare se i rispondenti hanno o meno informazioni riguardo all’argomento sul quale basare le proprie opinioni (se non ne hanno, è inevitabile che le loro risposte siano meno attendibili). In secondo luogo, le domande da porre attraverso il questionario devono essere studiate attentamente parola per parola e verificate per mezzo di uno studio pilota, per essere sicuri della loro chiarezza, comprensibilità e imparzialità. Le domande devono evitare distorsioni nella formulazione verbale delle medesime che possano suggerire una risposta socialmente desiderabile o portare i rispondenti a dichiararsi d’accordo con un aspetto particolare dell’argomento esaminato. Infine, gli intervistatori devono essere accuratamente formati per evitare che possano, anche solo involontariamente, influenzare le risposte dei soggetti.

Nei sondaggi politici, parecchi fattori possono causare significativi errori nella predizione dei risultati. Per esempio, rispondenti che dovrebbero essere a casa, e che invece sono fuori (con l’impossibilità di intervistarli), o che dovrebbero accettare l’intervista e invece non lo fanno (è il problema delle mancate interviste o delle mancate risposte) producono incertezza nei dati. Molti elettori sono poi oggettivamente indecisi su chi votare. Come se non bastasse, cambiamenti dell’ultimo minuto (last-minute) possono talvolta capitare fra il momento del sondaggio e quello dell’elezione. Anche in quale specifico giorno si va a votare può costituire un problema, e i ricercatori hanno sviluppato tecniche per arrivare a stimare l’effettiva probabilità per gli elettori di andare a votare.

Ma in realtà bisognerebbe capire che l’obiettivo primario di un sondaggio d’opinione non è di predire il risultato elettorale, bensì di descrivere la distribuzione della pubblica opinione in un dato momento temporale. Ciascuna elezione nazionale, tuttavia, fornisce un’eccellente chance per validare o meno i sondaggi confrontando i loro risultati con l’esito effettivo del voto. Sotto questo profilo i maggiori sondaggi nazionali negli Stati Uniti e in Gran Bretagna si sono mostrati abbastanza affidabili. Dalla nascita della demoscopia scientifica nel 1936, essi hanno sbagliato solo due volte nella previsione di un risultato elettorale: alle presidenziali americane del 1948, nelle quali Harry S. Truman ottenne una vittoria dell’ultimo minuto su Thomas E. Dewey, e le elezioni politiche del 1970 in Gran Bretagna, nelle quali il Partito Laburista venne inaspettatamente sconfitto. Fra le ragioni di questi errori vanno indicati l’aver cessato troppo presto di fare sondaggi prima del giorno del voto, non riuscendo così a intercettare i trend dell’ultimo minuto, l’impiego di campioni per quote anziché veramente probabilistici, e difficoltà nella stima della partecipazione elettorale differenziale.

A partire dal 1948 si è cercato di introdurre miglioramenti nella metodologia dei sondaggi, e negli Stati Uniti, per le elezioni presidenziali e per il Congresso dal 1948 ad oggi, le migliori società di ricerca hanno mantenuto entro limiti molto contenuti il margine di errore nella predizione del voto nazionale. Nonostante i sondaggi siano stati accusati di influenzare il processo politico generando un effetto “bandwagon” (salto sul carro del vincitore annunciato), con un beneficio per il candidato favorito, le ricerche di verifica al riguardo non hanno mostrato alcune evidenza a favore dell’idea che i risultati di un sondaggio possano influenzare le scelte politiche dei votanti.

3. LA META-ANALISI

Ciò premesso, alla luce delle polemiche che hanno accompagnato in Italia nel biennio 2006-2008 la pubblicazione di dati demoscopici, come incrementare la qualità previsionale delle ricerche d’opinione (pur tenendo sempre presente, come abbiamo detto, che la previsione non è e non dovrebbe mai essere l’obiettivo principale di uno studio di opinione)? Un’interessante ipotesi di lavoro è quella di applicare, al data base obbligatorio dei sondaggi politici realizzati dai vari istituti, consultabile entrando nel sito http://www.sondaggipoliticoelettorali.it, le tecniche statistiche di meta-analisi (Amadori e Valente, 2006). La meta-analisi, i cui principi basilari sono ben descritti in Leandro (2005), permette l’applicazione delle regole della sperimentazione scientifica alle rassegne di scienze sociali; “La meta-analisi – si afferma nel libro – applica i principi scientifici alle rassegne integrative di disegno campionario e di ricerca ed anche all’analisi statistica. Inoltre, l’approccio statistico di meta-analisi è un utile punto di partenza per descrivere la meta-analisi, poiché costituisce l’elemento peculiare di tale metodo e illustra il modello sul quale è basato il processo di meta-analisi”.

L’approccio statistico di meta-analisi è concettualmente identico a quello applicato nei diversi studi empirici, ma nella meta-analisi le stime e i risultati dei vari studi fungono da osservazioni: la variabilità delle stime o dei risultati degli studi che costituiscono l’oggetto della meta-analisi è quindi studiata al pari di quella fra individui in un singolo esperimento. In seguito dunque, così come lo studio della variabilità di un fenomeno studiato attraverso un esperimento conduce a certe stime, lo studio della variabilità dei risultati di vari studi conduce attraverso la meta-analisi ad una generalizzazione ugualmente valida. L’obiettivo della meta-analisi non è dunque solo quello di trarre una singola stima quantitativa, o un set di stime; lo scopo principale è quello di fornire l’analisi sistematica di campioni corretti rispetto alla completezza dello studio da affrontare. La rappresentazione sintetica della meta-analisi è costituita dalla matrice della meta-analisi, in cui ciascuno studio viene descritto rispetto al campione, alla struttura della ricerca, all’analisi, ai risultati e ad ogni specifica condizione. Il termine meta-analisi (meta-analysis) fu introdotto dallo statistico americano Gene V. Glass nel 1976 per indicare un approccio quantitativo volto ad integrare i risultati di numerose ricerche relative alla stessa tematica. In molte discipline, ad esempio nelle scienze comportamentali, raramente un singolo studio offre una risposta esauriente e completa ad un problema di ricerca (Pedon, 1995). Questa situazione è dovuta sia al fatto che il comportamento umano è troppo complesso per essere spiegato da una singola ricerca, sia agli esperimenti stessi, che possono essere disomogenei relativamente all’ambiente della ricerca, al campione e alle procedure utilizzate. Allora per ottenere una risposta sufficientemente esaustiva, si devono condurre numerose ricerche.

Nata in medicina e nelle scienze biologiche, la meta-analisi negli ultimi anni si è diffusa come detto anche nelle scienze sociali, in particolare in criminologia e in psicologia. Per quanto riguarda ad esempio specificamente la psicologia, su quasi tutti gli argomenti vi è stata una proliferazione di studi, come si è verificato, per esempio, a proposito dell’efficacia della psicoterapia, delle cause dell’obesità e via di seguito. In queste ricerche sono stati usati definizioni, campioni, variabile e procedimenti differenti, per cui le conclusioni sullo stesso argomento non sono facilmente confrontabili. Per questo motivo si è sentito il bisogno di integrare i risultati di queste ricerche. Prima dell’articolo di Glass, l’approccio tradizionale per compiere questo lavoro implicava la raccolta delle ricerche condotte su un dato argomento, la loro categorizzazione e quindi il tentativo di trarre una conclusione sulla base della proporzione di ricerche che convergevano su un determinato risultato. La meta-analisi evita lo scoglio della soggettività perché si basa sull’analisi delle analisi, ossia sull’uso di una varietà di tecniche quantitative ideate per analizzare i risultati degli studi in questione.

4. I DUE TIPI DI META-ANALISI

Attualmente esistono due classi di meta-analisi: la prima tende a stabilire un risultato globale combinando statisticamente i risultati parziali di numerose ricerche. Ad esempio può a) prendere i valori di probabilità raggiunti in varie ricerche, come quattro ricerche per studiare l’efficacia di un tipo di psicoterapia per combattere la depressione, che possono essere significativi o no; e b) combinare questi diversi risultati per poter far emergere un effetto significativo globale. La seconda tecnica di meta-analisi ha a che fare con l’ampiezza dell’effetto del trattamento della ricerca. Ad esempio, si supponga di condurre una ricerca per analizzare l’efficacia di un tipo di terapia sulla depressione e che si voglia verificare se il trattamento ha prodotto l’effetto sperato o meno, nonché l’ampiezza di tale effetto. Se sono state condotte diverse ricerche su questo argomento probabilmente è risultato che l’ampiezza di questo effetto è diversa da una ricerca all’altra. Come si è detto sopra, potrebbe essere utile combinare statisticamente queste varie ampiezze per ottenere un valore globale. Questa seconda tecnica di meta-analisi consente al ricercatore di mettere insieme i risultati di parecchi studi e di arrivare ad una stima combinata dell’ampiezza dell’effetto. Facciamo un esempio: Pedon (1995) riporta che nel 1985 vennero raccolti tutti gli studi condotti tra il 1978 e il 1984 sull’ipotesi lunare (effetto delle fasi lunari su vari comportamenti umani) e che poi si effettuò una meta-analisi dei risultati. Il primo metodo usato fu la combinazione dei valori ottenuti dai test di significatività statistica delle ricerche che si erano focalizzate sulle attività compiute durante la luna piena e la luna nuova. I risultati di questa meta-analisi evidenziarono che i valori combinati dei vari test non davano risultati significativi. Si ricorse allora, alla seconda tecnica di meta-analisi, cioè quella relativa all’ampiezza dell’effetto calcolato per ognuno degli studi identificati. Questa analisi evidenziò che l’ampiezza combinata dell’effetto della luna è estremamente piccolo, tanto da essere considerata trascurabile. Di conseguenza, i risultati di questi due studi stanno a dire che l’ipotesi lunare non trova convalida neppure quando si prendono in considerazione i risultati di parecchie ricerche.

5. UN ESEMPIO DI APPLICAZIONE A DATI DEMOSCOPICI

In materia demoscopica, una tecnica basilare applicabile ai dati dei singoli sondaggi riportati nel citato sito http://www.sondaggipoliticoelettorali.it può consistere nell’impiego di modelli previsionali centrati su procedure di regressione (per le cui basi statistiche si veda ad esempio De Luca, 2000). Il grafico sottostante mostra ad esempio quale avrebbe potuto essere il risultato delle elezioni del 9 aprile 2006, partendo a febbraio dello stesso anno dai dati riportati sul sito http://www.sondaggipoliticoelettorali.it, e applicando a questi dati un semplice modello previsionale mediante regressione statistica con polinomio di secondo grado. Si vede che, in termini di previsione con i dati disponibili a inizio febbraio 2006, il giorno delle elezioni il distacco (Camera) avrebbe potuto essere ridotto all’1%-2% (ipotesi alta: Centrosinistra 50%, Centrodestra 48%, altri 2%; ipotesi bassa: Centrosinistra 50%, Centrodestra 49%, altri 1%). Per i primi di aprile il risultato meta-analitico era di un distacco massimo di 3 punti percentuali, con forte tendenza all’ulteriore recupero da parte del Centrodestra, tanto che si sarebbe comunque raggiunto il punto di pareggio fra i due schieramenti ai primi di maggio, ossia un mese dopo. Questo semplice risultati meta-analitico, a febbraio 2006, appariva poco probabile in base ai singoli sondaggi d’opinione commissionati in quei giorni. I fatti oggettivi hanno dimostrato che la meta-analisi era nel giusto, e avrebbe permesso di migliorare la qualità previsionale degli studi demoscopici che hanno preceduto le elezioni di aprile 2006, conclusesi con un clamoroso pareggio fra i due schieramenti.

BIBLIOGRAFIA

AMADORI A., VALENTE A., “La sfera di cristallo”, Garzanti, Milano, 2006.
HRNSTEDT G., KNOKE D., “Statistics for Social Data Analysis”, Peacock, 1994.
DE LUCA A., “Le applicazioni dei metodi statistici alle analisi di mercato”, Angeli, Milano, 2000.
GLASS G., McGRAW B., SMITH M. L., “Meta-Analysis in Social Research”, Sage, 1981.
LEANDRO G., “Meta-Analysis in Medical Research”, BMJ Books, 2005.
OSKAMP S., SCHULTZ P. W., “Attitudes and Opinions”, Lawrence Erlbaum Associates, 2004.
PEDON A., “Metodologia per le scienze del comportamento”, Il Mulino, Bologna, 1995.


Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...