Le fantasiose ambizioni dell’esperimento controfattuale

Le fantasiose ambizioni dell’esperimento controfattuale

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Una chimera del bestiario metodologico.

Cos’è l’esperimento in parole povere

L’esperimento nasce dalla necessità di verificare l’efficacia netta di un programma. Poiché non si può condurre il programma per vedere cosa succede, e poi riavvolgere il nastro del tempo e non condurlo (o condurlo diversamente) per vedere se succedono cose differenti. E’ solo il confronto fra ciò che è realmente successo (fattuale) e ciò che sarebbe successo senza le interferenze e le variabili intervenienti non dipendenti dal programma (controfattuale) che può darci il valore netto del nostro programma (che può essere un valore positivo o negativo). E’ pertanto sempre sbagliato imputare al programma i successi o gli insuccessi fattuali se non sono depurati da ogni variabile esterna (diverse delle quali potremmo non sospettare).

Per poter rilevare il risultato netto del nostro programma, nell’impossibilità di riavvolgere il nastro del tempo, bisogna predisporre due campioni; al primo – detto “gruppo sperimentale” – viene somministrato il programma mentre al secondo – detto “gruppo di controllo” – no. Se (e solo ‘se’) i due campioni sono assolutamente uguali, allora le differenze riscontrabili nei due gruppi, al termine del lavoro, sono imputabili esclusivamente agli effetti del programma.

Questo procedimento è molto utilizzato nel campo della valutazione degli effetti di nuovi farmaci;  somministrando a molteplici pazienti con certe affezioni il farmaco, e a un gruppo di persone simili un placebo, i risultati (positivi o negativi) nel gruppo sperimentale sono imputabili ai farmaci. In campo medico si può fruire di migliaia di pazienti nel mondo, inclusi nell’esperimento tramite i network scientifici internazionali; per essere certi di non trascurare nulla, spesso neppure i medici partecipanti sanno se stanno somministrando il vero farmaco o il placebo. Men che meno lo devono sapere i pazienti, per evitare effetti di autosuggestione.

Perché un vero esperimento è di difficile realizzazione

E’ piuttosto evidente che in campo socio-economico è piuttosto difficile ottenere queste condizioni. Non solo in questo campo non raggiungiamo le migliaia di utenti, ma diventa spesso impossibile immaginare un gruppo di controllo escluso dal programma (e occorre notare che ci sono anche implicazioni etiche).

La fattibilità dell’esperimento classico in contesti come quelli tipici di progetti molto localizzati la si può comunque trovare; immaginiamo un programma educativo rivolto a minori di un quartiere disagiato in cui si trattano solo quelli di alcune classi scolastiche (per esempio per necessità di contenere il numero dei partecipanti); potremmo avere una condizione in cui minori (e loro famiglie) partecipanti e non partecipanti siano sostanzialmente identici sotto il profilo medio sociale ed economico (oltre che, evidentemente, per le variabili sociografiche più comuni: sesso, età etc.). In questa ipotesi di lavoro noi avremo un certo numeri di minori (e famiglie) sottoposti direttamente al programma, e un altro numero di minori analogo non sottoposto al medesimo programma. Se l’analisi (ex post) dei risultati nei due gruppi mostra delle differenze significative, queste differenze possono essere imputabili al programma in quanto nette. Vivendo nello stesso quartiere nello stesso periodo di tempo, essendo socialmente uguali, e non potendo registrare nessuna differenza fra i due gruppi, salvo la partecipazione al programma (questo è il ragionamento controfattuale) dobbiamo per forza ascrivere ad esso la differenza rilevata.

In realtà, sotto un profilo molto purista, qui c’è qualche forzatura nel metodo. Non dovrebbe infatti bastarci dire “vengono dallo stesso quartiere e sono ‘sostanzialmente analoghi’ rispetto alle principali variabili”, e bisognerebbe fare una operazione (detta di matching) per verificare – rispetto a una certa gamma di variabili – che nel gruppo di controllo ci siano gli equivalenti del gruppo sperimentale; quindi: a un sedicenne maschio di tali condizioni socioeconomiche, che va bene/male a scuola nel tale modo, con genitori di tale scolarità etc. nel gruppo sperimentale, deve corrispondere un analogo sedicenne di medesime condizioni nel gruppo di controllo. Questa operazione (solo teoricamente possibile ma irrealizzabile in pratica) viene fatta dopo l’estrazione del gruppo di controllo che viene poi modificato e adattato per rispettare le condizioni di matching.

Se questo è il punto di vista del purista controfattualista, noi possiamo benissimo ritenere che per il mandato, le potenziali domande valutative, il particolare tipo di contesto agito e così via possa bastare qualcosa di meno. Evitare la rigorosa operazione di matching porta a quello che in gergo si definisce approccio quasi-sperimentale che il più delle volte è ritenuta sufficiente a mostrare l’efficacia o meno del programma.

Il problema dell’esperimento – anche senza matching – è comunque rilevante: occorre rintracciare i minori partecipanti al Programma e cercarne un adeguato numero che non abbia partecipato. Non sempre, mesi dopo, è possibile recuperare i dati; e anche potendoli recuperare può diventare complicato e oneroso raggiungere tutti per invitarli a partecipare all’indagine. Ecco perché è sempre bene programmare per tempo l’esperimento, possibilmente al momento della progettazione dell’intervento, in modo da poter registrare nomi e indirizzi e prevedere come raggiungere adeguatamente il campione di controllo.

Risolti i problemi precedenti il resto è piuttosto semplice: i protagonisti dei due gruppi possono essere sottoposti a intervista con questionario, oppure si possono immaginare altre forme di raccolta delle informazioni (diari, focus group, purché implichino la registrazione di variabili pertinenti di cui misurare la variazione prima/dopo) a seconda dell’oggetto del programma.

La parte veramente complessa è il matching, sostanzialmente per la necessità di avere i dati – per i due gruppi – su un numero rilevante di variabili; se sesso ed età, per esempio, possono essere piuttosto facili da rilevare, altre variabili pertinenti potrebbero essere osservate solo con indagini ad hoc o con una ricerca di dati, spesso sensibili, detenuti da soggetti terzi. Nell’esempio proposto sopra di un programma educativo possono senza dubbio servire informazioni sul rendimento scolastico, le assenze, la disciplina (affinché i due gruppi siano identici sotto il profilo scolastico), e sarebbe necessaria una stretta collaborazione con la scuola. Ma potrebbero servire anche famiglie identiche come numero di figli, reddito e altro. In sostanza l’approccio sperimentale “puro” resta sostanzialmente un modello al quale ispirarsi ma che difficilmente si può pensare di mettere in pratica.

Perché l’esperimento, oltre che difficile, è sostanzialmente una favola

Ma supponiamo che vogliamo per forza realizzare un vero esperimento controfattuale, e abbiamo soldi, tempo ed energie a profusione. Supponiamo inoltre che le condizioni di contesto permettano realmente di estrarre due campioni, uno assolutamente soggetto al programma e un secondo assolutamente escluso.

Permarrebbero alcune questioni sulle quale i colleghi controfattualisti rispondono, generalmente, con una scollata di spalle.

Prima questione fondamentale: il matching sopra ricordato può essere realizzato a patto di controllare poche e semplici variabili quali sesso, età e poche altre. Non occorre una laurea in statistica per capire la progressiva complessità geometrica dell’aggiunta di variabili, e quindi il matching – ammesso anche che sia rigoroso – avviene su un numero necessariamente limitato di variabili che, fra l’altro, devono essere note e facilmente rilevabili; voglio dire: sesso, ovvio, è un dato anagrafico facile; età, giusto, anch’essa facile; professione? scolarità? Con qualche sforzo non di poco conto possiamo conoscerle. Poi? Titolo di studio dei genitori? Come lo andiamo a rilevare preventivamente per il famoso matching? Ma supponiamo di poterlo fare (abbiamo ipotizzato di essere pieni di soldi). Nell’esempio fatto della dispersione scolastica suggerisco, come variabili molto probabilmente importanti, le seguenti:

  • avere viaggiato molto, come condizione nota di maturazione dei ragazzi;
  • essere di bell’aspetto, condizione che contribuisce all’autostima e a migliori performance scolastiche;
  • leggere l’oroscopo, una pratica che per molte persone condiziona atteggiamenti e comportamenti.

Ora, se riuscite ad andare oltre il carattere paradossale dei miei esempi, capite come nessuna analisi preliminare dei due campioni possa esplorare un’ampia varietà di caratteristiche che invece, sicuramente, influenzeranno i loro membri che non sono molecole di un farmaco ma persone con mentalità, caratteri, condizionamenti sociali che provocano conseguenze. Nessun gruppo sociale estratto come campione sperimentale sarà mai identico a un qualunque altro campione di controllo ma – sempre – solo simile, assomigliante, grossolanamente analogo.

Se anche voi fate spallucce a questo problemino, resta la sostanziale inutilità ontologica dell’esperimento se non accompagnato da un robusto disegno di ricerca che provveda a spiegare ciò che l’esperimento indica senza comprendere. L’esperimento (e in generale gli approcci controfattuali) sanno dire (coi notevoli limiti già indicati) se un programma ha prodotto un certo risultato netto, ma non hanno la più pallida idea del perché, come mostra la prossima figura.

L’approccio controfattuale (e l’esperimento sopra a tutti) è una black box che offre il risulato ignorandone il perché. Nella somministrazione di farmaci accennata all’inizio, i medici, chimici, biologi coinvolti conoscono la formula del principio farmacologico somministrato e hanno una biblioteca immensa alla quale attingere; possono indurre quindi, dalle reazioni dei pazienti (all’oscuro di essere recettori della molecola o di un placebo), quali componenti siano state utili o dannose, e perché. Nella “somministrazione” di un programma socio-economico, invece, i beneficiari (che difficilmente ignorano di essere nel campione di controllo o in quello sperimentale, salvo infischiarsene anche di questioni etiche e sguinzagliare una sorta di “polizia controfattuale” per impedire la divulgazione di questa conoscenza) hanno mille e mille ragioni per rispondere in un modo o in un altro, in presenza di mille e mille micro-condizioni locali che ne influenzano il comportamento. E’ solo con altre e ulteriori indagini che potremmo quindi capire i meccanismi che hanno fatto naufragare il programma, o lo hanno portato al successo, informazione senza la quale il semplice “Sì/No Ha/Non ha funzionato” serve veramente a poco.

Sostenete questo blog

interamente autofinanziato.






Categories: Metodo

Tags: , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: