Concetti base per riconoscere una buona valutazione (e un buon valutatore)

Concetti base per riconoscere una buona valutazione (e un buon valutatore

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

La cattiva valutazione penalizza tutto il movimento valutativo italiano. Impariamo a riconoscerla.

Premessa 

In questo lungo testo parlo di buona e cattiva valutazione. In particolare di quella cattiva. Ho riunito cose nuove (la Prima parte) e cose più vecchie, ovviamente riviste ma ancora utili per spiegare concretamente come NON si fanno le cose. La Seconda parte riporta cinque casi di sondaggi, indagini e ricerche completamente sbagliati nel metodo; si tratta di casi abbastanza vecchi ma la funzione didattica resta inalterata. La Terza parte è una critica pungente a un testo di valutazione di qualche anno fa dove la confusione concettuale e gli errori palesi formano un minestrone indigesto; perché se non c’è rigore concettuale, poi non possiamo pretendere il rigore metodologico. Infine la Quarta parte riguarda tre casi orripilanti di errori marchiani nella costruzione di indicatori; qui ho evitato di rendere chiari i nomi degli autori che sono tutti professionisti e docenti ben noti. Questa parte è tratta dal mio volume sugli indicatori di qualche anno fa.

IMG_7942


Prima parte – Il decalogo della buona valutazione

1 – La valutazione è pluralista

La valutazione non è una disciplina scientifica o accademica; è un campo di intervento pratico che applica i saperi teorici e metodologici di molteplici discipline, dall’economia e sociologia (le due più rilevanti), fino alla psicologia, statistica e altre. Il pluralismo non ha a che fare con i molteplici debiti disciplinari della valutazione ma col fatto che tali debiti agiscano contemporaneamente. Qualunque Programma presenta, contemporaneamente, elementi sociali, economici, antropologici, psicologici etc., ciascuno dei quali agisce assieme a tutti gli altri, anche se in maniera più o meno importante a seconda dei casi. Nessun Programma, e quindi nessun problema valutativo, può essere solo sociologico, economico e così via. Anche se il valutatore ha un suo background, difficilmente si sente “uno psicologo”, o “un sociologo” o “un economista” ma, appunto, un valutatore, vale a dire un ricercatore che, a partire dal suo background, e semmai grazie all’aiuto di un team multidisciplinare, va oltre gli spazi angusti di una disciplina e cerca risposte articolate a problemi complessi e per loro natura interdisciplinari.

2 – Il valutatore è eclettico

Ne consegue che il valutatore (da intendere come singolo e come gruppo) deve essere eclettico. Il suo punto di vista sarà indiscutibilmente legato al suo percorso formativo ma non può non avere spaziato fra diverse discipline. Non tutte, ovvio; forse neppure molte. Ma il valutatore sociologo conosce i temi economici, è sensibile a quelli antropologici, ha un’idea della teoria psicopedagogica etc. L’economista che fa valutazione riconosce le influenze sociologiche, conosce la statistica, sa bene che ci sono importanti questioni psicologiche e via dicendo. Questa necessaria ecletticità si riverbera nel metodo. E’ probabile che il valutatore con un background economico abbia iniziato a fare valutazione con tecniche tipiche del suo settore, ma se continua la sua attività di valutatore non può che interessarsi fortemente alle principali tecniche sociologiche e conoscere, almeno come mappa, quelle psicologiche. Analogamente lo psicologo potrebbe avere iniziato coi tipici test della sua disciplina, ma deve avere guadagnato competenze importanti anche in tecniche tipiche di altre prospettive scientifiche. Il rischio del mancato eclettismo è la visione parziale del Programma; in valutazione la parzialità non è da intendere come una frazione dell’intero, poco ma – quel poco – comunque esatto; le branche disciplinari sono un limite umano, perché la realtà è complessa e sistemica. E’ la nostra incapacità ad avere uno sguardo olistico che ci conduce a prospettive sociologiche oppure economiche oppure psicologiche, mentre la realtà da valutare è tutte queste cose assieme, e molte altre di più. Quindi una valutazione parziale sotto questo profilo non è semplicemente una parte ridotta ma, fondamentalmente, una visione sbagliata.

3 – Il metodo deve essere plurimo

Tutto questo si traduce nel metodo. Poiché ogni tecnica costruisce l’informazione e non è neutrale, poiché ogni tecnica riflette una teoria dell’azione, allora non si possono indagare fenomeni complessi con una tecnica (o poche). Salvo casi di piccole valutazioni veloci su piccolissimi interventi (esercizi di limitata utilità), i Programmi oggetto di valutazione hanno complessità che non si possono risolvere, valutativamente, con l’applicazione di una o due tecniche. Capita a volte che per esigenze  produttive certe società di consulenza offrano pacchetti standardizzati per la valutazione in determinati ambiti, basati su procedure tecniche standardizzate, veloci, economiche. Questa non è buona valutazione. La valutazione, che deve sempre essere personalizzata caso per caso, ha bisogno di quella pluralità di tecniche utili e necessarie per trovare la necessaria base di dati. Ogni domanda valutativa, ogni aspetto del Programma, devono essere affrontati come problemi risolvibili con un ventaglio di opzioni che il valutatore deve conoscere per scegliere la più opportuna. Un tipico corretto disegno valutativo di un Programma di media complessità, prevede tecniche standard e non standard, individuali e di gruppo, in un mix che assomigli – per usare un’analogia – a una buona ricetta di cucina, anziché a un hamburger da fast food.

4 – Prima viene il pensiero

In ogni caso le tecniche vengono dopo, molto dopo l’inizio della valutazione. Le tecniche sono solo protesi del nostro pensiero metodologico; applicare tecniche è una cosa facilissima (basta poco studio e un po’ di addestramento), mentre il cuore della valutazione è il pensiero che precede la loro scelta e somministrazione. Quello che qui abbiamo chiamato ‘pensiero’ è ascolto del committente; ricerca di fonti; elaborazione di una teoria; formulazione di ipotesi di lavoro; costruzione di un disegno; definizione dei formati informativi necessari; confronto con i vincoli di campo… e quindi, alla fine, decisione in merito alle tecniche utili. Tutto questo costa tempo e lavoro; chi associa immediatamente una proposta di valutazione a una soluzione tecnica, probabilmente non sa spiegare perché “proprio quella”, perché non mette in campo l’elaborazione di un sistema teorico e metodologico. La conseguenza più probabile è che i risultati saranno, in qualche modo, estranei al contesto; certamente i dati diranno qualcosa, e con un minimo di abilità dialettica si faranno dire – ai dati – ciò che si reputa necessario per rispondere alle domande valutative. Ma mancando il fondamentale nesso fra mandato, formato informativo necessario (si veda più avanti) e tecniche, le ragioni di quei risultati saranno ignote. Un risultato ci sarà, ma sarà certamente opaco e vago, incompleto, superficiale.

5 – Il Mandato è la fase fondamentale della valutazione

L’elaborazione di questo pensiero, la riflessione teorica e sul metodo, e tutto quello che occorre per valutare, si costruisce nella fondamentale fase valutativa della definizione del Mandato. La fase del Mandato è la chiave di una buona valutazione e, anzi, è già valutazione anche se lo specialista sembra ancora dibattersi fra dubbi e interrogativi. Evitare il Mandato, o intenderlo banalmente come definizione dei termini contrattuali, significa spostare tutto l’accento su una parte tecnico-operativa priva di giustificazioni. Il tecnicismo, o peggio l’operazionismo, è un male grave della ricerca sociale e valutativa che riduce tutto a tecnicalità, applicazione di test, somministrazione di procedure che forniranno risultati incomprensibili. La fase della definizione del Mandato non ha tempi; può essere breve o lunga in relazione a molteplici variabili; si può riaprire in qualunque momento alla luce dei primi risultati; può concludersi con la rinuncia a valutare. Il valutatore che ignori o sottostimi questa parte non può realizzare una buona valutazione.

6 – La vera finalità valutativa

Anche se al valutatore viene chiesto un bilancio finale sul Programma (Ha funzionato? Perché?), un giudizio a volte dirimente (avviare un Programma; chiudere un Programma), delle certezze, comunque, all’insegna di una fiducia sui “dati” che dovrebbero rivelare una presunta verità, la vera finalità della valutazione non è dare risposte. Ma insegnare a fare le opportune domande. La valutazione tecnicamente meglio fatta, con arte metodologica, tempo e risorse sufficienti, sarà sempre criticabile – volendola criticare – per non avere preso in considerazione quell’ultimo dato, non avere ascoltato quell’altro testimone, non avere elaborato le informazioni in un altro modo. Nel campo delle scienze sociali, nel cui alveo si colloca anche la pratica valutativa, nessun dato è definitivo, risolutore, rivelatore di una ipotetica verità finale. La migliore ricerca valutativa mostra una possibile verità fra tante, una ricostruzione, un simulacro, una rappresentazione nuova, che prima non c’era, idonea a mostrare, spiegare (un po’) e comprendere (di più). Le risposte che la valutazione fornisce sono parziali, emendabili, controargomentabili e dovrebbero per lo più servire a formulare nuove domande: abbiamo fatto bene? Perché? In quale modo avremmo potuto fare meglio? Perché? Possiamo trasferire quanto appreso in un nuovo Programma? Come? La valutazione è un processo di apprendimento organizzativo. Si valuta per imparare, non tanto e solo per giudicare, e l’apprendimento avviene nel processo, non tramite i risultati.

7 – La partecipazione come metodo

Perché si realizzi questo apprendimento organizzativo è necessaria la partecipazione di un’ampia platea di attori rilevanti (il committente, o comunque i responsabili del Programma, prima di tutti). La partecipazione può implicare molte conseguenze ritenute positive o auspicate: miglioramento della consapevolezza, empowerment, capacitazione, sviluppo di processi democratici… ma nessuno di questi costituisce la ragione della partecipazione, che è (e deve restare) una ragione metodologica. Il valutatore desidera la partecipazione degli attori rilevanti perché solo in quel modo può accedere alle conoscenze tacite, le logiche del Programma, le culture di servizio, le visioni, i valori degli attori che sono la realtà del Programma. Il Programma non è mai il testo che lo descrive, né una qualunque sua rappresentazione formale, ma solo l’insieme dei pensieri, linguaggi e azioni concrete di coloro che lo decidono, implementano, operano, fruiscono.

8 – Il linguaggio come metodo

Una conseguenza di molte delle cose scritte fin qui ha a che fare col linguaggio. Il Mandato è linguaggio; la partecipazione è linguaggio; le tecniche di ricerca valutativa sono linguaggio. Il valutatore consapevole di questa evidenza opera quindi col linguaggio e lo utilizza nell’ambito della sua valutazione.

9 – La restituzione è doverosa

Una valutazione realizzata come qui tratteggiato muove molte energie, suscita aspettative e paure. La valutazione è da molti temuta, da diversi equivocata. Il valutatore ha il dovere di spiegarsi, sempre, con tutti; di creare un ambiente favorevole; di utilizzare idonee strategie di comunicazione e relazione per indurre una buona partecipazione e poi, a risultati conseguiti, per socializzarli, restituirli, sia pure in forma sintetica e senza elementi sensibili, a chi li ha forniti. Naturalmente il dato appartiene al committente, ma è impegno e dovere del valutatore sensibilizzarlo adeguatamente affinché una restituzione sia possibile.

10 – Etica e deontologia

Diversamente da molti altri ambiti consulenziali la valutazione ha molti risvolti etici e deontologici. Il valutatore, per ben lavorare, deve aderire alle richieste del committente; fa sue le sue finalità, opera per una buona riuscita del Programma. Questa adesione fa sì che la decisione finale – che compete al decisore – è favorita od ostacolata dal lavoro valutativo. Il valutatore non può mai asserire di essere un mero tecnico, non coinvolto nel processo decisionale. Il valutatore entra nel processo decisionale e lo influenza. Il Programma avviato o chiuso o modificato a causa della valutazione è sempre opera anche del valutatore. Le inevitabili “vittime” della valutazione sono sempre vittime anche del valutatore. Il valutatore ha tutto il modo di comprendere la visione del committente, i suoi scopi reali, le sue motivazioni; se li accetta, accettando di realizzare la valutazione, è parte in causa, è coinvolto, ha una responsabilità.

Seconda parte – Esempi di cattive valutazioni

[NOTA: quanto segue è stato scritto fra il 2006 e il 2012 e riadattato nel febbraio 2018. I riferimenti temporali sono quindi da inquadrare il quelle date; le critiche si basano tutte su lavori pubblicati dei quali, per pudore verso gli autori, ometto indicazioni]

Indicatori assurdi prodotti da gruppi improbabili

E’ stato pubblicato qualche mese fa un volumetto che tratta gli aspetti metodologici della valutazione della qualità in formazione. E’ probabilmente superfluo segnalare il grande interesse che potrebbe avere tale pubblicazione: tratta di aspetti metodologici (così trascurati in Italia), relativamente a un elemento intricato (la valutazione della qualità), e ciò avviene da parte di un soggetto che ha l’importanza e il pubblico riconoscimento per porsi come leader in questo settore, tanto da diffondere largamente i propri risultati, i propri suggerimenti metodologici, direi i propri “modelli”, quali buone prassi replicabili. Più la proposta viene da tale importante cattedra, e più naturalmente ha forza, cogenza, evidenza, e imperio per diffondersi; insomma: una mano santa se ben fatta, ma qualcosa di pericoloso se fosse fatta male. Chi può giudicare, quindi, della qualità della proposta? Probabilmente non altri singoli ricercatori, o agenzie ed istituzioni, ma la cosiddetta “comunità scientifica di riferimento”, che presidia alla correttezza scientifica, alla validità metodologica, alla sostenibilità teorica, di qualunque proposta venga resa pubblica, in valutazione come in qualunque altro campo. Evito quindi di parlarne dal punto di vista di ciò che non convince me e cerco di proporre alcune riflessioni a partire da quello che si trova in letteratura. Anche se – ovviamente – sarà impossibile depurare completamente questa riflessione dalle mie personali competenze e idiosincrasie, spero di riuscire ad argomentare quanto segue: in questa proposta si ignora sostanzialmente quanto già espresso, consolidato, e abbastanza condiviso nella comunità degli scienziati e operatori che si occupano di queste cose, e ci si inventano procedure e vocaboli che non solo non hanno riscontro altrove (per quanto a me noto), ma che mi paiono errati. Potremmo partire dalle bizzarre soluzioni lessicali introdotte, che non hanno riscontro altrove, meriterebbero qualche accenno in più: perché gli indicatori sono sempre chiamati “Fattori/indicatori”? Perché si introduce il concetto di “declinazione operativa”, di cui si sottolinea la differenza con la nota “definizione operativa” salvo dare alcune spiegazioni piuttosto contraddittorie? Saltiamo a pie’ pari e andiamo invece su due elementi metodologici cruciali: cosa siano in realtà quelli che vengono definiti indicatori (o “fattori/indicatori) e come sono stati individuati i loro “pesi”, ovvero la loro importanza reciproca. Rispetto al primo problema, l’elenco riportato nella pubblicazione include elementi di genere diverso:
  • definizioni operative di indicatori, ovvero: modalità tramite le quali determinati indicatori vengono rilevati. Per esempio gli indicatori chiamati “grado di rispondenza della tale cosa…”, “grado di interazione tra i tali processi”, “numero dei destinatari della tale azione…”, e così via. “Grado di”, “numero di”, “tasso di”, e altre specificazioni analoghe, esprimono il modo in cui si suggerisce di rilevare, operativamente, un indicatore. Per cui, per esempio, l’indicatore (o “fattore/indicatore”) “Tasso di successo dei formati”, non è un indicatore in senso stretto, ma è la definizione operativa dell’indicatore “Successo dei formati”, che indica un concetto, p.es., “Efficacia della formazione” (qui sto inventando); in realtà qui c’è una questione molto complessa, se intendiamo – col termine “indicatore” – dei concetti operativizzabili oppure dei loro numeri, delle loro misurazioni;
  • indici; p.es. “Rapporto tra la tale cosa e la tal altra”;
  • concetti e dimensioni; p.es. “Ruolo e funzioni degli strumenti di concertazione…”, o “Estensione e livello di utilizzabilità dei sistemi…” e così via, che sono concetti complessi che vanno ridotti di complessità, se non altro per definire cosa significhino ‘ruolo’, ‘estensione’, ‘utilizzabilità’, e così via.
Insomma gli indicatori (o fattori/indicatori) proposti sono un coacervo di elementi diversi, da trattare diversamente. Ci sarebbe molto da dire sul come tale trattamento viene proposto, ma lo spazio è ridotto, e mi preme segnalare un altro elemento che mi pare importante. Quella che gli Autori chiamano la “ponderazione” dei fattori/indicatori è stata realizzata nel seguente modo:
  • realizzazione di un focus group con significativi stakeholder implicati nella gestione delle attività oggetto di valutazione;
  • divisione dei 14 partecipanti al focus in tre sottogruppi;
  • lavoro di attribuzione dei pesi, a livello di sottogruppo, con procedure sulla quali non mi intrattengo;
  • calcolo della media dei punteggi ottenuti nei tre diversi sottogruppi;
  • successiva normalizzazione dei valori precedenti a base 100.
Non voglio intrattenermi sulle modalità del focus, che in realtà sono tre distinti mini-focus di 3 o di 4 componenti ciascuno, ma sull’enormità di avere pensato di fare una media di valori non commensurabili scaturiti nei diversi sottogruppi. Come affermato dagli stessi Autori di questo lavoro, questo “modello” (come loro lo chiamano) ha una natura stipulativa, e il mandato nei tre sottogruppi era esplicitamente collegato al contesto di riferimento, ovvero a un tessuto sociale, antropologico, professionale, che evidentemente nei tre sottogruppi sarà stato argomentato per arrivare a dire – con sufficiente approvazione dei membri dell’intero gruppetto – “a questo indicatore stabiliamo di dare un valore pari a 3, o a 9, etc.”. Tali valori – che da un prospetto sembrano variare fra 0 e 9 – non sono altro che una rappresentazione simbolica e sintetica di una argomentazione, di una pattuizione che ha avuto probabilmente bisogno di un tessuto lessicale complesso, di riferimenti più o meno espliciti a contesti, a esemplificazioni. In quale modo si ritiene possa valere una “media” di tali valori? Si può fare una media di valori relativi a misurazioni; per esempio posso misurare l’altezza dei partecipanti a un corso (ammesso che abbia senso) e dire che “la media delle loro altezze è pari a metri 1,72”. Oppure posso fare una media di voti scolastici, per affermare che una tale classe ha una media complessiva superiore o inferiore a un’altra. Ma questi valori espressi nei tre gruppetti non sono misurazioni (come le altezze) o quasi-misurazioni (come i voti), ma semplicemente rappresentazioni simboliche di narrazioni, che potrebbero avere avuto un percorso assolutamente diverso. In un caso un sottogruppo potrebbe avere considerato maggiormente determinati elementi, in un altro caso elementi totalmente differenti, costruendo piani di argomentazioni incomparabili. Fare una media è un assurdità. E gli autori della proposta avrebbero potuto accorgersene, se non altro perché la loro tavola riepilogativa mostra una varianza da brivido: mentre sull’indicatore che ha ricevuto, da ciascuno dei tre gruppi, lo stesso valore 9 (con conseguente media 9) si può presumere che ci sia stata una certa eguaglianza di analisi (ma sarebbe facile dimostrare che non è detto che sia vero), che dire quando i tre sottogruppi hanno espresso valori di questo genere: 3-9-4 (media 5,3); 0-7-0 (media 2,3); 3-5-7 (media 5), e così via? Come non farsi venire un dubbio quando un gruppo dà un valore bassissimo e un altro uno altissimo? Come risolversi a una banale media? Ho dato conto solo di alcuni elementi, probabilmente i principali, ma trattati in maniera veramente molto veloce, dato il poco spazio. Una cosa mi pare certa, in conclusione: alcune invenzioni metodologiche e lessicali di questo lavoro non hanno riscontri in letteratura. O meglio: la letteratura sugli indicatori, quella sui punteggi di scala e sul come vadano trattati, quella sui focus group, o in generale sulle tecniche basate sui gruppi, e le loro implicazioni, etc., è molto vasta, facilmente accessibile, e si dovrebbe considerare nota. O almeno si può pretendere di considerarla la base imprescindibile di ogni proposta valutativa.

Ah, les italiens!

[L’”Osservatorio sulle intenzioni riproduttive” era parte dell’importante Istituto di ricerche sulla popolazione e le politiche sociali che, a sua volta, era parte del CNR. Questo Osservatorio non esiste più e non c’è traccia del rapporto 2003 e 2005 qui discussi] Il Nostro si presenta in questo modo (riproduco integralmente):
L’Osservatorio raccoglie i risultati di un’indagine annuale semipanel condotta su un campione di 1500 donne in età riproduttiva. Uno degli obiettivi dell’Osservatorio è di tipo previsivo e consiste nel raccogliere le intenzioni di fecondità delle donne italiane e di verificarne l’avvenuta realizzazione nel tempo attraverso una successiva intervista. Infatti, ogni anno il campione di donne contattato due anni prima viene ricontattato per analizzare se effettivamente le aspettative di fecondità si siano realizzate nei tempi ipotizzati e per individuare quali sono i gruppi di donne che hanno avuto nel biennio un comportamento (in)coerente con le intenzioni espresse precedentemente. Un secondo obiettivo altrettanto rilevante è quello studiare le caratteristiche del modello riproduttivo del nostro paese e della decisione di avere figli, inclusa l’analisi del contesto in cui le nascite si verificano e la scansione temporale attesa. Attraverso la disponibilità delle informazioni contenute in questo Osservatorio sarà possibile individuare quali situazioni impediscono alle coppie che lo desiderano di avere uno od un altro figlio e quali sono le condizioni che portano le coppie a decidere di avere un figlio, tutte informazioni preziose sia per gli studiosi di popolazione che per i decisori politici.
Quanto mi piacerebbe scrivere a lungo su queste dieci righe di presentazione dell’Osservatorio! Dalla volontà “previsiva” realizzata col “semipanel” alle “intenzioni di fecondità” (ma forse intendono “intenzioni di concepimento”), fino al “modello previsivo” e così via. La ricercatrice a capo di questo progetto è una demografa, una persona quindi che sa il fatto suo per quanto attiene i numeri che riguardano una popolazione. Sono assolutamente certo che le interviste sono state fatte con cura, su un campione sostanzialmente perfetto ma, come posso dire? qualche piccola perplessità me la voglio consentire, anche perché vogliono costruire un modello, mica scherzano, e i dati che tirano fuori sono “tutte informazioni preziose sia per gli studiosi di popolazione che per i decisori politici”. Per spiegare cosa mi perplime vi invito a immaginarvi di essere una donna fra i 20 e i 40 anni, e state facendo il sugo quando squilla il telefono e una persona molto cortese vi chiede, per esempio, se avete intenzione di fare altri figli nei prossimi due anni: pensando al sugo che sta bruciando, la vostra eventuale risposta negativa (il 62% di chi ha risposto sia nell’indagine del 2003 che in quella del 2005, che perfetta coincidenza!) deve essere successivamente motivata, ma se volete dire che vostro marito è uno stronzo e state pensando di piantarlo, e quindi di altri figli con lui non se ne parla proprio, naturalmente non trovate lo spazio nelle risposte – molto più politicamente corrette – a disposizione, e quindi direte, semmai “non intendo avere figli, sono soddisfatta dei figli che ho”, che è una risposta tautologica che non capisco come utilizzare per il famoso “modello” e che ha – guarda caso – raccolto il 43% delle risposte nel 2003 (34% nel 2005). Oppure vorreste dire che siete una donna in carriera e che i figli sono un impiccio per il vostro progetto; in questo caso trovate comoda la risposta “lavoro” (17% delle risposte nel 2003, 15% nel 2005), dove ovviamente trova collocazione anche l’altra donna, che ha risposto alla precedente intervista, che se dice al capo che è incinta perde semplicemente il lavoro precario che ha, e quindi anche lei ha risposto “lavoro”, esattamente come la cuginetta (intervistata ancora prima) che si è appena diplomata, sta cercando lavoro, e non può concedersi il lusso del figlio: anche costei a risposto “lavoro”, e così abbiamo una categoria omnibus che può raccogliere risposte molto diverse, facendoci falsificare in partenza qualunque modello, modellino, schemino, financo qualche appunto veloce e di massima. “E quanti figli vorrebbe avere in tutto?” Se ve lo chiedono, in una prossima intervista, rispondete “venti”, tanto che ve ne importa? mica firmate un impegno. Non è per caso che il 60% del 2003 e il 63% del 2005 hanno risposto “2 figli” e ben il 27% del 2003 (18% nel 2005) “3 o più”. Massì, abbondiamo, tanto i demografi non sanno che fra ciò che dico in un sondaggio sulle mie intenzioni di vita, e ciò che realmente farò, potrò fare, sarò in condizioni, fra due anni, di fare, ci passa un mondo di vita, idee, esperienze, conflitti interiori, circostanze casuali.

I sondaggi di Sky

8 Gennaio 2010, Sky TG 24 ore: dopo un lunghissimo servizio sulla rivolta degli immigrati africani di Rosarno; la notizia della cattura del presunto stupratore seriale senegalese; la condanna a 16 anni degli stupratori rumeni di Guidonia; quella sulla proposta Gelmini di mettere un tetto ai figli di immigrati nelle scuole; e dopo, infine, la notizia del blitz a Milano sull’immigrazione clandestina di cinesi, dopo tutte queste notizie messe in fila così, più o meno come ve le ho riportate io, il giornalista da studio lancia il sondaggio del giorno: “Scontri a Rosarno, Maroni: frutto di eccessiva tolleranza verso l’immigrazione clandestina. Sei d’accordo?”. Il risultato si attesta stabilmente attorno al 70% di “Sì”. Le notizie, per carità, erano quelle, mica è colpa del TG. Ma vuoi vedere che se le notizie fossero state, per esempio, “Quattro rumeni salvano ragazza da stupro da parte di balordo romano”; “Cresce il PIL nazionale grazie al lavoro degli immigrati”; “Delegazione cinese offre cento nuove casette per gli sfollati dell’Aquila”… vuoi vedere che un’analoga uscita del ministro avrebbe raccolti molti meno consensi? Tutto questo vi sembra banale, vero? Ma – mi chiedo – quello stupidissimo sondaggio, che non ha alcun valore data la non rappresentatività dei rispondenti (sia per l’auto-selezione, sia per l’estrazione di per sé non rappresentativa degli abbonati a Sky), è innocuo o lascia una traccia? ‘Innocuo’ vorrebbe dire che qualunque sciocchezza detta in tv passa come acqua fresca nelle menti, nelle coscienze e nelle memorie di chi le ha subite; ‘lascia una traccia’ significa riconoscere la proprietà perlocutoria del linguaggio, riconoscere la forza delle parole amplificata dal medium televisivo, riconoscere che le raffinatezze metodologiche appartengono solo ai metodologi raffinati, e che per il 99,99% della rimanente popolazione davanti ai teleschermi quella domanda può essere lecita, e quel 70% è una schiacciante maggioranza nella quale riconoscersi e trovarvi conforto, mettendo a tacere quella vaga e lontana vocina timorosa di rivelarsi razzista, intollerante, ignorante e violenta; ovvero una schiacciante maggioranza nella quale non riconoscersi, e da temere accrescendo il senso di smarrimento, di timore, di accerchiamento e contrapposizione che in Italia viviamo ormai con sempre maggiore radicalizzazione. Fin qui qualcuno potrebbe pensare che me la prendo per un fatto casuale: la presenza di elementi di cronaca, diversi, gravi e amplificati, relativi a immigrati, potrebbe influenzare l’esito del sondaggio. Non è così semplice: non bisogna avere dubbi sul fatto che sì, evidentemente il contesto informativo, gravemente pregiudizievole verso gli immigrati (per ragioni oggettive, non sto dicendo che le notizie siano false, ovviamente), ha fortemente condizionato il sondaggio; se un sorridente intervistatore con giacca e cravatta vi intervista chiedendovi se, a vostro avviso, percepite un clima di maggiore o minore violenza in Italia, è ben diverso se lo fa dopo che vi siete beccati un bel pugno in faccia per una lite per il parcheggio, o dopo che con la vostra famigliola siete usciti dalla sala che proiettava un bel film di Walt Disney. Che ne dite? (Per i fan: questa si chiama ‘domanda falsa’). Poiché non ci vuole una la laurea per capire questa cosa, la semplice idea di proporre questo sondaggio è qualche cosa di più che sbagliata: è colpevole. Colpevole perché contribuisce a infiammare gli animi, a indirizzare il pensiero collettivo verso un’omologazione priva di quella capacità di distanziarsi dall’emotività per discernere e distinguere. Naturalmente a questo punto mi sono tolto lo sfizio di andare a vedere – sul sito Sky – l’archivio dei precedenti sondaggi [che non riesco più a trovare]:
  • sondaggio di giovedì 7 Gennaio 2010: “Quale riforma annunciata da Berlusconi ha la priorità?: Scuola; Giustizia; Fisco”; enormemente più innocuo del precedente, ma: i) presuppone una almeno discreta competenza sulla situazione di scuola etc.; ii) presuppone una corretta e completa informazione sulla proposta del Premier; iii) i tre contesti fra i quali scegliere sono con tutta evidenza differenti (è un po’ come chiedere “Ti piace più il mare o la cioccolata?”); iv) ancora: la copertura mediatica dei tre temi è con tutta evidenza differente;
Quest’ultimo elemento è comune a tutti i sondaggi, che sono proposti nell’immediatezza di determinate notizie, come quelle sulla sicurezza aerea all’indomani del tentativo di sabotaggio sul volo Delta, quindi ne salto un po’ per farvi notare altre questioni.
  • Sondaggio di venerdì 1 Gennaio 2010: “Napolitano sulla crisi: guardiamo con più fiducia al nuovo anno. Condividi l’ottimismo del Presidente?”; anche presumendo (mah…?) che tutti coloro che hanno risposto abbiano attentamente ascoltato il discorso del Presidente (e lasciando da parte le fondamentali questioni sulla reale competenza a rispondere), qui ci si potrebbe chiedere se la domanda è formulata bene; rileggetela: ‘fiducia nel nuovo anno…’, ‘ottimismo…’. Che ne dite? Una tipica domanda multidimensionale, dove potrei rispondere pensando alla soluzione della crisi economica, alla concordia politica nazionale (o, viceversa, alla schiacciante vittoria della mia parte politica), alle possibilità di lavoro per i giovani o al fatto che mia moglie la smetta di rompermi le scatole. Queste sono le tipiche domande che in un corso sull’abc dei questionari si insegna a non fare. Idem la domanda del giorno prima sul bilancio del decennio appena chiuso.
Morale: i sondaggi non sono (sempre) fonti di conoscenza ma possono diventare pericolose fonti di omologazione, di fissazione di stereotipie e pregiudizi, veicoli di messaggi ideologicamente connotati anche se non percepiti come tali. Meditate gente, meditate…

Sondaggi politici ed elettorali

La sondaggiocrazia è un fatto assodato e conclamato della nostra vita sociale quotidiana; è passata già da diversi lustri l’epoca della sorpresa constatazione di ciò, nonché della sociologica riflessione sui suoi significati, e oggi siamo immersi nel brodo sondaggistico forse con più indifferenza ma non sono sicuro se con più anticorpi (anticorpi costituiti, in questo caso, da disincanto, cautela e scetticismo). Comunque sia i sondaggi politici ed elettorali hanno un loro sito, curato dalla Presidenza del Consiglio dei Ministri, Dipartimento per l’informazione e l’editoria (http://www.sondaggipoliticoelettorali.it/) con un grande pregio: l’archivio dei sondaggi realizzati. Al momento in cui scrivo ne sono depositati ben 2.141, a partire dal primo del 25 Ottobre 2000 fino al 12 Gennaio scorso. Sono sondaggi apparsi su quotidiani e settimanali, in  trasmissioni televisive, o commissionati da comitati e gruppi politici anche locali. La miniera è ricca: volete conoscere i risultati dell’ultimo sondaggio elettorale? State tranquilli che se anche non ne avete trovato notizia sul vostro organo di informazione qualcuno ne ha commissionato uno di recente, e qui lo trovate (per la cronaca: l’ultimo è dell’11 Gennaio commissionato da Sky); vi ha appassionato la recente polemica su Bettino Craxi? La questione degli immigrati? Ci sono sondaggi in abbondanza: E così via. Proprio la compresenza di due sondaggi su Craxi si presta a una micro-riflessione che ricalca e completa quella fatta pochi giorni fa in una precedente nota (I sondaggi di Sky, del 9 gennaio 2010). Nel sito in questione ho trovato questi:
  1. Sondaggio Ispo per Corriere della Sera dell’11 Gennaio 2010 (CATI, 800 casi);
  2. Sondaggio Ferrari Nasi per Panorama dell’8 Gennaio (CATI, 800 casi);
Le domande sono formulate in maniera differente, naturalmente, ma nel sondaggio Ispo – sull’opportunità di intitolare una strada a Craxi – il 39% dice “No perché la sua reputazione è stata inquinata da più di una questione” mentre solo il 9% dichiara “Non saprei perché non so bene cosa ha fatto Craxi” (i rimanenti per ora non ci interessano); Ma nel sondaggio Ferrari Nasi alla generica richiesta di un giudizio sull’uomo lo dà negativo il 30,7% e si ripara nel “Non so” ben il 42,6% degli intervistati. Insomma: mentre per i sondaggisti pro Corriere c’è un giudizio maggiormente negativo (la differenza è di più di otto punti) di quelli pro Panorama, per questi ultimi c’è una marea di “non so” (bastante a buttare nel cestino il sondaggio) a differenza dei precedenti, assolutamente molto ma molto più sicuri di quello che dicono. Eppure entrambi i sondaggi sono stati eseguiti con lo stesso criterio, la stessa ricerca di rappresentatività e lo stesso campione (irrisorio per entrambi i sondaggi, margine d’errore che non ho voglia di calcolare ma altissimo). Questa grande differenza in due sondaggi simili, fatti nello stesso periodo con identici criteri campionari come può essere spiegata? Se la perfezione fosse di questo mondo l’unica risposta, assolutamente plausibile, potrebbe riguardare la differente formulazione di domande/risposte che – come ci insegna la Scolastica metodologica – sarebbero operativizzazioni di concetti simili ma non identici, e quindi senza sorpresa passibili di opinioni espresse diversamente. Tenete bene a mente tale spiegazione perché è indubbiamente la più corretta in ogni caso in cui – nei vostri sondaggi – trovate apparenti contraddizioni fra risposte a domande solo simili ma non uguali (nota a margine: la plausibilità di risposte differenti a domande solo simili ma non identiche, per le ragioni ora dette, rende inutili e dannose le cosiddette “domande di controllo” nei questionari). Ciò detto per il mondo perfetto, proviamo ora a pensare a un mondo assolutamente imperfetto, dove i sondaggi sono fatti alla Carlona (che non è il nome di una famosa metodologa) e dove – per pura coincidenza – i loro risultati sono appena appena sorridenti ai desiderata dei committenti. Andiamo a spulciare un po’ in questo sito.
  • il 21 Dicembre scorso IPR, in un sondaggio per il quotidiano la Repubblica, ci informa che il 48% degli italiani ha molta/abbastanza fiducia in Berlusconi, contro il 49% che ne avrebbe poca/nessuna (1% senza opinione);
  • lo stesso giorno Ispo, per Corriere della sera, ci dice che mentre a Novembre 2009 il giudizio sul premier ammontava al 48,6%, oggi (21 Dicembre 2010) è salito al 55,9%.
  • Che dite? Fra il 48% appreso dai lettori di Repubblica (un punticino solo sotto il giudizio negativo, ma comunque sotto rimane) e il quasi 56% letto da quelli del Corriere, non pensate che ci sia una bella differenza, probabilmente più in termini politici che meramente statistici?
Prendiamo un altro tema caldo: il rapporto fra Fini e Berlusconi:
  • il 19 Novembre 2009 un sondaggio SpinCon per Notapolitica.it (con tecnica CAWI) ci informa che fra gli elettori di centro destra l’80,2% si schiera con Berlusconi e il 19,8% con Fini (bel colpo, nessuno senza opinione!);
  • il 23 Novembre SWG per la trasmissione Annozero fa salire a 31% i finiani, scendere al 65% i berlusconiani, con un residuo 4% di altre risposte (tecnica e campioni diversi, e non si capisce se la domanda ha riguardato solo gli elettori di centrodestra).
A questo punto il messaggio è piuttosto chiaro: tecniche più o meno simili ma non sempre uguali (ma quanti sanno cosa sia un CAWI o un CATI?), con campioni diversi – in relazione anche al medium utilizzato – ma sempre discutibili (ma quanti lettori/ascoltatori lo percepiscono?) e domande più o meno simili ma non identiche. Pur con tutto ciò mi sento di semplificare e additare tali sondaggi come sostanzialmente simili negli argomenti e specialmente nelle intenzioni: sostenere delle tesi. Non sempre, ci mancherebbe, anzi probabilmente di rado, ma almeno i lettori del mio sito siano avvertiti: prima ci immunizziamo rispetto alla retorica sondaggista e più saremo liberi.

Dio, Patria e Famiglia

Occorre essere cauti quando si giudicano i lavori altrui, sempre frutto di fatiche e impegno che non devono essere disdegnati. E il diritto di critica – quello che a parole diciamo sempre essere il motore di una sana crescita per la comunità scientifica – deve essere parco di aggettivi e documentato nel merito. Insomma: devo parlare del Censis che presenta oggi (13 Marzo 2012) il suo Rapporto per il centocinquantenario italico intitolato I valori degli italiani. Dall’individualismo alla riscoperta delle relazioni, che io ho letto nella sintesi scaricabile dal loro sito. Come usuale per Censis lo stile espositivo è quello affabulatorio ed evocativo tipico dei loro Rapporti annuali, che a me non piace perché rischia di essere più apodittico che argomentativo: le prime pagine del Rapporto sui valori si apre proprio con “il grande disegno” dei nostri decenni trascorsi da “la lunga corsa del primato dell’io” al “disastro antropologico” fino alla “post-soggettività”, il tutto in tre pagine (sì, è solo la sintesi, eventualmente mi ricrederò leggendo il rapporto completo…). Poiché rischio di diventare assertivo e retorico a mia volta, lascio perdere questo stile narrativo e mi concentro sul metodo. Scelgo una questione che mi ha colpito (specie leggendo la vulgata sui quotidiani di oggi) non avendo spazio per molteplici esempi.
Domanda (Tab. 12 di pag. 7): Lei crede che esista una sfera trascendente o spirituale che va al di là della realtà materiale? Risposte previste (presumo ex ante, nella sintesi non c’è alcuna indicazione di metodo; comunque non cambierebbe nulla):
  • Si, perché sono credente
  • Pur non essendone pienamente convinto, credo che in fondo ci sia “qualcuno” o “qualcosa al di là della realtà materiale
  • Forse sì, ma comunque ritengo che si debba tenere nettamente separate la sfera razionale e quella irrazionale
  • Non me ne occupo
  • Non lo so ma mi affascina pensarci
  • Pensare a questo genere di cose allontana gli uomini dai problemi veri della vita
  • Non lo credo, ma a volte mi comporto come se esistesse.
Solo per commentare questo item servirebbe un enorme spazio, comunque, in super-sintesi:
  1. la prima risposta è evidentemente viziata, legando l’affermazione al fatto di essere credenti; il problema sarebbe meno grave se ci fosse una successiva risposta “Sì anche se non sono credente” che sarebbe – per inciso – la mia personale risposta che non troverebbe, invece, alcuna collocazione. Notate che la seconda risposta in elenco non è affatto affine a quella appena da me indicata;
  2. tale seconda risposta in elenco è affetta da ambiguità palese: non ne sono convinto – dichiarerebbe l’intervistato – però ci credo? Una risposta molto ipocrita, del tipo “prego anche se non ci credo perché non si sa mai”… Sarei veramente curioso di capire quali vere risposte siano finite in questo gruppo;
  3. la terza risposta in elenco è formata da due parti: una parte è la risposta alla domanda, e dichiarando “forse sì” (alla domanda “Lei crede…?”) ci si allinea fra gli indecisi, ovvero coloro che in realtà non è che su tale questione abbiano mai riflettuto veramente; altra risposta, pertanto, ambigua (la interpretiamo come un ipotetico ‘Sì’ o come uno scivolamento verso lo scetticismo del ‘No’?). Ma la seconda parte (quella che inizia con “ma comunque ritengo…”) è un pasticcio, come tutte le frasi che iniziano con ‘ma’, che ha la funzione retorica di limitare quanto precedentemente asserito (vacanza bella ma costosa) ovvero di ribaltarne il significato (ricordate il celebre “è socialista ma onesto”?). Domanda ai ricercatori: se vogliamo sapere se la gente crede o non crede, perché ficcare qui quest’appendice cervellotica sulla separazione di razionale e irrazionale? Cosa c’entra? E poi: vi sfiora l’idea che considerare “irrazionale” la sfera trascendente significa dichiararsi ateo?
  4. Le risposte finali continuano a marciare nel cono d’ombra dell’ambiguità: dire (ovvero: far dire agli intervistati; classificare le risposte in questo modo) “Non lo so ma mi affascina pensarci”, oppure “Non lo credo, ma a volte mi comporto come se esistesse”, significa delegare a modi di dire ambigui e contraddittori quello che una ricerca sociale seria dovrebbe cercare di disambiguare.
La conclusione poi degli estensori del documento è (ma guarda un po’!) che la spiritualità degli italiani è aumentata negli ultimi vent’anni (comparando con dati 1988). La sintesi che ho potuto leggere contiene una quantità enorme di altri dati che segnalano il senso della famiglia, il desiderio di ordine, l’amore patrio. Molti dati senza poter capire la fonte e il metodo (ripeto: io ho potuto accedere alla sintesi scaricabile dal sito) di questo classico “Dio, Patria e Famiglia” che sarà indubbiamente il risultato onesto di una seria operazione di ricerca ma che a me sembra davvero molto ideologico. E non aiuta a liberarmi da questa sensazione il linguaggio evocativo, lo stile accattivante e le strizzate d’occhio al lettore, l’uso di aggettivi ad effetto e così via. Sono certo che chi ha scritto il Rapporto si è divertito molto, e indubbiamente i dati erano quelli, visto come sono state formulate le domande e classificate le risposte… La domanda finale è: a cosa è servita questa Ricerca?

Terza parte – Non è un Paese per rigorosi

La situazione avvilente della pubblicistica italiana

Ho sostenuto per anni che in Italia l’attenzione al metodo, l’accuratezza del lessico, la chiarezza dell’esposizione tecnico-scientifica sono questioni trascurate. L’ho detto pubblicamente in Congressi AIV, l’ho scritto in non pochi testi pubblicati sulla RIV, o in volume. Il mio punto di vista è molto semplice: scarso rigore = cattiva valutazione = bassa credibilità della cultura valutativa = non uso della valutazione e così via. Queste equazioni possono sembrare abbastanza ragionevoli e accettabili, ma la cattiva valutazione continua baldanzosa a proporsi ed espandersi. Si potrebbe pensare che la cattiva valutazione sia un problema di cattivi valutatori, professionisti improvvisati e ignoranti, praticoni dell’ultima ora che trascurano i dettami della buona accademia che proporrebbe – inascoltata – la qualità valutativa, metodologica, scientifica. Non è così. Lettore sempre più annoiato della pubblicistica valutativa e metodologica italiana constato come la stragrande maggioranza dei volumi sia opera di accademici e tuttavia rimanga generalmente sotto la media dell’accettabilità. Per motivi piuttosto ovvii qualunque accademico, foss’anche un semplice ricercatore, è certo di farsi pubblicare un proprio testo semplicemente assicurando di metterlo come testo agli esami negli anni successivi e garantendo con ciò le vendite. Gli editori, salvo rare eccezioni, non hanno interesse a porre troppi veti, e i comitati editoriali delle collane (qualunque collana ha un ampio e prestigioso comitato di questo genere, solitamente composto da altri accademici) stanno lì perché non possono dire di no ai responsabili delle stesse – loro colleghi – e in genere non sono neppure informati del fatto che si pubblicherà questo o quell’altro volume. C’è poi un’ulteriore deprimente retorica che si consuma nel nostro Paese; molto spesso – anche nel volume su cui mi sto per concentrare – l’Autore ringrazia Tizio e Caio (usualmente figure di spicco del panorama accademico prossimo a lui stesso) per il contributo dato in sede di prima lettura del testo. Ma accade veramente raramente che Tizio e Caio abbiano avuto tempo e voglia di leggere attentamente le bozze e, cosa principale, che abbiano avuto voglia di redigere una serie di critiche minuziose. Perché criticare? Poi se ne ha a male… al prossimo concorso a cattedra ce l’avrei contro… no, no, meglio dare un’occhiata veloce, segnalare un piccolo refuso minore tanto per far vedere che ci siamo applicati, e chiuderla lì. A fortiori nessuno farà in seguito un recensione men che favorevole al testo. In Italia nessuno scrive recensioni; le recensioni dovrebbero essere redatte dai migliori teorici e, nel nostro caso, dai migliori valutatori, e non già da oscuri dottori di ricerca con ambizioni accademiche e con contratti di lavoro precari presso ordinari che chiedono il “favore” di recensire l’amico. Gli zelanti giovanotti (e giovanette) in generale hanno già capito le regole: dirne solo bene e – se il volume fosse proprio orrendo – stare sulle generali, sostanzialmente riprodurre la quarta di copertina. Così non si va da nessuna parte. Così non cresciamo. Così continuiamo a pubblicare libri brutti e a non trovare buone letture da fare prima di dormire. Così l’accademia tradisce una volta ancora il proprio (presunto) mandato e, agendo così lei, come imputare ai professionisti torti in merito alle loro competenze?

Con-sensus method

Giovanni Bertin ha scritto un libro dal titolo Con-sensus method. Ricerca sociale e costruzione di senso (Franco Angeli, Milano 2011). Il libro sarebbe un testo necessario proprio per la chiarezza concettuale che potrebbe aiutare a fare in un momento in cui, a mio parere, si abusa del concetto, si spaccia il consenso come qualcosa di utile a prescindere, si imputa ad alcune tecniche la capacità di fare cose che invece, non sono affatto in grado di fare. Purtroppo il testo di Bertin non mi è sembrato sufficiente. Ampio e ripetitivo, denso e oscuro, lascia il lettore con la penosa sensazione di essere un po’ stupido perché alla fine ha capito poco. O meglio: io ho capito poco, e assegno la stupidità esclusivamente a me stesso. Bertin utilizza concetti estremamente importanti senza spendere una riga per spiegarli. Per esempio cosa intende con “strutture cognitive”? Quando parla di “strutture concettuali” intende la stessa cosa? Essendo un concetto fondamentale della proposta bertiniana, come lo devo comprendere? Ha a che fare con gli “schemi concettuali” di Neisser? O forse con i giochi linguistici di Wittgenstein, dato che Bertin centra molto il discorso sulla ricerca del “senso” (che parimenti non definisce) e di analisi semantica? E cosa intende con approccio “abduttivo” visto che non lo spiega e che lo usa in contesti che non riesco a riconoscere come ‘abduttivi’? Ecco: centrare una ricerca su questi concetti e non spiegarli, non riferirsi a un solo psicologo cognitivista, a un solo linguista (salvo miei errori, in bibliografia non ce n’è neppure uno), mi fa pensare a un uso ordinario dei termini, e quindi non preciso, non specifico, a volte erratico. E gli “approcci misti” che fanno ogni tanto capolino? Si tratta indubbiamente dei mixed method di cui scrivono, fra l’altro, Greene e Caracelli, ma il tema è complesso, non ne hanno scritto solo queste due autrici statunitensi (da Bertin citate), e Bertin lo butta un po’ lì con un criterio e in accostamenti onestamente non chiarissimi; per esempio: perché un disegno valutativo basato su approcci misti genererebbe caratteristiche relative al processo d’interazione fra stakeholder (Tab. 4 a pag. 23), tanto per dirne una? E cosa intende dichiarando che l’”analisi della documentazione” è una tecnica di ricerca (Tab. 2 a pag. 39)? E’ sicuro di utilizzare correttamente questo termine? In effetti Bertin fa un uso molto libero dei termini tecnici (ma so che ci sono tradizioni di ricerca differenti, forse Bertin fa riferimento a scuole differenti dalla mia). Per me c’è una bella differenza fra |dato| e |informazione|, fra |variabile| e |proprietà|, |metodologia| e |metodo| e così via; Bertin usa regolarmente i primi termini di queste coppie intendendo spesso, a mio avviso, i secondi. Né aiutano a fare chiarezza i “casi”, che l’Autore distribuisce qua e là con buona intenzione trattandoli ciascuno in mezza dozzine di righe e vanificando, in tale estrema sintesi, la loro funzione esemplificativa. Insomma, alla fine del libro si capisce che il con-sensus method è importante, si ha un’idea dei due principali usi che vengono segnalati, ne vengono collegate alcune tecniche specifiche, ma non credo che un lettore medio sia in grado di applicare una qualunque di queste proposte sempre un po’ vaghe, opalescenti, imprecise sin dal lessico.

Tecniche per il consenso

I due capitoli centrali trattano le tecniche: NGT, Delphi, RAM, Brainstorming e Focus group. A parte la RAM che non conosco e che – stando a quanto appreso in questo libro – mi pare una variante trascurabile dell’NGT, le altre tecniche sono da me discretamente ben conosciute, e ritengo che nel volume di Bertin siano trattate in maniera parziale. Bertin si confonde sin dal significato del nome: l’aggettivo Nominal nel nome della tecnica Nominal Group Technique non fa riferimento, come lui annota, al fatto che si tratti di gruppi “costruiti ad hoc per la rilevazione delle informazioni, che non hanno consolidato le classiche dinamiche di gruppo” (p. 67), bensì al fatto che viene limitata o negata l’interazione fra i suoi membri (in contrapposizione ai gruppi reali dove tale interazione è lasciata libera). Ciò di cui parla Bertin (i gruppi “costruiti ad hoc”) si chiamano appunto gruppi ad hoc (anche gruppi di lavoro) contrapposti ai gruppi naturali. D’altronde gli psicologi sociali ci insegnano che qualunque gruppo, fosse pure di persone fino a quel momento sconosciute l’una all’altra, avviano da subito dinamiche interne e interazioni tipiche di qualunque gruppo (p.es. leadership), ed è proprio per limitare tali dinamiche – quando ritenute negative – che si applicano tecniche che impongono ai partecipanti di lavorare individualmente interagendo fra loro per mezzo del conduttore (come nella Delphi) oppure che lavorano preliminarmente individualmente (questa è la fase strettamente “nominale”) per poi interagire, in forma particolare e limitata, solo sulle questioni non emerse consensuali nella precedente fase. Bertin ci dà poi una descrizione abbastanza classica dell’NGT riprendendo fedelmente da Delbecq e Van de Van (gli originali ideatori) proponendola come unica e senza cogliere l’occasione per mostrare modalità differenti in particolare nella gestione e conduzione; per esempio la produzione di testi in risposta a questionari aperti rende enormemente laboriosa la sessione NGT – come lo stesso Bertin segnala (p. 71) – e la soluzione informatica che lui propone aiuta certo ma non risolve; l’NGT invece è assolutamente più veloce quando i partecipanti non devono rispondere a questionari aperti ma attribuire valori di scala (p.es. a indicatori), cosa assolutamente immediata se realizzata in maniera informatizzata (come io stesso ho visto fare a Bertin esattamente vent’anni fa) ma estremamente veloce anche se fatta senza ausilio di computer. Sulla Delphi le imprecisioni crescono; Bertin afferma che “La tecnica Delphi nasce all’inizio degli anni settanta, messa a punto dalla Rand Corporation, come strumento di previsione da utilizzare in contesti incerti” (p. 74) mentre in realtà è stato elaborato nei primi anni ’50 dalla Rand Corporation come analisi degli effetti di possibili attacchi nucleari sovietici; i primi testi della Rand sono degli anni ’60 e sono scaricabili dal loro sito. Anche qui la presentazione operativa è un po’ stereotipata e la ragione, io credo, dipende dalle fonti informative utilizzate dall’Autore. Bertin infatti scrive:
La letteratura (Bertin, 1989) propone di individuare almeno quattro grandi filoni di ricerca…
L’autocitazione è usuale e assolutamente ammessa, ci mancherebbe altro, ma Bertin ignora che quando Tizio, autore di un libro, rinvia “alla letteratura”, si prodiga a citare Caio e Sempronio, che sono altri e diversi autori con tesi che sostengono quelle di Tizio, e non si limita a citare solo se stesso. Bertin è colto ed esperto, indubbiamente, ma autodefinirsi “la letteratura” mi pare un po’ troppo. Anche in questo caso la trattazione, in poche pagine, è rigida e apodittica, descrive un solo tipo di Delphi, ne riepiloga caratteristiche ipotetiche e solo a volte realmente presenti. Eppure la bibliografia in fondo al volume è sufficientemente ricca, e nasce il sospetto che una certa fretta nel redigere il suo volume non abbia consentito all’Autore un reale utilizzo dei volumi che pure sono elencati. Il brainstorming. Qui la fonte citata nel corso della trattazione è Osborne 1988. A parte il piccolo qui pro quo sul nome – l’inventore del brainstorming si chiama Osborn, senza la ‘e’ – occorre rilevare che il testo del 1988 non è quello originale. Come ho già avuto modo di dichiarare nel mio volume del 2006, questa edizione del lavoro di Osborn è una traduzione italiana manipolata e “corretta” da Moise J. Levy che ne ha stravolto alcune parti e che a me appare poco adatta a rappresentare la tecnica. In bibliografia (quella finale) ci sono anch’io col testo del 2006, e ne ringrazio molto Bertin, oltre a uno stravagante testo apparso sulla rivista “Cervello e Psycho” ignota anche a Google, di Stoebe (in realtà si tratta di Stroebe, con una ‘r’, grande esperto) e Nijstad. Se non mi sono sbagliato non c’è altro e viene da pensare che il brainstorming non sia la tecnica più nelle corde di Bertin. Sul focus group Bertin, oltre ad alcuni classici, sembra rimasto a Corrao 2000 e Bloor e altri 2002; sulle Concept mapping (che non so perché si ostina a chiamare conceptual mapping) poi non identifica la vera fonte (Novak) e segue un diverso e parziale filone metodologico che non è realmente utile, come da me evidenziato in un articolo di qualche anno fa. Ma su questo tipo di critica credo di essere stato sufficientemente chiaro. Bertin presenta una bibliografia finale piuttosto stravagante, indiscutibilmente incompleta e apparentemente poco utilizzata nel corpo del volume dove Bertin, come già si è visto, si rivolge “alla letteratura” con il plurale maiestatis.

Il consenso

Sono consapevole che fin qui ho parlato di uno stile espositivo, di capacità argomentativa, di fonti più o meno autorevoli e di lessico scientifico in termini che possono anche essere opinabili. Semmai ad altri lo stile di Bertin sembra chiaro e completo, la bibliografia eccellente e il lessico esemplare. Può essere. Probabilmente sarà così anche per questo ultimo punto che sto per affrontare, ovvero la tesi fondamentale (o una delle tesi) che porta Bertin a sostenere che se diversi osservatori, che osservano lo stesso fenomeno, lo descrivono nello stesso modo, allora è probabile che tale osservazione sia attendibile e costituisca una buona rappresentazione della realtà (p. 67). Ciò viene sostenuto sulla base del fatto che il giudizio degli esperti porta a considerare il consenso come criterio di validità del dato prodotto (p. 44). Queste affermazioni sono ripetute in più punti del volume, e anzi il consensus method finalizzato alla validazione del dato è uno dei due filoni descritti da Bertin (l’altro è il consenso come finalità). Naturalmente non posso (e non intendo) sostenere che Bertin “sbagli”, ma certamente – e con vigore – che io non sono d’accordo. Bertin assume – legittimamente – una prospettiva positivistica vecchio stile quando ricalca in maniera incredibilmente simile la tesi di fondo di Cartesio che, nel Discorso sul metodo, prime pagine, scrive:
Il buon senso è a questo mondo la cosa meglio distribuita: ognuno pensa di esserne così ben provvisto che anche i più incontentabili sotto ogni altro rispetto, di solito, non ne desiderano di più. Non è verosimile che tutti s’ingannino su questo punto; la cosa, piuttosto, sembra attestare che il potere di giudicare rettamente discernendo il vero dal falso, ossia ciò che propriamente si chiama buon senso o ragione, è naturalmente uguale in tutti gli uomini. Sicché la diversità delle nostre opinioni non deriva dall’essere gli uni più ragionevoli degli altri, ma solo dalle vie diverse che seguiamo nel pensare, e dalla diversità delle cose considerate da ciascuno.
Per Cartesio (e per l’impianto paradigmatico positivista) la verità è unica, e se le persone hanno opinioni differenti sul mondo è perché hanno informazioni diverse e modi diversi di affrontarlo. Così Bertin, che ripete questi concetti con grande coerenza da molti anni, e che trova negli approcci consensuali una soluzione che sarebbe piaciuta a Cartesio: mettiamo le persone in interazione entro un gruppo e la verità – necessaria unica e vera – emergerà in maniera univoca e consensuale; se ciò non avviene il problema è “nel dato prodotto”. Non esistono, per Bertin, verità molteplici; la complessità sociale gli è sconosciuta e financo le ricche trappole di quel linguaggio – prodotto e artefice del lavoro del gruppo – che dovrebbe produrre quel “senso” da lui più volte evocato, dovrebbe esplorare quelle “strutture cognitive” che gli psicologi cognitivisti ci spiegano essere così diversamente ancorate all’esperienza del reale. Quando Bertin, in un ennesimo passaggio su questo tema, dichiara che
il criterio per decidere se il risultato è attendibile o meno è dato dal gradi di omogeneità delle informazioni prodotte dai partecipanti (p.69)
si infila in un vicolo cieco di cui sembra non accorgersi: cosa accade, infatti, se le informazioni non sono omogenee? C’è un errore nel metodo? Un’incomprensione da sanare nella comunicazione fra i partecipanti? E come ci si dovrebbe comportare in questi casi, visto che nel volume questo caso non è contemplato? Bertin parla di validazione, di confronto nel gruppo, di minacce alla validità della ricerca, suggerendo strategie e pericoli ma, a meno di mie sviste, non si diffonde in un apposito capitolo a spiegare come dovrei comportarmi se il mio gruppo, pur costruito con logiche finalizzate al consenso, tale consenso non raggiunge. Non lo scrive, tale capitolo, perché non può. Legandosi troppo alla “validazione del dato” in questa logica positivistica probabilmente non può che considerare errato l’esercizio, fallito il gruppo, deficitaria la tecnica. Guai pensare che le persone hanno legittime posizioni differenti, e che ciò non rappresenti alcuna contraddizione.

Conclusioni

L’uso poco rigoroso del lessico scientifico, le imprecisioni nella descrizione delle tecniche, i numerosi errori sia grammaticali, che tipografici, che relativi a contraddizioni interne nel testo (la tab. 3 di pag. 142 riepiloga la numerosità suggerita delle persone da coinvolgere nelle varie tecniche ed è in contraddizione con quanto dichiarato nei paragrafi specifici in tre casi su quattro) testimoniano, a mio avviso, una certa frettolosità redazionale, una scarsa revisione delle bozze, una tendenza alla superficialità argomentativa. Lo stile è più assertivo che argomentativo, e le cose sono descritte così, come piacciono all’Autore, senza mostrare varianti, posizioni differenti, alternative. L’impianto è orientato a un positivismo ingenuo piuttosto raro da trovare oggi, e la bibliografia finale sembra l’aggiunta casuale di titoli a volte decisamente strani (dove Bertin abbia trovato e letto il “Wuhan University Journal of Natural Sciences” o il “Comunications of the Association for Information System” non è dato sapere ma se le citazioni sono autentiche è decisamente da ammirare) e comunque datati, incompleti, e scarsamente usati nel volume. Se Bertin fosse un giovanotto ambizioso e presuntuoso, volto a scimmiottare l’accademia redigendo prematuramente il suo primo libro non avrei perso un solo minuto a leggerlo e tantomeno a recensirlo. Le cantine degli editori sono pieni di questi volumi lasciati al pasto delle muffe e dei topi. Ma Giovanni Bertin è stato un professionista noto della valutazione italiana. Bertin ora è un accademico, e suppongo che tutta la sua ricca esperienza metodologica sia incanalata ora nel lavoro didattico. Bertin quindi ha delle responsabilità. Non può scrivere un libro di questo genere.

Copertina


Parte quarta – Indicatori senza pensiero

Caso 1 – L’indicatore come procedura

Questo caso ha una matrice teorica di riferimento di carattere statistico-economico-sanitaria, in quanto ad Autori, e si presenta come manuale per la valutazione della qualità dei servizi pubblici. Fra i vari capitoli di autori diversi, uno riguarda le attività e performance nelle aziende di servizi alla persona, basato su indicatori. L’autore di questo capitolo dichiara innanzitutto la sua definizione:
indicatori, cioè […] variabili quantitative o qualitative che registrano un certo fenomeno, ritenuto appunto “indicativo” di un fattore di prestazione (Testo A, p. 72).
E prosegue:
La gamma di indicatori proposti [più avanti nel testo] è molto ampia. I soggetti chiamati a elaborare o rielaborare un sistema di misure potranno trovare suggerimenti intorno agli indicatori da adottare e al loro significato (Testo A, p. 73).
Si prefigura quindi un elenco di indicatori predigeriti, rispetto ai quali il problema della loro legittimità, validità, condivisione, etc. non si pone affatto. Seguono paragrafi su paragrafi di indicatori, brevemente commentati, relativi ad aspetti diversi. Per esempio:
Tra gli indicatori relativi agli utenti si possono distinguere:
  • gli indicatori di domanda [breve definizione];
  • gli indicatori di accessibilità [breve definizione];
  • gli indicatori di appropriatezza [breve definizione].
[…]. Per quanto riguarda gli indicatori di domanda, si individuano due classi basate rispettivamente sui dati relativi agli utenti e ai tempi di attesa. a) Utenti/Utenti
  • Utenti in lista di attesa / Utenti effettivi %.
Un alto valore del rapporto mostra l’interesse suscitato dall’Azienda presso il pubblico. Peraltro, per apprezzare compiutamente il significato, occorre considerare l’offerta esistente nell’area: in assenza di aziende concorrenti, un valore elevato del rapporto indica innanzitutto le potenzialità di crescita dell’azienda; in presenza di aziende che offrono servizi analoghi, lo stesso dato esprime anche la posizione competitiva relativa dell’Azienda (Testo A, pp. 80-81).
Seguono altri ragionevolissimi indicatori come il precedente, ciascuno corredato da altrettanto noiosa descrizione. In trentaquattro pagine sono elencate decine e decine di questi indicatori, in alcuni casi sorprendenti:
  • Utenti che presentano caratteristiche coerenti con la missione dell’Azienda / Utenti totali % (Testo A, pag. 83; non si capisce come si rileverà l’informazione al numeratore).
In altri casi di dubbio significato:
  • Numero di iniziative di animazione /addetti all’animazione (Testo A, p. 95; reca l’indicazione: “Esprime la produttività delle risorse umane coinvolte”, ma è evidente che si tratta di una delle possibili declinazioni – molto ristretta – del concetto di ‘produttività’).
  • Outcome complessivo / Numero di utenti (Testo A, p. 97; non viene specificato cosa dovrebbe esprimere, né come rilevare, e a monte identificare, l’“outcome complessivo”).
  • Grado di soddisfazione media degli utenti / Costo medio unitario delle attività centrali (testo A, p. 99; come viene rilevata la soddisfazione media degli utenti? Che significato ha dividere la soddisfazione per un costo?).
Eccetera. Per trentaquattro pagine.

Caso 2 – L’indicatore come asserzione retorica

Siamo in un ulteriore contesto di valutazione della qualità dei servizi sociali, sostanzialmente coevo al precedente ma di matrice più sociologica; qui c’è una maggiore sensibilità al problema dell’origine degli indicatori, tanto che il capitolo metodologico (“Un percorso per la valutazione della qualità nei servizi socio-assistenziali” – Testo B, cap. 3) si pone subito la domanda “Come valutare?”, dandosi una risposta sostanzialmente corretta: Un quesito difficile, in quanto in esso si fronteggiano la complessità dei fenomeni sociali e la complessità del concetto di qualità. […]. Il passaggio dal concetto complesso di qualità a una sua rappresentazione operativa richiede un démontage del fenomeno-qualità, altrimenti impossibile a cogliersi e a misurarsi, passando attraverso i tre livelli analitici (struttura, processo, efficacia), e fino ad arrivare a una serie di dimensioni elementari direttamente misurabili che permettano di attribuire un peso e un valore alla qualità. Si deve utilizzare, quindi, una metodologia fondata sulla costruzione di indicatori sociali collegati alle diverse dimensioni che compongono il fenomeno “qualità del servizio”. (Testo B, p. 98). Ritengo che qui siamo di fronte a un corretto impianto concettuale: “qualità” è un concetto omnibus, dobbiamo operativizzarlo attraverso indicatori più specifici; questo è il succo. Ma come viene portata avanti questa operazione? Le tre dimensioni fondamentali utilizzate (struttura, processo ed efficacia) sono state argomentate precedentemente dagli autori, e non mi interessa sollevare dubbi. E’ ovvio che si tratta di un elemento determinante, ma supponiamo che sia stato bene argomentato. Come si va avanti ora? Secondo un percorso ben noto, sovente definito “paradigma lazarsfeldiano”, gli autori procedono scomponendo le dimensioni stabilite; per esempio “struttura” viene descritta come:
  • disponibilità strutturale:
    • risorse finanziarie
    • risorse tecnologiche
    • risorse materiali
    • risorse umane
  • accessibilità:
    • rapidità e comodità di accesso ai servizi
  • sistema comunicativo:
    • scambio formale di comunicazioni fra organizzazione e utenza
    • livello di comprensione tra struttura e persona
  • sistema informativo:
    • sistemi informativi
    • sistemi di monitoraggio e autovalutazione
  • criteri gestionali:
    • quadro decisionale e normativo
    • modalità organizzative
    • fonti e distribuzione degli inputs.
Analogo lavoro per le dimensioni “processo” ed “esiti”. Appare evidente, credo, una certa tendenza all’infrazione dei criteri della classificazione, la tautologia e la vaghezza di questa lista. Quello che a noi interessa è però: come ci si è arrivati?
Esiste un paradigma generale di riferimento per l’analisi della questione-qualità che appare comunemente accettato e in buona misura condiviso dagli Autori che ne hanno affrontato i temi connessi e che si sono cimentati con i problemi della sua misurazione, seppure da diverse prospettive. In particolare, sembra esistere una rilevante convergenza in merito a quelli che sono definiti i livelli di analisi della qualità [si fa riferimento alle tre dimensioni principali e loro sottodimensioni, come visto sopra]. E’ propriamente da questo paradigma, di indiscutibile valore analitico, ma complesso e difficoltoso da realizzarsi operativamente, che si è partiti per proporne un’integrazione, o meglio, una diversa articolazione interna, ai fini di renderlo suscettibile di applicazioni pratiche più agevoli e soprattutto alla portata di operatori e organizzazioni dalle normali capacità di riflessione sui propri livelli, qualitativi e quantitativi, di attività. (Testo B, pp. 102-103).
Se avete letto fin qui è già troppo tardi perché l’artificio retorico è già stato predisposto:
  1. il “paradigma generale di riferimento” (qualcosa che suona come “la legge bronzea dei salari”, “il diritto naturale delle genti”) appare comunemente accettato e in buona misura condiviso…; senza onere della prova, e senza riferimenti chiari, il lettore non esperto si trova teletrasportato in un regno di certezze; malgrado alcuni accorgimenti cautelativi (“appare”, “in buona misura”) a beneficio dei potenziali lettori più istruiti, ormai siamo dentro una concettualizzazione che deve apparire come ovvia, corretta, ben nota;
  2. il paradigma ha un “indiscutibile valore analitico” (funzione di sostegno del concetto), ma è “complesso e difficoltoso” (così ci ritraiamo, ben lieti che ci siano risparmiati i mal di testa); perciò gli autori ne hanno fatto un’integrazione, per renderlo più “suscettibile di applicazioni pratiche più agevoli e soprattutto alla portata di operatori e organizzazioni dalle normali capacità di riflessione sui propri livelli” (cioè a prova di stupidi; grazie).
A questo punto gli autori prendono elemento per elemento (dimensioni, o indicatori, decidete voi) e ne descrivono (assertivamente) i contenuti; per esempio:
La disponibilità strutturale. Dipende dalla dotazione di risorse economiche, umane e materiali. Un servizio carente di risorse umane, per esempio, sarà forzatamente lento e poco efficiente, e produrrà soprattutto tempi e liste di attesa molto lunghi. All’interno  della dimensione individuata dalle risorse materiali, risalta il problema rappresentato dall’impegno economico. La qualità di un servizio sociale o sanitario dipende, infatti, dalla capacità di soddisfare i bisogni dell’utenza a costi sopportabili sia per il singolo che per la collettività. E’ un concetto, quindi, che si può ulteriormente scomporre in due parti. Da un lato, si ha un versante individuale […]. Dall’altro, si ha un versante collettivo […] (Testo B, pp. 104-105).
Così, fra descrizione tautologica e uso retorico di sintagmi con funzione dimostrativa (“infatti”, “quindi”), ci ritroviamo irretiti in un sistema di indicatori ampio, confuso, non argomentato.

Caso 3 – L’indicatore come invenzione

Questo terzo caso ha autori ancora diversi che hanno realizzato un sistema di “indicatori di performance costruiti per una serie di politiche/servizi comunali, con l’obiettivo di strutturare un meccanismo di comparazione fra le amministrazioni coinvolte” (Testo C, 37). Dopo alcune fasi preparatorie e la produzione di un manuale, accortisi dello scarso utilizzo del lavoro, i responsabili hanno deciso per un rilancio dell’iniziativa più legato ad alcune necessità dei direttori generali comunali, in sostanza basandolo su un sistema di indicatori la cui ragione, pur argomentata più ampiamente dagli Autori, sembra onestamente fondarsi sul fatto che all’epoca (fine anni ’90) “gli Enti si sono attrezzati per organizzare i sistemi informativi in modo da poterli orientare ad un’attività di assessment” e poi, “innanzitutto, per un problema di risorse. […] si è pensato che lo strumento che potesse garantire buoni risultati a costi non eccessivi fosse appunto la tecnica degli indicatori di performance” (Testo C, 41). Specificano gli Autori:
Sui limiti degli indicatori di performance è stato scritto molto; tuttavia abbiamo ritenuto che l’ancoraggio ad una metodologia di valutazione e di policy analysis potesse efficacemente indicare i confini di validità delle misurazioni e dei giudizi conseguenti, permettendo di evitare gli scivolamenti verso una produzione di dati statistici o, peggio ancora, di conclusioni senza fondamento (e perciò anche dannose). In secondo luogo per un problema di cultura. […] la relativa immediatezza delle categorie utilizzate è stata considerata un vantaggio rispetto ad altri approcci. Infine, per gli aspetti di flessibilità e semplicità dello strumento: può essere applicato a vari interventi, mentre la relativa facilità di individuazione e raccolta dei dati permette di avere informazioni che, nonostante l’incertezza sui nessi di causalità, consentono di avviare riflessioni sui punti di forza e di debolezza di alcuni aspetti delle attività monitorate (Testo C, 41-42, ultimo corsivo mio).
Quindi: la “metodologia”/”strumento” degli indicatori evita lo scivolamento nella mera produzione di dati, considerata negativa (ma fra un attimo capiremo che gli indicatori, per questi Autori, sono qualcosa di molto simile), e sono facilmente comprensibili nonostante l’incertezza sui nessi di causalità, ovvero – traducendo diversamente “causalità” – malgrado l’incertezza dei processi di significazione. L’indicatore di performance, per questi Autori,
è una misura di tipo quantitativo riferita a un fenomeno il cui andamento è correlato, in base all’ipotesi dell’esistenza di una relazione di tipo causale [che hanno appena dichiarato essere incerto – CB] o comunque di un meccanismo in grado di connettere input, output e out come, alla politica/attività che si intende misurare [corsivo mio – CB], in modo tale che al variare di tale fenomeno si può assumere, coeteris paribus, che siano variati alcuni aspetti di efficacia e di efficienza della politica stessa (Testo C, 42).
Sono rispettoso, pur nel diverso orientamento che anima il mio lavoro, delle molteplici scuole di pensiero che hanno titolo a proporsi nel contesto pluralistico della valutazione; il fatto che sottolinei queste citazioni non è quindi dovuto al fatto che ritenga questo approccio errato in sé, ma che trovo discutibile la proposta di un obiettivo cognitivo di tale fatta con una proposta operativa tanto incerta e – per quel che appare – sostanzialmente frutto di scelte organizzative (i costi, la disponibilità di dati, etc.) piuttosto che teoriche. Tale fragilità è confermata poco più avanti, quando viene spiegato in concreto il lavoro fatto:
La progettazione degli indicatori, effettuata nella fase di avvio “a tavolino”, si è conclusa con la predisposizione di una sorta di manuale, che è servito come base per la discussione con i responsabili di settore delle varie amministrazioni; da questo confronto sono scaturiti gli indicatori prescelti, selezionati in ragione non solo della loro significatività ma anche della loro misurabilità. Sono seguite poi le fasi di raccolta delle informazioni […]; è poi seguita una fase di controllo e validazione da parte del gruppo di lavoro centrale (Testo C, 43).
Naturalmente ci sono stati problemi:
La fase di raccolta dei dati è stata lunga e difficile; infatti, sebbene molti indicatori fossero stati considerati rilevabili da parte degli interlocutori interni ai Comuni, in realtà al momento della raccolta i dati non sono stati forniti; oppure sono stati forniti con molto ritardo, in forma parziale e talvolta stimata. Pertanto, la validazione dei dati è stata una fase delicata e onerosa, sebbene fondamentale per rendere gli indicatori affidabili e basati su dati effettivamente omogenei e, quindi, comparabili (Testo C, 43-44).
Mi fermo per fare un piccolo riassunto:
  1. gli indicatori sono stati fatti “a tavolino” dagli Autori;
  2. poi sono stati discussi dagli interlocutori istituzionali che hanno detto “questo non ci piace” (credo che sia questa la significatività di cui si parla, in mancanza di altre informazioni) e “questo non è possibile” (la misurabilità);
    1. 2.1.una prima questione: o la preliminare selezione a tavolino era molto ridondante, e la cancellazione di alcuni indicatori non ha modificato la struttura cognitiva implicita, oppure gli indicatori immaginati erano necessari, entro una struttura cognitiva che comunque non viene dichiarata, e la loro cancellazione ha creato dei buchi; mi spiego meglio: se decido a tavolino che sono indicatori di vergogna i) diventare rossi, ii) guardare in basso e iii) le pulsazioni cardiache sopra un certo livello, se per qualche ragione non trovo il modo di operativizzare l’indicatore iii e mi limito a i + ii potrei indicare persone vergognose, ma anche persone arrabbiate (che diventano rosse per un altro motivo e semmai guardano in basso per celare le loro intenzioni aggressive) o ubriache (rosse per un altro motivo ancora, che guardano in basso perché incerte nell’incedere); ogni indicatore copre (semanticamente) una parte di un concetto per sua natura multidimensionale, cangiante, vago, e ne penso diversi proprio nel tentativo di non indicare, alla fine, un concetto diverso, apparentemente analogo al mio solo per i pochi indicatori utilizzati;
    2. una seconda questione: anche se gli Autori sono bravi ed esperti, e se il confronto con i responsabili di settore approfondito e onesto, nulla viene dichiarato in merito alla struttura cognitiva, alla cornice teorica, alle ragioni legate al processo di significazione che si intendeva realizzare e si è legittimati nel sospetto che tale quadro non vi fosse, o fosse comunque debole, o fosse probabilmente legato a problemi di natura organizzativa (gli indicatori che possiamo ottenere) piuttosto che logica (gli indicatori che ci servono); la necessità, e anzi l’indispensabilità di tale cornice teorica, sarà precisata più avanti;
  3. malgrado ogni cura fin qui messa, gli indicatori alla fine stabiliti non si possono tutti costruire per mancanza di dati:
    1. 3.1.una terza questione: ancora una volta – come per 2.1. – cosa è successo all’impianto complessivo? Possibile che avere o non avere gli indicatori stabiliti sia indifferente? Alcuni erano quindi sovrabbondanti, ridondanti, non significativi e vi si poteva rinunciare?
    2. quarta questione, e finale: in questa progressiva riduzione, dovuta all’adattamento a ciò che si è trovato, e non a ciò che si è voluto, quale validazione è stata fatta, quale lavoro “per rendere gli indicatori affidabili” è stato congegnato? Come si rende affidabile un lavoro per il quale non abbiamo i dati che avevamo immaginato?
Le risposte degli Autori non sono convincenti: non c’era un vero piano iniziale e, alla fine, “monitoraggio e valutazione sono attività che possono essere realizzate anche senza l’esistenza di un piano predefinito” (Testo C, 46); tutto il resto mi pare vago e gli stessi Autori mi sembrano trovare giustificazioni retoriche a un lavoro sostanzialmente incerto.
l’impossibilità di ottenere le informazioni nei tempi utili e con riferimento alle risorse disponibili, e problemi di comparabilità, hanno costretto il gruppo di lavoro a ripiegare progressivamente su linee di attività molto semplici; i problemi di riferimento sono stati quindi via via disaggregati, al fine di ricostruire in modo elementare i processi di attività dei vari comuni […]. In questo senso il termine “politica” che si è comunque utilizzato nei documenti è forse eccessivo; lo si è voluto mantenere […] per ricordare comunque che il riferimento deve rimanere su una unità di analisi basata sulla definizione del problema collettivo di riferimento e per richiamare comunque come gli esiti siano anche il derivato di processi di interazione con attori interni ed esterni (Testo C, 49).
Cosa vuole dire? Credo questo: dovevamo fare una valutazione di politiche; poiché le cose sono andate male abbiamo comunque fatto finta che si trattasse ancora di ciò tanto per non crearci dei problemi. Ma non è finita:
In secondo luogo, è stato raramente possibile […] proporre e misurare indicatori di efficacia esterna; in generale, la proxy per il successo degli interventi è costituita da una o più misure relative alla copertura della domanda. Inoltre, spesse volte si è stati costretti a utilizzare indicatori poco significativi […]. Inoltre, non è stato quasi mai possibile utilizzare effettivamente indicatori di processo […] per molte politiche le serie storiche sono state realizzate in modo incompleto […] in altri casi, tuttavia, l’impossibilità anche per i singoli settori di verificare le informazioni provenienti da organismi decentrati ha comportato un basso livello di attendibilità (Testo C, 49).
Tutto questo in mezza pagina di testo in cui, di “inoltre” in “inoltre”, si mostra l’incertezza in cui l’esercizio è stato concretamente realizzato. I pochi esempi che lo spazio mi concede sono di facile interpretazione: il caso 1 appartiene ad autori con scarsa consapevolezza epistemologica che non sospettano neppure che ci sia qualcosa, oltre l’inutile accumulazione di indicatori in parte banali ed auto evidenti e poi nel mucchio, inevitabilmente, anche bizzarri, difficilmente realizzabili e – quel che più conta – con una costante scotomizzazione del necessario rapporto di indicazione che si dovrebbe instaurare fra l’indicatore e qualcosa che sta là, fuori dalla finestra dello studio in cui si è prodotto l’esercizio. Il caso 2 è avvertito di questa necessità, e possiede la sensibilità di base indispensabile, ma non ha evidentemente idee su come concretamente costruire tale rapporto di indicazione (e lo dicono esplicitamente), e quindi fa riferimenti generici a una comunità esperta che sosterrebbe questo impianto, utilizzando poi artifici retorici per sostenere una mera invenzione. Il caso 3 è poi di una fragilità metodologica notevole e – si è indotti a credere – di scarso valore finale. In tutti i casi i fruitori di questi indicatori sono altrove, e hanno pochissima speranza di utilizzare questi “indicatori” come strumenti di significazione nei loro, concreti, esercizi professionali. Claudio Bezzi, 25 Febbraio 2018

Sostenete questo blog

interamente autofinanziato.






Categories: Professione

Tags: , , , , , , , , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: