Verità e limiti alla comprensione della realtà in valutazione

Verità e limiti alla comprensione della realtà in valutazione

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Realtà, verità e oggettività, concetti perniciosi che sono sempre presenti in valutazione (con esempio sull’analisi dei bisogni)

La valutazione nasce positivista

In quale caso teorico (ma chiaramente configurabile, se non altro come modello) noi potremmo dire “questa è una valutazione perfetta, basata su tutti i dati possibili, analizzati in maniera incontrovertibile”? Risposta: mai.

Le ragioni di questa radicale certezza riposa su una quantità di elementi; a puro titolo di sommaria indicazione, non esaustiva:

  • mancanza di un qualunque possibile accordo su quali siano dati e informazioni pertinenti e significativi e quali no; più in profondità ciò non solo significa, per esempio, essere o non essere d’accordo sul fatto che – poniamo – la spesa erogata nel sociale sia un indicatore condivisibile, ma che “spesa” non ha significato se non entriamo nel merito: spesa per determinati servizi a fronte di altri, spesa per determinati utenti a fronte di altri, tempi di erogazione, criteri di spesa, etc. etc.;
  • anche se fosse possibile (ma non lo è) accordarsi sulla miriade di diverse angolature e sfaccettature che innumerevoli potenziali indicatori valutativi possono assumere, resterebbe l’impossibilità empirica di stabilire che li abbiamo considerati tutti (ciò vale anche se proponiamo artifici retorici quali “quelli pertinenti”, “quelli significativi”, “quelli…”). Non possiamo mai sapere se un ennesimo indicatore, da noi trascurato perché non immaginato, non abbia invece un’influenza di un qualche rilievo sui risultati; un esempio provocatorio: le caratteristiche personologiche degli operatori del sociale (che siano simpatici o antipatici, tranquillizzanti o ansiogeni) influenzano l’effetto dei servizi resi? In quali ricerche valutative sono stati considerati?
  • In ogni caso, anche se trovassimo un accordo per evitare tali problemi, abbiamo evidenze e teorie a sufficienza per sapere che l’interpretazione dei risultati è soggetta alle convinzioni personali e all’orientamento culturale e valoriale degli attori, e quindi viene da sé che il problema non è neppure avere “tutti” i dati, ma semplicemente l’atteggiamento che si assume verso di essi.

La richiesta di dati certi, di analisi nette, di misurazioni definitive, pur continuando purtroppo ad essere praticata dai committenti, deve essere respinta dai valutatori.

Le richieste oggettivistiche nascono dall’onda lunga del pensiero cartesiano; non possiamo scordare che la valutazione nasce esattamente come una risposta, pretesa esaustiva, di problemi decisionali. Mi pare che questo “vizio originario” non sia segnalato abbastanza; uno dei pochi a farlo è stato Giuseppe Moro, Interconnessioni tra valutazione e sviluppo, “Rassegna Italiana di Valutazione”, anno VIII, n. 28, 2004, pp. 51-52, che scrive:

In un clima scientifico dominato [nel cinquantennio che va dalla fine della Seconda Guerra Mondiale alla caduta del Muro di Berlino], nelle università statunitensi, dal paradigma neopositivista che ha sostituito il Pragmatismo a cui si ispirava la ricerca sociale americana ai suoi inizi, è quasi naturale pensare che le scienze sociali siano in grado di analizzare razionalmente e oggettivamente i programmi di sviluppo disgiungendo i fatti dai valori. In questo quadro la valutazione è considerata il naturale supporto metodologico alla pianificazione sociale impostata secondo modelli di razionalità assoluta, con previsioni a lungo termine e con la certezza che si possano scegliere i mezzi migliori per realizzare i fini desiderati. L’attività valutativa dei programmi di sviluppo assume le stesse caratteristiche di ‘assolutezza’ della pianificazione razionale e finisce, in larga misura, per identificarsi con l’analisi costi-benefici.

Purtroppo non è certamente bastata la caduta del muro di Berlino per far risvegliare l’umanità da antiche paure, né la comunità scientifica da vecchie credenze.

La non oggettività dei risultati valutativi (come di tutti i risultati di tutte le scienze umane e sociali) non deve essere considerato un limite, o peggio un difetto. E’ la “realtà” sociale a essere opaca, cangiante, solo a tratti comprensibile, e non si vede perché chi studia tale realtà (il valutatore, per esempio) possa essere esente da tali caratteristiche, visto che, oltre che studioso del fenomeno, ne è anche parte.

Una risorsa per chi ama questo tema e vuole nuovi argomenti: il filosofo positivista Ludwig Wittgenstein ha scritto un’operetta, Della Certezza (in realtà pubblicata postuma sulla base dei taccuini compilati fino a un paio di giorni prima della sua morte) in cui mostra, attraverso la riflessione logica, come sia impossibile determinare cosa sia la verità; essa – sostiene Wittgenstein – è in realtà una credenza che assumiamo sulla base di un sistema complesso di credenze acquisite con l’apprendimento, durante l’infanzia, e con le successive esperienze, ma non c’è alcun modo per dimostrarla in maniera definitiva; dice fra l’altro Wittgenstein:

Prove sicure sono quelle che accettiamo come incondizionatamente sicure, e grazie alle quali agiamo con sicurezza, e senza dubbi (§196).

Desidero anche rimandare al recente volume curato da Alberto Marradi, Oltre il complesso d’inferiorità. Un’epistemologia per le scienze sociali.

Schermata 2018-02-22 alle 18.41.20

Realtà, verità e oggettività

Realtà, verità ed oggettività sono tre ingombranti, malevoli e perniciosi compagni di ogni nostra attività scientifica e professionale, che prosperano ancora molto vivi e vegeti in valutazione, laddove in altre discipline e branche del sapere sono da tempo guardati con qualche sospetto (in alcune altre discipline, non certo in tutte).

Ho già scritto nel capitolo precedente come la valutazione abbia un’origine e un’anima inequivocabilmente positiviste, incline quindi ad assumere tali termini come espressioni forti di un proprio ipotetico mandato, il che non significa che tale sia un destino ineluttabile, che non si possa costruire un approccio nuovo e diverso e anzi, come è noto, tale diversità valutativa (i vari approcci cosiddetti costruttivisti) esiste già, è altamente accreditata, e qualche volte ha anche passato i limiti.

A mio avviso il problema che sussiste fra realismo e costruttivismo è la necessità del riconoscimento reciproco, che sappia prescindere dai fondamentalismi e dai dogmatismi che appartengono alle persone incerte; il pluralismo non dichiarato come slogan, ma perseguito anche attraverso la costruzione di ponti fra i due paradigmi, come quello promettente dei mixed method. Tornando a realtà, verità ed oggettività per provare a chiarirne i limiti concettuali, mi pare che si possano distinguere e intendere i tre concetti in questo modo:

  • realtà: è il nome che diamo a una rappresentazione, e non è sempre necessariamente “vera”; p.es. i sogni sono “reali”, come ci insegna la psicoanalisi; i romanzi sono reali, e anche le allucinazioni. Viviamo in una realtà che include anche il falso (o almeno: ciò che potrebbe essere definito tale, ma mi smentirò e confonderò a breve). Sono reali le nostre fantasie, i nostri progetti, le nostre speranze, anche se immateriali, anche se col tempo si modificano e scompaiono. Salvo relegare la realtà alla sola meccanica delle cose fisiche, non possiamo non considerare tutta la sfera psichica come parte della nostra realtà; ma anche il linguaggio – che è reale – si piega a noti paradossi che includono la falsificazione e il cosiddetto “doppio legame”, che probabilmente non è né vero né falso ma appartenente a un altro regno;
  • verità: un concetto spinoso e delicato, quasi religioso; e comunque non può essere “oggettivo” per una ragione logica: la verità appartiene a ciò che può venire asserito, diversamente dalla realtà – che potremmo immaginare come esistente al di là dell’asserto (sarebbe comunque da discutere) – e diversamente dall’oggettività che è un giudizio sull’asserto, e quindi ha un’altra natura. La verità ha a che fare con l’assetto dei valori ai quali mi riferisco; essi sono un prodotto storico-sociale, come è – a mio avviso – auto- evidente per il fatto che al mondo ci sono milioni di verità diverse, discese dall’arena delle idee per confrontarsi anche sul terreno delle armi;
  • oggettività: come detto è una connotazione che si dà a un asserto per dichiararlo vero; è un’astrazione ideale, non reale, perché sempre soggetta a dichiarazioni preliminari sul metodo (p.es. sulla validità); in questo senso l’oggettività non possiede un’ontologia, ma è il riflesso di un’ideologia. Scientifica quanto si vuole, se si ama il termine “scientifico”.

Quindi: entro un certo modo di intendere il Mondo, e il modo in cui possiamo conoscerlo, c’è una realtà che possiamo conoscere oggettivamente esprimendo delle verità (non so chi lo possa dire, ma certamente il campo realista è molto più folto di quanto si creda, e gratta gratta sotto la pelle di un costruttivista e vedrai riaffiorare la vecchia scorza del dualismo oggettivista). Entro un’altra visione del Mondo, non c’è una realtà (il vecchio Watzlawick ha scritto un’operetta intitolata La realtà della realtà – Astrolabio – in cui parla di questo; altri riferimenti: Schütz, Berger e Luckmann, vari altri), ma semmai ce ne sono di più, o di diverse, o di incomunicabili e imperscrutabili, che possiamo conoscere solo soggettivamente e non certamente per esprimere delle verità ma, al massimo, dei punti di vista che rientrano nel gioco ermeneutico.

Un esempio: l’analisi dei bisogni

L’analisi dei bisogni fa parte del pacchetto standard di programmatori, progettisti, valutatori e una pletora di altre figure chiamate a dare risposte in sanità, nella scuola, nei servizi etc. Come si fa l’analisi dei bisogni? In troppe circostanze si pensa che funzioni così:

Dato il bisogno A, la risposta è B (A→B).

Ovviamente non è così, perché moltissimi fattori devono essere considerati:

  • innanzitutto, siamo sicuri di vedere il reale bisogno, nella sua interezza? I bisogni non sono “cose” ma manifestazioni in buona parte soggettive e diversamente declinabili in una molteplicità di situazioni e individui differenti;
  • colui/colei che desidera dare una risposta non può sostanzialmente mai vedere l’articolata complessità dei bisogni (una buona valutazione ex ante aiuta, ma non risolve); in generale decisore e progettista ne vedono una parte, probabilmente quella che sono abituati a vedere alla luce del mandato istituzionale che hanno;
  • su questa seconda base (ridotta rispetto alla prima) si costruisce un progetto che – per ovvie necessità amministrative, gestionali e politiche – ha un impianto ingegneristico e, si suppone, dà risposte ai bisogni ipotizzati; ma anche questo terzo livello è a sua volta differente dal precedente, perché il linguaggio progettuale vincola la descrizione dei bisogni alle risposte che si ritiene opportuno e possibile dare. Queste ultime sono indirizzate da una Teoria del programma che è, a sua volta, determinata da molteplici fattori di contesto (risorse disponibili, ambito e campo, risposte istituzionali…), dalla cultura professionale (ogni istituzione, ogni ONG, ogni attore coinvolto ha la sua) e dagli schemi mentali preesistenti;
  • in ogni caso il progetto è solo un artificio retorico ai fini della gestione e non può tenere in debito conto i fattori intervenienti che modificano ancora ciò che effettivamente si realizza rispetto a quanto la teoria del programma prevedeva.

Tutto questo è esemplificato in figura:

Bisogni.002.jpeg

Gli effetti netti, naturalmente, si sovrapporranno ampiamente ai bisogni reali, trascurandone però parte e, per altra parte, non centrando l’obiettivo (questa seconda situazione riguarda sostanzialmente lo spreco di risorse).

Alla valutazione il compito di vedere quello che si è realizzato alla luce di quello che si era programmato (efficacia interna) e rispetto ai bisogni reali (efficacia esterna).

Naturalmente, pur avendo più strumenti, anche il valutatore è un osservatore terzo come il decisore e il progettista, e potrebbe vedere parte dei bisogni, equivocarne altri, e così via. Questo ci insegna che la valutazione non ha pretese di “scoperta di una verità ultima”. Il suo ruolo resta sempre quello dell’apprendimento organizzativo. Per esempio, il valutatore indagherà la teoria del programma degli attori implicati nella decisione e progettazione e la metterà a confronto con la sua analisi dei bisogni. Incrociando questi due elementi il valutatore sarà portato a costruire una nuova teoria del programma, probabilmente più ampia e comprendente della precedente.

Claudio Bezzi, 22 Febbraio 2018.

Sostenete questo blog

interamente autofinanziato.






Categories: Metodo

Tags: , , , , , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: