Elementi di base per individuare una buona valutazione e riconoscere un buon valutatore

Elementi di base per individuare una buona valutazione e riconoscere un buon valutatore

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Breve decalogo

La valutazione è pluralista

La valutazione non è una disciplina scientifica o accademica; è un campo di intervento pratico che applica i saperi teorici e metodologici di molteplici discipline, dall’economia e sociologia (le due più rilevanti), fino alla psicologia, statistica e altre. Il pluralismo non ha a che fare con i molteplici debiti disciplinari della valutazione ma col fatto che tali debiti agiscano contemporaneamente.

Qualunque Programma presenta, contemporaneamente, elementi sociali, economici, antropologici, psicologici etc., ciascuno dei quali agisce assieme a tutti gli altri, anche se in maniera più o meno importante a seconda dei casi. Nessun Programma, e quindi nessun problema valutativo, può essere solo sociologico, economico e così via.

Anche se il valutatore ha un suo background, difficilmente si sente “uno psicologo”, o “un sociologo” o “un economista” ma, appunto, un valutatore, vale a dire un ricercatore che, a partire dal suo background, e semmai grazie all’aiuto di un team multidisciplinare, va oltre gli spazi angusti di una disciplina e cerca risposte articolate a problemi complessi e per loro natura interdisciplinari.

Il valutatore è eclettico

Ne consegue che il valutatore (da intendere come singolo e come gruppo) deve essere eclettico. Il suo punto di vista sarà indiscutibilmente legato al suo percorso formativo ma non può non avere spaziato fra diverse discipline. Non tutte, ovvio; forse neppure molte. Ma il valutatore sociologo conosce i temi economici, è sensibile a quelli antropologici, ha un’idea della teoria psicopedagogica etc. L’economista che fa valutazione riconosce le influenze sociologiche, conosce la statistica, sa bene che ci sono importanti questioni psicologiche e via dicendo.

Questa necessaria ecletticità si riverbera nel metodo. E’ probabile che il valutatore con un background economico abbia iniziato a fare valutazione con tecniche tipiche del suo settore, ma se continua la sua attività di valutatore non può che interessarsi fortemente alle principali tecniche sociologiche e conoscere, almeno come mappa, quelle psicologiche. Analogamente lo psicologo potrebbe avere iniziato coi tipici test della sua disciplina, ma deve avere guadagnato competenze importanti anche in tecniche tipiche di altre prospettive scientifiche.

Il rischio del mancato eclettismo è la visione parziale del Programma; in valutazione la parzialità non è da intendere come una frazione dell’intero, poco ma – quel poco – comunque esatto; le branche disciplinari sono un limite umano, perché la realtà è complessa e sistemica. E’ la nostra incapacità ad avere uno sguardo olistico che ci conduce a prospettive sociologiche oppure economiche oppure psicologiche, mentre la realtà da valutare è tutte queste cose assieme, e molte altre di più. Quindi una valutazione parziale sotto questo profilo non è semplicemente una parte ridotta ma, fondamentalmente, una visione sbagliata.

Il metodo deve essere plurimo

Tutto questo si traduce nel metodo. Poiché ogni tecnica costruisce l’informazione e non è neutrale, poiché ogni tecnica riflette una teoria dell’azione, allora non si possono indagare fenomeni complessi con una tecnica (o poche). Salvo casi di piccole valutazioni veloci su piccolissimi interventi (esercizi di limitata utilità), i Programmi oggetto di valutazione hanno complessità che non si possono risolvere, valutativamente, con l’applicazione di una o due tecniche. Capita a volte che per esigenze  produttive certe società di consulenza offrano pacchetti standardizzati per la valutazione in determinati ambiti, basati su procedure tecniche standardizzate, veloci, economiche. Questa non è buona valutazione. La valutazione, che deve sempre essere personalizzata caso per caso, ha bisogno di quella pluralità di tecniche utili e necessarie per trovare la necessaria base di dati. Ogni domanda valutativa, ogni aspetto del Programma, devono essere affrontati come problemi risolvibili con un ventaglio di opzioni che il valutatore deve conoscere per scegliere la più opportuna.

Un tipico corretto disegno valutativo di un Programma di media complessità, prevede tecniche standard e non standard, individuali e di gruppo, in un mix che assomigli – per usare un’analogia – a una buona ricetta di cucina, anziché a un hamburger da fast food.

Prima viene il pensiero

In ogni caso le tecniche vengono dopo, molto dopo l’inizio della valutazione. Le tecniche sono solo protesi del nostro pensiero metodologico; applicare tecniche è una cosa facilissima (basta poco studio e un po’ di addestramento), mentre il cuore della valutazione è il pensiero che precede la loro scelta e somministrazione. Quello che qui abbiamo chiamato ‘pensiero’ è ascolto del committente; ricerca di fonti; elaborazione di una teoria; formulazione di ipotesi di lavoro; costruzione di un disegno; definizione dei formati informativi necessari; confronto con i vincoli di campo… e quindi, alla fine, decisione in merito alle tecniche utili. 

Tutto questo costa tempo e lavoro; chi associa immediatamente una proposta di valutazione a una soluzione tecnica, probabilmente non sa spiegare perché “proprio quella”, perché non mette in campo l’elaborazione di un sistema teorico e metodologico. La conseguenza più probabile è che i risultati saranno, in qualche modo, estranei al contesto; certamente i dati diranno qualcosa, e con un minimo di abilità dialettica si faranno dire – ai dati – ciò che si reputa necessario per rispondere alle domande valutative. Ma mancando il fondamentale nesso fra mandato, formato informativo necessario (si veda più avanti) e tecniche, le ragioni di quei risultati saranno ignote. Un risultato ci sarà, ma sarà certamente opaco e vago, incompleto, superficiale.

Il Mandato è la fase fondamentale della valutazione

L’elaborazione di questo pensiero, la riflessione teorica e sul metodo, e tutto quello che occorre per valutare, si costruisce nella fondamentale fase valutativa della definizione del Mandato. La fase del Mandato è la chiave di una buona valutazione e, anzi, è già valutazione anche se lo specialista sembra ancora dibattersi fra dubbi e interrogativi. Evitare il Mandato, o intenderlo banalmente come definizione dei termini contrattuali, significa spostare tutto l’accento su una parte tecnico-operativa priva di giustificazioni. Il tecnicismo, o peggio l’operazionismo, è un male grave della ricerca sociale e valutativa che riduce tutto a tecnicalità, applicazione di test, somministrazione di procedure che forniranno risultati incomprensibili. La fase della definizione del Mandato non ha tempi; può essere breve o lunga in relazione a molteplici variabili; si può riaprire in qualunque momento alla luce dei primi risultati; può concludersi con la rinuncia a valutare.

Il valutatore che ignori o sottostimi questa parte non può realizzare una buona valutazione.

La vera finalità valutativa

Anche se al valutatore viene chiesto un bilancio finale sul Programma (Ha funzionato? Perché?), un giudizio a volte dirimente (avviare un Programma; chiudere un Programma), delle certezze, comunque, all’insegna di una fiducia sui “dati” che dovrebbero rivelare una presunta verità, la vera finalità della valutazione non è dare risposte. Ma insegnare a fare le opportune domande.

La valutazione tecnicamente meglio fatta, con arte metodologica, tempo e risorse sufficienti, sarà sempre criticabile – volendola criticare – per non avere preso in considerazione quell’ultimo dato, non avere ascoltato quell’altro testimone, non avere elaborato le informazioni in un altro modo. Nel campo delle scienze sociali, nel cui alveo si colloca anche la pratica valutativa, nessun dato è definitivo, risolutore, rivelatore di una ipotetica verità finale. La migliore ricerca valutativa mostra una possibile verità fra tante, una ricostruzione, un simulacro, una rappresentazione nuova, che prima non c’era, idonea a mostrare, spiegare (un po’) e comprendere (di più).

Le risposte che la valutazione fornisce sono parziali, emendabili, controargomentabili e dovrebbero per lo più servire a formulare nuove domande: abbiamo fatto bene? Perché? In quale modo avremmo potuto fare meglio? Perché? Possiamo trasferire quanto appreso in un nuovo Programma? Come?

La valutazione è un processo di apprendimento organizzativo. Si valuta per imparare, non tanto e solo per giudicare, e l’apprendimento avviene nel processo, non tramite i risultati.

La partecipazione come metodo

Perché si realizzi questo apprendimento organizzativo è necessaria la partecipazione di un’ampia platea di attori rilevanti (il committente, o comunque i responsabili del Programma, prima di tutti). La partecipazione può implicare molte conseguenze ritenute positive o auspicate: miglioramento della consapevolezza, empowerment, capacitazione, sviluppo di processi democratici… ma nessuno di questi costituisce la ragione della partecipazione, che è (e deve restare) una ragione metodologica. Il valutatore desidera la partecipazione degli attori rilevanti perché solo in quel modo può accedere alle conoscenze tacite, le logiche del Programma, le culture di servizio, le visioni, i valori degli attori che sono la realtà del Programma. Il Programma non è mai il testo che lo descrive, né una qualunque sua rappresentazione formale, ma solo l’insieme dei pensieri, linguaggi e azioni concrete di coloro che lo decidono, implementano, operano, fruiscono.

Il linguaggio come metodo

Una conseguenza di molte delle cose scritte fin qui ha a che fare col linguaggio. Il Mandato è linguaggio; la partecipazione è linguaggio; le tecniche di ricerca valutativa sono linguaggio. Il valutatore consapevole di questa evidenza opera quindi col linguaggio e lo utilizza nell’ambito della sua valutazione.

La restituzione è doverosa

Una valutazione realizzata come qui tratteggiato muove molte energie, suscita aspettative e paure. La valutazione è da molti temuta, da diversi equivocata. Il valutatore ha il dovere di spiegarsi, sempre, con tutti; di creare un ambiente favorevole; di utilizzare idonee strategie di comunicazione e relazione per indurre una buona partecipazione e poi, a risultati conseguiti, per socializzarli, restituirli, sia pure in forma sintetica e senza elementi sensibili, a chi li ha forniti. Naturalmente il dato appartiene al committente, ma è impegno e dovere del valutatore sensibilizzarlo adeguatamente affinché una restituzione sia possibile.

Etica e deontologia

Diversamente da molti altri ambiti consulenziali la valutazione ha molti risvolti etici e deontologici. Il valutatore, per ben lavorare, deve aderire alle richieste del committente; fa sue le sue finalità, opera per una buona riuscita del Programma. Questa adesione fa sì che la decisione finale – che compete al decisore – è favorita od ostacolata dal lavoro valutativo. Il valutatore non può mai asserire di essere un mero tecnico, non coinvolto nel processo decisionale. Il valutatore entra nel processo decisionale e lo influenza. Il Programma avviato o chiuso o modificato a causa della valutazione è sempre opera anche del valutatore. Le inevitabili “vittime” della valutazione sono sempre vittime anche del valutatore. Il valutatore ha tutto il modo di comprendere la visione del committente, i suoi scopi reali, le sue motivazioni; se li accetta, accettando di realizzare la valutazione, è parte in causa, è coinvolto, ha una responsabilità.

Sostenete questo blog

interamente autofinanziato.






Categories: Professione

Tags: , , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: