Il mandato valutativo (Tutto, ma proprio tutto, quel che si deve sapere)

Il mandato valutativo

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

(Tutto, ma proprio tutto, quel che si deve sapere)

1 Cos’è il mandato valutativo

La valutazione, come qualunque ricerca sociale e non, inizia con una riflessione, più o meno lunga, su come trovare i dati e le informazioni utili, pertinenti, necessarie per soddisfare i problemi valutativi del committente. In questa determinante fase si incontrano tutti i problemi critici che determineranno non solo se è possibile valutare, ma anche come, perché, in quale quadro di finalità, con quale auspicato utilizzo.

Chiamiamo questa fase “definizione del mandato valutativo”, e la prossima figura ne mostra gli elementi costitutivi.

Questi elementi sono indicati in modo sommariamente cronologico ma, come tutti gli elementi che riguardano il disegno valutativo, ci sono sempre logiche variabili, retroazioni e ricorsività. Nessun elemento del disegno deve essere inteso come una fase logicamente e operativamente chiusa, da eseguire una sola volta per tutte in maniera formale. Al contrario i diversi elementi del disegno devono essere intesi come “luoghi di attenzione”, “elementi da approfondire”, “potenziali criticità”. Ciò vale in particolare per la fase del mandato, appunto perché fondamentale, luogo (cognitivo) di definizione della valutazione che andremo a realizzare. 

Occorre notare che la fase del mandato implica molte scelte di valore con risvolti etici e deontologici; il valutatore è un tecnico particolare che non può dissociare il proprio ruolo da quello del decisore. Il valutatore si impegna ad aiutare il decisore a raggiungere i propri scopi, e se tali scopi (obiettivi, finalità, modalità operative della valutazione e suo utilizzo…) non corrispondono alla visione etica del valutatore, costui può e deve assumersi ora la responsabilità di rifiutare il lavoro. In caso contrario si assume l’onere di condividerlo interamente, anche nelle conseguenze decisionali che la valutazione avrà suggerito.

2 Perché il mandato valutativo è fondamentale?

Perché definisce, anzi: costituisce la valutazione. La differenza fondamentale fra valutazione e ricerca sociale tradizionale (si veda anche la figura nel Glossario) riguarda i limiti, i vincoli, ma anche gli orizzonti e le opportunità, stabilite col committente/utilizzatore della valutazione; il valutatore è certamente guidato da teorie, ma non è la teoria che avvia il suo lavoro di ricerca bensì un bisogno del committente: bisogno decisionale, bisogno di decomplessificazione, bisogno di governance. La concretezza del bisogno genera un tipo di ricerca – quella valutativa – destinata immediatamente al cambiamento. Questa ricerca è interamente governata dal ricercatore, ma entro binari destinati a raggiungere una meta prefissata: il sostegno alla decisione. E’ quindi evidente che se stiamo realizzando una ricerca, anche per un committente, anche destinata – sulla carta – a sostenere una decisione, se non si realizza questa fase fondamentale NON si può chiamare “valutativa” la ricerca; sarà una bella analisi economica, una bella indagine sociologica, ma senza una adeguata fase di costruzione del mandato non esiste ricerca valutativa.

La fase di costruzione del mandato valutativo disegna un percorso le cui tappe sono gli attori sociali pertinenti, le risorse, le domande valutative, le questioni etiche collegate alla valutazione, l’autorità valutativa e altro ancora; questioni che non riguardano – o riguardano marginalmente – il tradizionale ricercatore abituato a raccogliere dati e analizzarli secondo proprie tradizioni e pratiche, sostanzialmente svincolate dal contesto di problemi e cambiamenti del committente.

Nei prossimi paragrafi approfondiamo, elemento per elemento, gli snodi principali della definizione del mandato visti nella precedente figura.

3 Chi è il committente?

Non sembri strano iniziare la definizione del mandato interrogandosi sull’identità del committente. In molti contesti rigidamente normati il committente è evidente e identificato da leggi e regolamenti. In altri contesti non è affatto così:

  • l’organizzazione in quanto tale è ovviamente un’astrazione che non ci aiuta operativamente;
  • la gerarchia formale è indubbiamente una guida, ma quanto risalire la scala gerarchica per trovare il nostro interlocutore? E poi ci sono molti livelli, sia verticali che orizzontali: chi è “il committente”? Alcuni di questi livelli? Tutti? Chi è titolato a decidere?
  • a volte ci sono attori sociali esterni all’organizzazione che devono (o semplicemente possono) essere coinvolti: i finanziatori, gli operatori dei servizi che andiamo a valutare, soggetti terzi coi quali si è in relazione; il territorio… Decidere chi e come coinvolgere non è sempre chiarissimo.

Per eliminare alcuni equivoci incominciamo comunque a delimitare l’elenco. Anche se molti attori sociali possono e devono essere coinvolti in varie fasi della valutazione, il mandato è deciso esclusivamente fra il valutatore e coloro che esprimono il bisogno valutativo e che, contemporaneamente, hanno un potere concreto (organizzativo, gestionale, finanziario…) sia nel finanziare la valutazione che nell’utilizzarne i risultati. Per fare un esempio: gli operatori dei programmi valutati sono indubbiamente da coinvolgere nella valutazione, ma non sono committenti perché non hanno il potere di finanziare il lavoro né di prendere decisioni organizzative e gestionali successive.

Anche se può sembrare semplice identificare il committente ci sono molti contesti dove gli errori e gli equivoci possono diventare rilevanti. Il diagramma che segue spiega come evitare i principali errori.

 Come si vede le principali domande che si deve porre il valutatore sono:

  • il committente parla in nome e per conto dell’organizzazione?
  • esistono altre parti, fazioni, strutture interne non rappresentate che potrebbero avere obiezioni?
  • ci sono vincoli organizzativi o economici alla valutazione?
  • si intravvedono problemi etici o deontologici?

Queste domande, e altre opportune, devono rendere certo il valutatore del fatto che il committente, rappresentando adeguatamente l’organizzazione, può conferire al valutatore la necessaria autorità a fare la valutazione; il tema dell’autorità conferita è la questione centrale di questo primo ragionamento; se – per esempio – la valutazione è questione controversa in seno all’organizzazione, e altri attori rilevanti negano tale conferimento di autorità, tutto il progetto valutativo è compromesso. Se ci sono più parti in conflitto e la valutazione non può paritariamente coinvolgerle tutte, la valutazione è compromessa. Se non ci sono risorse per realizzare concretamente la ricerca valutativa, la valutazione rischia di essere velleitaria.

Quando il valutatore parte (e la decisione di avviare la valutazione è pertinente con la fase del mandato) deve essere tranquillo sotto questo profilo, sapere chi è il committente, avere una chiara patente di autorità, capire che avrà accesso ai dati e che non ci saranno impedimenti alla sua libertà d’azione.

Deve essere assolutamente chiaro che ci sono dei casi, qui come più avanti, in cui si può e si deve decidere di non proseguire e rinunciare alla valutazione.

4 Cos’è che si deve valutare?

Come per il committente, anche il programma oggetto di valutazione non può essere dato per scontato. Anzi, qui accade – molto più spesso che nel caso precedente – che si aprano ampi spazi di criticità dovuti sostanzialmente alle diverse interpretazioni degli attori sociali rilevanti, inclusi quelli che compongono la committenza. La questione si presenta in questo modo: ogni programma, specie se complesso, non è mai quanto dichiarato in documenti scritti, ma sempre e solo ciò che gli attori sociali responsabili intendono e dichiarano. Vediamo perché.

  • Innanzitutto i programmi di maggiore ampiezza e complessità sono il frutto di lunghe riflessioni e mediazioni fra diversi attori sociali: l’Ente promotore, parti sociali, altri attori… Per definire un documento, necessario come protocollo d’intesa, come documento di programmazione, delibera o altro è sempre necessario mediare fra interessi e linguaggi differenti, e l’unico modo per farlo velocemente è salire la “scala di generalità” trattando il tema più in generale, lasciando dei vuoti interpretabili, disinteressandosi al fatto che il documento, per accontentare tutti, possa contenere piccole contraddizioni. E’ quasi una regola registrare problemi interpretativi nei documenti indicati come fonti informative ufficiali, ed è quindi quasi sempre necessario interpellare gli attori coinvolti per una “interpretazione autentica”;
  • c’è poi il problema derivante dai molteplici punti di vista degli attori; non bisogna ritenere che persone di cultura e ruolo simili intendano le stesse cose quando descrivono il programma. L’apparente uniformità è generalmente solo lessicale, mentre a un livello più profondo – per esempio semantico – è facile scoprire che la visione del programma è differente; che sono differenti le priorità, per esempio, oppure le stesse finalità. Secondo un approccio valutativo chiamato Valutazione basata sulla teoria [o ‘logica’] del programma, la realtà del programma valutato è differente per i diversi attori, ed è quindi da tali visioni, da tali differenze, che il valutatore deve partire per comprendere cosa debba valutare.

Il problema della differenza di visione fra gli attori può essere affrontato sostanzialmente in due maniere antitetiche:

  1. cercando di arrivare a una sintesi condivisa fra gli attori sociali, in modo che per tutti il ‘Programma’ sia esattamente la stessa cosa che intende il valutatore; oppure
  2. verificare le differenti visioni e accettarle nella loro pluralità, senza insistere per una condivisione.

Naturalmente, in conseguenza a tale scelta, il disegno operativo cambia; più facile nel primo caso e più difficile nel secondo. La scelta non può essere arbitraria. Solo affrontando tutti i nodi della fase del Mandato il valutatore, d’intesa col committente, può maturare una scelta.

La prossima figura mostra i principali elementi ora discussi.

In questo caso il valutatore deve disambiguare il programma, e deve necessariamente farlo in accordo col committente. Anche qui dovrebbe essere chiaro che se tale accordo non si dà, la valutazione non si può fare.

5 L’esplorazione dello spazio semantico

Con “esplorazione dello spazio semantico” intendiamo una complessa e delicata azione valutativa volta a comprendere in maniera sufficientemente precisa la natura del programma secondo gli attori rilevanti. Si tratta quindi di un approfondimento di quanto visto nel paragrafo precedente dove l’oggetto di valutazione era descritto in termini formali (si tratta di un tale servizio, per la tale tipologia di utenti…) anche in merito alle finalità (riduzione del rischio, informazione legislativa…). Tanto più il programma è complesso e tanto più, probabilmente, si possono registrare punti di vista diversi, più diventa necessario, e in molti casi indispensabile, approfondire il senso che gli attori attribuiscono al programma: i valori sottesi, la visione generale della natura della protezione del minore, la consapevolezza dei rischi e molto altro ancora.

Questa esplorazione approfondita non può basarsi sul livello lessicale e sintattico, vale a dire su quanto, semplicemente, dichiarato. Per ragioni legate all’intrinseca vaghezza linguistica, infatti, usando gli stessi termini si possono intendere problematiche anche profondamente diverse.

Il valutatore, quindi, cerca di arrivare a un livello dichiarativo semantico, che è molto più profondo, rivelando i sensi oltre i significati. Questo processo, che si compie attraverso tecniche ad hoc che vedremo più avanti, deve vedere coinvolti tutti i principali attori sociali, e non solamente il committente.

Come si vede in figura gli esiti possibili sono molteplici. Oltre al (raro) caso di impossibilità a valutare, sono indicati in rosa due esiti incerti in cui, a una possibile valutazione, corrisponde una qualità valutativa mediocre di cui occorre informare il committente. Nel primo caso, infatti (valutazione superficiale) non potendo comprendere in alcun modo la natura del programma, il valutatore sarà costretto ad utilizzare pochi dati fisici e finanziari e altre tecniche semplici delle quali sarà difficile stabilire l’opportunità, pertinenza e validità. Nel secondo caso (valutazione sintattica) ci si deve limitare a un livello dichiarativo inidoneo a comprendere in profondità e con maggiore validità le questioni in campo. Vale la pena notare che molta valutazione si situa proprio su questo livello, senza che apparentemente valutatori e committenti si accorgano della fragilità dei risultati valutativi raggiunti.

Gli altri due livelli contemplati, invece, sono accettabili, sia pure con profonde differenze fra loro.

6 Accertamento delle risorse

Non devono essere trascurate le risorse disponibili. 

La valutazione costa denaro, tempo, disponibilità degli attori da coinvolgere, e un insieme di elementi per lo più simbolici ma non trascurabili.

La questione, per la verità, è abbastanza semplice: in una valutazione “ricca” il valutatore sa di poter disporre di denaro, tempo, disponibilità alla partecipazione del committente e così via, e quindi può passare tranquillamente alla pianificazione operativa della ricerca valutativa. In caso contrario si riduce le possibilità di fare una valutazione ampia e approfondita; il valutatore deve renderne conto al committente il quale deve decidere consapevolmente se una valutazione con meno azioni valutative, con meno dati e forse di minor valore, gli può andare bene ugualmente.

Qui in realtà si apre un bivio per il valutatore. Se c’è un budget risicato, i tempi sono ristretti, la disponibilità limitata ma il committente rifiuta l’idea di un risultato modesto, il valutatore deve sottrarsi, perché rischia di essere l’artefice di una cattiva valutazione usata ugualmente, in forma retorica o strumentale, dal committente. Se i limiti sono gravi ma il committente, consapevolmente, accetta un uso limitato dei risultati, il valutatore può procedere con quella che si chiama shoestring evaluation, vale a dire una valutazione dichiaratamente modesta e di utilizzo limitato, che va anche successivamente comunicata in quanto tale.

La figura mostra i principali snodi di questa riflessione.

7 Formulazione delle domande valutative

Col termine ‘domande valutative’ si intende la formulazione razionale dei quesiti che il committente pone al valutatore. In un processo valutativo corretto le domande valutative sono la logica conseguenza dei processi precedenti e, in sostanza, l’epilogo della fase del mandato. In un certo senso le domande valutative sono la base di un corretto rapporto fra committente e valutatore, in cui il primo indica al secondo cosa esattamente cercare al fine di aiutarlo nei problemi organizzativi e gestionali. Le domande valutative sanciscono il termine di un percorso già visto nei precedenti paragrafi in cui il committente dà il via all’attività valutativa.

Ma il committente è sempre in grado di formulare correttamente queste domande? No. Spesso il fatto di essere parte implicata e coinvolta rende il committente sensibile verso la necessità valutativa ma non in grado di tradurre le sensazioni rispetto al Programma in termini chiari. A volte la dispercezione arriva al punto di non riconoscere il problema o, in casi di contesti complessi, non è neppure sufficiente ascoltare i diversi attori implicati per riuscire a definire, in maniera univoca e chiaramente condivisa, quali dati cercare.

E’ per questo che, nella figura al valutatore è affidato un ruolo importante; non può infatti accettare per buone le indicazioni del committente senza essere a sua volta intimamente convinto della bontà delle indicazioni ricevute.

Naturalmente l’opzione “non si può valutare”, a questo punto, è solo teorica. Siamo in una fase in cui il canale fra committente e valutatore è aperto, si è discusso sul Programma da valutare, si è realizzata una prima esplorazione dello spazio semantico e così via; è chiaro che il valutatore ha modo di insistere, tornare semmai sui suoi passi e aiutare nel migliore dei modi il committente a formulare le corrette domande valutative.

Anche l’esito “tornare a esplorazione dello spazio semantico” dovrebbe essere a questo punto un’eventualità rara se è stata ben eseguita.

8 Verifica della possibilità di approcci partecipati

Anche questo punto, a questo stadio della stipulazione del mandato, dovrebbe già essere stato chiarito. Perché è importante considerare – nel corso del mandato – se sono possibili tali approcci? Perché la valutazione partecipata non è solo una disponibilità alla trasparenza e alla democrazia, all’accountability e al coinvolgimento di attori rilevanti ma, prima di tutto, è un’esigenza metodologica. Solo la partecipazione degli attori rilevanti consente quell’approccio che precedentemente abbiamo definito ‘semantico’ (o addirittura pragmatico), vale a dire capace di esplorare in profondità il senso del Programma come vissuto e interpretato (e per ciò stesso reale) dagli attori che quel Programma hanno voluto, hanno realizzato e condiviso e di cui eventualmente hanno beneficiato.

Lo schema riassuntivo, in questo caso, è estremamente semplice. 

Occorre segnalare che una valutazione non partecipata è sempre possibile. Semplicemente verrà realizzata con un maggiore coinvolgimento del valutatore e delle sue categorie mentali, probabilmente a carattere più sintattico (dati statistici, sintesi di interviste e focus group…). Lo schema suggerisce anche una questione importante: dei tre principali gruppi di attori che solitamente consideriamo nella scena valutativa non sempre si può pensare di coinvolgerli tutti. A volte – per es. – i decisori sono troppo impegnati ma concordano nel coinvolgere gli operatori; oppure si ritiene di non poter coinvolgere eccessivamente gli utenti, ma decisori e operatori sono disponibili. In questi casi non si deve necessariamente registrare il fallimento dell’approccio partecipato. Potremmo immaginare una sorta di regola generale così formulabile: se su tre categorie di attori ne partecipano almeno due, la valutazione riuscirà egregiamente secondo approcci partecipati. Una sola, invece, può compromettere fortemente l’approccio partecipato e compromettere la valutazione. Una valutazione partecipata solo coi decisori sarà percepita, dagli operatori, come direttiva e poco amichevole; se avranno partecipato solo gli operatori saranno probabilmente i decisori a sottostimarla; mentre una partecipazione solo dei beneficiari rischia di diventare una sorta di customer satisfaction che ha poco a che fare con la valutazione.

9 Verifica presenza elementi di elevata criticità

A questo punto, tirando le somme della fase del mandato, il valutatore ha un’idea sufficientemente chiara della presenza o meno di elementi di elevata criticità valutativa.

Con questo termine intendiamo un ventaglio piuttosto ampio di condizioni differenti, delle quali una sommaria check list potete osservarla in alto a destra nella figura che segue.

Possiamo sintetizzare la questione così: sono elementi di elevata criticità quelli che obbligano il valutatore a trovare soluzioni operative specifiche, diversamente dal metodo che avrebbe utilizzato per dare risposta alle domande valutative in un contesto non complesso (perché di questo si tratta). Alcuni esempi aiuteranno a capire.

  1. Programma con un partenariato ampio: un tipico rischio progettuale, perché i diversi partner hanno probabilmente ruoli e visioni differenti, diverse motivazioni rispetto al progetto, forse addirittura vincoli specifici di natura normativa. Specie se il programma è articolato e lungo nel tempo è difficile tenere unito il gruppo, rendere efficiente la sua operatività e così via. Indipendentemente dalla risposta alle domande valutative, quindi, il valutatore – in accordo col committente – dovrebbe condurre azioni specifiche per tenere sotto osservazione la tenuta del partenariato;
  2. complessità del concetto posto alla base della formulazione delle domande valutative; per esempio viene chiesto di valutare l’efficacia di un determinato programma ma cosa sia esattamente ‘efficacia’ non è chiaro, oppure è differente fra gli attori, anche in seguito all’esplorazione del campo semantico; ciò accade per l’intrinseca complessità del programma e potrebbe non esserci modo per disambiguare il concetto che, restando vago, rende incerte le domande valutative;
  3. un programma internazionale, oltre ai problemi già segnalati relativi al partenariato, ha problemi di lingua che, com’è noto, non sono interamente superabili semplicemente con la reciproca traduzione dei testi esprimendo, ogni lingua, dei valori e dei concetti differenti non completamente traducibili.

Naturalmente questi contesti complessi inducono a realizzare attività valutative aggiuntive, con impiego di più mezzi e tempo; questo non sempre è possibile e il valutatore deve coinvolgere il committente per segnalare il problema e i rischi potenziali nel continuare la valutazione.

Sostenete questo blog

interamente autofinanziato.






Categories: Teoria della valutazione

Tags: ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: