La valutazione complessa

Ovvero: come valutare in situazioni complesse; e quindi anche: come organizzare una valutazione “complessa” capace di rispondere a situazioni complesse.

Questo è l’argomento del mio modulo alla Scuola estiva sul metodo di Tortorella, 4-8 Settembre (ultimi posti rimasti! Leggete qui i programmi dei quattro moduli e le modalità per partecipare: http://www.paideiascuoleestive.it/corsi) e, naturalmente, sto incominciando a preparare materiali, esempi ed esercitazioni. Qualche anticipazione:

Cosa vuole dire “complessità

Il concetto di ‘complessità’ è piuttosto noto ai sociologi e ha un carattere non ben definito, da descrizione poco specifica della società globalizzata a segnalazione di una difficoltà concettuale ad affrontarla. Potete leggere, inizialmente, l’ottima definizione di Gallino nell’Enciclopedia Treccani. A un livello più specifico potremmo definire ‘complessità’ come la somma totale delle interazioni sociali. Poiché i sociologi si complicano la vita, è necessario precisare che la “somma delle interazioni” (una somma ideale, sostanzialmente asintotica e mai realmente calcolabile) riguarda singoli individui, gruppi e istituzioni; riguarda gli individui nei molteplici ruoli sociali rivestiti; riguarda il trascorrere del tempo… Io, come caso empirico esemplificativo, sono un individuo con molteplici ruoli (padre, valutatore, blogger…), membro di gruppi (famiglia, associazioni…) e istituzioni, e quindi ho una mia complessità intrinseca che differenzia molteplici modalità interattive con le persone e con l’ambiente circostante; tale molteplicità è anche spesso coesistente e, naturalmente, muta continuamente nel tempo. Ebbene, ciascun individuo col quale interagisco ha un’analoga complessità intrinseca, altra e diversa complessità hanno i gruppi, le istituzioni, l’ambiente. Questo enorme flusso di interazioni, continuamente cangiante, non è cognitivamente comprensibile nella sua interezza, né lo sono i suoi elementi portanti (politiche e programmi; grandi organizzazioni; dimensioni sociali pervasive…) se non con approcci teorici, e poi metodologici, capaci di operare delle “riduzioni di complessità” (ammesso che si possa concepire una tale “riduzione”, una questione controversa e ambigua come spiega Luhmann alla voce Complessità sociale dell’”Enciclopedia delle Scienze sociali”).

Complessità e linguaggio

Tutto ciò che entra nel concetto di ‘complessità’ è linguaggio. Non c’è un salto logico ma, in questo testo, solo un salto bibliografico che, da solo, impiegherebbe diverse pagine. Diciamo che ci sono Weber e Wittgenstein, Peirce e Luhmann, ma anche Apel e Derrida e tantissimi altri. Intendere la complessità come linguaggio significa intendere ogni interazione sociale come linguaggio (non solo come comunicazione, che è concetto più generico). Se questo è un approccio non nuovo nelle scienze sociali, occorre osservare che sociologi e antropologi hanno sempre considerato il linguaggio come un ambiente dell’interazione e delle dinamiche sociali, o al più una manifestazione di tali dinamiche, per cui attraverso il linguaggio degli attori sociali si può comprendere il come e il perché di comportamenti e opinioni. Qui i riferimenti diventano molteplici sia in sociologia che in antropologia e con “fusioni” interdisciplinari interessanti con la linguistica.

Un ulteriore passo avanti, a mio avviso ancora non sufficientemente realizzato nelle scienze sociali, è la trasposizione di questi ricchi spunti teorici a livello di metodo.

Se la complessità è linguaggio, e se il ricercatore, inevitabilmente, ne fa parte, com’è possibile indagarla e, in qualche modo, “spiegarla”? Poiché il ricercatore sociale – esso stesso parte della complessità che indaga – non può che utilizzare strumenti linguistici per la sua indagine (questionari, focus group…), si possono avere dubbi sul fatto che il risultato dell’indagine (dati, e quindi informazioni) altro non sia che un aumento di complessità, a sua volta difficilmente concettualizzabile quanto il contesto che l’ha prodotto. Il risultato dell’indagine finisce con l’essere non già una riduzione di complessità (e quindi un’interpretazione di un suo frammento) ma un suo ritaglio dotato di una nuova complessità, necessitante un nuovo livello interpretativo, e quindi un nuovo livello di complessità, in un circolo ermeneutico che perde man mano di vista l’oggetto dell’indagine.

In valutazione questo problema è più visibile e pressante, rispetto alla tradizionale ricerca sociale, perché il valutatore cerca risposte pratiche a problemi specifici di natura (apparentemente) razionale: politiche, programmi e così via. E proprio l’irraggiungibilità concettuale della maggior parte degli aggettivi or ora utilizzati (‘visibile’, ‘pratiche’, ‘razionale’) anima il dibattito nella nostra comunità di pratiche da diversi decenni, anche se non alla luce delle considerazioni fatte sopra.

Valutare in situazioni complesse

Quando, nel 2009, mi interrogai per la prima volta sulla complessità in valutazione, raffigurai il problema come segue:

1 Introduzione alla valutazione.001

Spiegazione dei nove elementi:

  1. “Molteplicità degli attori coinvolti” significa certamente tutte le situazioni di partenariato (che è sempre una condizione di rischio progettuale) ma anche quelle in cui una varietà di attori sociali (decisori, operatori o beneficiari), nelle loro articolazioni, sono coinvolte direttamente o indirettamente nel programma, semmai in una situazione di conflittualità o di evidente presenza di situazioni asimmetriche (qualcuno “guadagna” e qualcuno “perde” dal programma, e quindi dalla valutazione);
  2. l’”Ambiguità concettuale” è una condizione ineliminabile di qualunque programma oggetto di valutazione. Indipendentemente dalla competenza dei redattori e dell’accuratezza formale dei programmi, ogni concetto necessariamente implicato è “vago”, semanticamente ambiguo, diversamente interpretabile: concetti quali ‘inclusione sociale’, ‘adeguatezza dei servizi per l’impiego’, ‘qualità della formazione’, ‘trasferibilità delle buone prassi’ (tanto per prenderne alcuni a caso) non sono chiaramente comprensibili nello stesso modo da tutti gli aventi causa;
  3. l’elemento (1) necessita evidentemente la chiara identificazione di tutti i principali stakeholder, se non altro perché ciascuno è portatore di set di valori (politici, organizzativi, …) differenti, elemento che agisce direttamente sui possibili successi e insuccessi del programma, e quindi della valutazione;
  4. parallelamente l’elemento (2) ci impone un lavoro di disambiguamento, o di chiarificazione, che ci permetta di avviare una valutazione con un minor numero di incertezze semantiche; da notare che questo è un imperativo metodologico, con riflessi importanti sul piano del consenso attorno alla valutazione e i suoi futuri esiti (e quindi sull’uso). IL DOPPIO CONNETTORE fra i box (3) e (4) è importante: se abbiamo una molteplicità di attori coi loro valori da una parte, e la consapevolezza dell’ambiguità concettuale dall’altra, viene da sé che il problema è decuplicato (tanti attori che interpretano differentemente i concetti già di per sé ambigui), ma che una soluzione che si impone è di cercare una disambiguazione proprio nel coinvolgimento di quegli stessi diversi attori, attraverso un processo negoziale che si gioca sul piano semantico e su quello pragmatico, con processi e tecniche di carattere dialogico che qui non si ha il tempo e il modo di approfondire;
  5. il processo di chiarificazione visto sopra consente di mappare gli attori coinvolti nel programma, le loro funzioni e ruolo, e quindi le loro relazioni fino ai processi nei quali sono coinvolti. Questa “mappa” (da intendere anche solo in senso figurato) è fondamentale per la realizzazione di qualunque analisi e valutazione dell’implementazione, dei processi organizzativi e per un monitoraggio intelligentemente fondato sui processi e non sulla preesistenza di “dati” (su questo argomento importantissimo tornerò in prossime note sul Portolano, in particolare in prossimità dell’uscita del volume a cura mio, di Cannavò e di Palumbo sugli indicatori – previsto per Febbraio 2010 – che contiene un fondamentale contributo di Lombardi su questo tema). Oltre a tale mappa, e in maniera del tutto simile come processo cognitivo implicato, si potrà avere una mappa fondamentale delle dimensioni e degli indicatori necessari alla valutazione. C’è uno stretto rapporto fra mappa degli attori/processi e quella delle dimensioni/indicatori, sia di carattere tecnico-metodologico che epistemologico, ma anche tali questioni non ho spazio di approfondire qui;
  6. il box (6) è speculare al precedente e consente al valutatore di avere la “mappa degli elementi da valutare”; la chiarificazione concettuale vista al box (4) consente infatti di dispiegare – alla luce delle connotazioni che il concetto ambiguo avrà alla fine ricevuto – gli elementi fondanti, i pilastri del programma da valutare (traslando: le sue dimensioni), nonché le loro componenti costituite da attori, azioni, aspetti di budget, obiettivi specifici e così via (se ne vedrà l’affinità con gli indicatori). IL DOPPIO CONNETTORE fra i box (5) e (6) è, come il precedente, di fondamentale importanza dal punto di vista sistemico del disegno valutativo: grazie al lavoro di esplorazione semantica col coinvolgimento degli attori, da un lato le mappe concettuali del box (5) sono ricostruite sulla base della pragmatica rappresentazione del programma valutato, dall’altro la selezione degli elementi da sottoporre a valutazione (6) sono il frutto di riflessione negoziata;
  7. uno dei frutti più interessanti di questo processo, considerando il lato sinistro della figura, è la possibilità di organizzare e proporre un monitoraggio intelligente, e non piattamente risolto sulla mera disponibilità di dati (come ho già detto si tratta di un tema complesso che riprenderò in altra occasione);
  8. il box (8) è cruciale: se siamo in presenza di un contesto complesso (questa era la premessa), come è possibile illudersi di risolvere la valutazione con poche banalità? I metodi misti sono qui da intendere come proposta da considerare nel disegno valutativo con riferimento a differenti dimensioni: tecniche miste vuole certamente dire usare tecniche “qualitative” e “quantitative”, ma anche idonee a esplorare efficacia ed efficienza del programma, suoi processi implementativi oltre che gli esiti, valutando le risposte dei diversi attori, operatori e beneficiari prima di tutti, e così via. In poche parole: non possono bastare tre focus group e due-tre interviste, da raccontare poi in lungo e in largo con abbondanza di retorica e uso di indebite inferenze in rapporti di 300 pagine. Metodi misti significa, qui, anche rigore del disegno, diversificazione di tecniche, massa critica minima nel numero di questionari, di interviste, di focus, di quel che vi pare.
  9. Il box finale “Ricerca valutativa” (9) indica la finale raccolta dei frutti di questo processo e la possibilità di andare poi a fare quella parte forse più visibile di raccolta di dati e informazioni, loro interpretazione, e quindi formulazione dei giudizi valutativi che – senza il processo precedente – rischia di diventare banale, inefficace, retorico, distorcente della realtà, non condivisibile.

Il lato sinistro rinvia, sia pure in maniera un po’ grossolana, alla complessità descritta sopra; il lato destro, invece, a una non precisata “ambiguità concettuale” che è l’elemento più interessante. In che senso si può parlare di ambiguità concettuale (in valutazione, ma anche nella generale ricerca sociale)? Sostanzialmente quando, nelle fasi iniziali di esplorazione e di definizione del mandato, il valutatore cerca di definire cosa si debba valutare, e perché. C’è ampia letteratura che illustra come:

  • il decisore-committente abbia idee spesso non corrette o non complete sul programma da valutare;
  • attori diversi (inclusi decisori) abbiano idee differenti del programma da valutare;
  • le idee sul programma al tempo 0 differiscono dalle idee sul programma al tempo 1;
  • le idee sul programma differiscano dalle evidenze di ricerca, solo a volerle cercare;
  • nessun testo scritto (di programmazione, di deliberazione, etc.) assomiglia alle idee sul programma di ogni singolo attore o alla realtà empirica.

Queste note considerazioni hanno portato, negli ultimi decenni, a definire approcci valutativi basati sulla “Teoria (= Logica) del programma” o altri comunque particolarmente sensibili proprio a quelle “idee” che frullano in testa agli attori e che, di fatto, sono la realtà del programma.

In conclusione c’è sempre ambiguità concettuale se l’intendiamo come enorme difficoltà a fissare, in un qualche presunto modo definitivo (anche senza immaginare tale modo come “oggettivo”), valido per tutti gli attori implicati e stabile nel tempo, un rationale  del programma.

Risposte usuali alla valutazione complessa

Il problema è noto e viene usualmente affrontato con approcci partecipati, volti a esplorare quelle che sopra ho chiamato – con approssimazione – “idee” degli attori in merito al programma. In cosa consiste tale partecipazione? In approcci dialogici, in cui i diversi attori, solitamente in gruppo, si scambiano tali idee, le criticano, ne formulano di nuove, convenendo – oppure no – su determinate definizioni. Se gli attori arrivano a una definizione consensuale, il valutatore ha una base solida sulla quale avviare la sua ricerca valutativa; in caso diverso si utilizzano varie strategie di cui ora non conviene parlare.

Una cosa che sfugge a diversi autori è che i risultati presunti consensuali sono sostanzialmente fasulli.

Le principali tecniche utilizzate per esplorare la teoria del programma degli attori sono, com’è noto, focus group, nominal group technique e altre simili. Come agiscono queste tecniche? Semplificando diremo: con un approccio sintattico oppure con un approccio semantico.

L’approccio sintattico, evidentemente il più povero di tutti (sotto un profilo di complessità linguistica), è tipico del focus group, abbastanza presente nella seconda fase della nominal group techique, in parte nella Delphi (oltre, naturalmente, nei questionari) e porta con estrema facilità a un rapido consenso di gruppo. Un consenso formale, per l’appunto sintattico, dove |programma| vuole dire ‘programma’ per tutti, dove gli indicatori sono facilmente esauribili in pochi numeri auto-evidenti, dove gli obiettivi sono facilmente concordabili nella formula “il programma ha gli obiettivi A, B e C”, dove A, B e C possono significare qualunque cosa facilmente razionalizzabile (per esempio: aumentare l’occupazione del 4%; ridurre i tempi di percorrenza del 32%).

Solitamente la povertà di questo genere di “consenso” è facilmente verificabile passando al più complesso livello semantico, usuale nel brainstorming valutativo, nelle interviste biografiche o ermeneutiche e in diverse altre tecniche. L’approccio semantico scava nei significati e approda ai sensi intesi – spesso diversamente – dai diversi attori. Ecco allora che cercare un consenso è più complicato e a volte difficile o impossibile, perché dietro, e dentro, il termine |programma| (o |efficacia|, |qualità|, |obiettivo|, …) si nascondono concetti differenti, anche se solo minimamente differenti.

Occorrerebbe ora una digressione piuttosto ampia e necessaria su cosa sia un concetto e, specialmente, su come nasca il concetto nella mente umana. Anche qui eviterò in questa sede, salvo dire, sommariamente, che dopo un secolo di dibattito non c’è accordo definitivo fra gli studiosi e – quel che è peggio per questa discussione – teorie differenti sui concetti fondano prospettive di ricerca assai diverse (è per questo che il discorso è importante, ma lo affronterò un’altra volta, in una prossima occasione).

Al momento basterà aggiungere che benché ogni approccio semantico sia indiscutibilmente migliore e più avanzato di quelli sintattici, ugualmente in vari casi non è difficile “costruire” ad arte un simulacro di consenso fra gli attori. Utile al valutatore ma non alla causa valutativa.

Pragmatica del linguaggio

Questi limiti linguistici (sintattici e semantici) alla comprensione del contesto, degli attori, delle loro teorie del programma eccetera, possono essere superati a un livello più avanzato di analisi del linguaggio sotto il profilo pragmatico.

Per arrivare brevemente alla conclusione di questa nota, propongo la definizione di Marina Sbisà, filosofa del linguaggio:

La pragmatica è il settore degli studi linguistici e semiotici che si occupa del rapporto fra i segni e i loro utenti, ovvero dell’uso dei segni, che ha sempre luogo in un contesto. I campi principali della pragmatica sono lo studio della deissi, dell’azione linguistica e del senso implicito. Le ricerche di pragmatica si sono diramate in molte direzioni anche grazie ai contatti fra linguistica, sociologia, psicologia e antropologia. Recentemente ha avuto grande sviluppo il settore della pragmatica cognitiva, che si occupa dei modi in cui la mente elabora enunciati e testi.

Questo rapporto fra segni e loro utenti, in un contesto, è a mio modo di vedere la chiave per risolvere alcuni dei problemi presentati finora. Per esempio la teoria del programma non può essere semplicemente “ciò che gli attori dicono” (livello sintattico) e neppure ciò “che intendono” (livello semantico) ma semplicemente ciò che praticano. Ciò che praticano linguisticamente, nell’atto concreto di agire il contesto per modificarlo (questo, e solo questo, è l’obiettivo del linguaggio), nel corso delle interazioni con altri, con sistemi, con elementi di contesto, nel trascorrere del tempo (tutto ciò che riduciamo nel termine ‘complessità’). Un approccio pragmatico (basato sulla pragmatica del linguaggio) consentirebbe insomma di superare l’avvitamento ermeneutico moltiplicatore di complessità, e di cogliere l’essenza del rapporto fra concetti in capo agli attori (quelli che sopra designavo grossolanamente come ‘idee’), e loro concreto uso. Un approccio di questo genere – ritengo – supera le difficoltà implicite nella differenza fra segni e significanti espressa inizialmente da Ogden e Richards; schiva i problemi inevitabili dovuti alla vaghezza del linguaggio (concetto introdotto da Russell nel 1923); rende vivido il fondamentale concetto di indicalità e impedisce le razionalizzazioni che rendono inutile l’approccio sintattico e sospetto quello semantico. E anche molto altro, cui potrò solo accennare per non rendere questa piccola nota qualcosa che ancora non ambisce a essere.

Pragmatica del linguaggio in pratica

Mi scuso se da qui in poi sarò velocissimo, ma farò riferimento ad altre cose, per lo più scritte in questo periodo, e chi è interessato potrà quindi avanzare nella lettura.

Per prima cosa dobbiamo tornare a quella ‘complessità concettuale’ dalla quale eravamo partiti.

Se – come asserito sopra – la complessità è linguaggio, allora l’approccio pragmatico si propone di evitarne le trappole ermeneutiche e assumere, come oggetto d’analisi, ciò che gli attori mostrano di agire col linguaggio; non quindi la nostra (di ricercatori) interpretazione del loro linguaggio, ma la loro (degli attori) in quanto azione. Ciò che essi fanno, mentre dicono di farlo, è la realtà della loro significazione, a prescindere dal lessico. Ciò che fanno, mentre dicono di farlo, rivela la loro idea di mondo, la loro competenza di contesto, le loro reali interazioni, e anche la natura dei concetti implicati in tali azioni. Non si supera la necessità – proprio del ricercatore sociale – di un’interpretazione, ma si superano le insidie linguistiche accennate sopra (differenza fra segni e significanti, vaghezza…) e altri non trattati fin qui. Tale interpretazione – responsabilità indivisibile del ricercatore anche in valutazione – è unica: è l’interpretazione del ricercatore alle (plurale) pragmatiche degli attori, e non più la serie di molteplici interpretazioni di interpretazioni tipiche dell’ermeneutica semantica.

Il mio riferimento più antico su questo tema, valido per le intuizioni, meno per la messa in pratica, è Evaluation Pragmatics, pubblicato su “Evaluation”, 1, 2006, che potete leggere integralmente qui: https://valutazione.blog/wp-content/uploads/2014/05/evaluation-pragmatics.pdf.

Anche i numeri sono un linguaggio e come tali vanno trattati

Per ragioni che sorvolo, affinché l’approccio funzioni deve potere includere il linguaggio matematico. Che la matematica si un linguaggio si dice e “si sa”, ma occorre spiegare perché, e in che senso, e con quali eventuali limiti, la matematica sia un linguaggio.

Ebbene, questo è precisamente il caso in cui vi rimando a un altro articolo, molto divulgativo, che trovate qui: http://sociologicamente.it/i-numeri-sono-un-linguaggio/.

In tale articolo mostro come i) quello matematico sia un linguaggio estremamente simile a quello ordinario; ii) l’unica differenza è la maggiore formalizzazione, dovuta a una peculiarità di estensione e intensione dei numeri.

E’ quindi possibile immaginare un metodo di analisi e ricerca interamente fondato sull’approccio linguistico, e quindi sulla pragmatica del linguaggio come elemento costitutivo del metodo.

In pratica…

A questo punto resta la conclusione empirica. Come, esattamente, fare ricerca secondo l’approccio pragmatico? Cosa cambia? Ci sono tecniche specifiche? Elaborazioni particolari? Se quanto sopra non deve restare a livello puramente speculativo dobbiamo tradurre quei principi in definizioni operative, modi concreti di “intervistare”, o di “classificare”, o di elaborare” i dati e le informazioni degli attori. Questo punto, ovviamente centrale, sarà oggetto della riflessione della Scuola di Tortorella.

13 Agosto 2017



Categories: Teoria della valutazione

Tags: , , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: