La valutazione complessa

Ovvero: come valutare in situazioni complesse; e quindi anche: come organizzare una valutazione “complessa” capace di rispondere a situazioni complesse.

Questo è l’argomento del mio modulo alla Scuola estiva sul metodo di Tortorella, 4-8 Settembre (ultimi posti rimasti! Leggete qui i programmi dei quattro moduli e le modalità per partecipare: http://www.paideiascuoleestive.it/corsi) e, naturalmente, sto incominciando a preparare materiali, esempi ed esercitazioni. Qualche anticipazione:

Cosa vuole dire “complessità”

Il concetto di ‘complessità’ è piuttosto noto ai sociologi e ha un carattere non ben definito, da descrizione poco specifica della società globalizzata a segnalazione di una difficoltà concettuale ad affrontarla. Potete leggere, inizialmente, l’ottima definizione di Gallino nell’Enciclopedia Treccani. A un livello più specifico potremmo definire ‘complessità’ come la somma totale delle interazioni sociali. Poiché i sociologi si complicano la vita, è necessario precisare che la “somma delle interazioni” (una somma ideale, sostanzialmente asintotica e mai realmente calcolabile) riguarda singoli individui, gruppi e istituzioni; riguarda gli individui nei molteplici ruoli sociali rivestiti; riguarda il trascorrere del tempo… Io, come caso empirico esemplificativo, sono un individuo con molteplici ruoli (padre, valutatore, blogger…), membro di gruppi (famiglia, associazioni…) e istituzioni, e quindi ho una mia complessità intrinseca che differenzia molteplici modalità interattive con le persone e con l’ambiente circostante; tale molteplicità è anche spesso coesistente e, naturalmente, muta continuamente nel tempo. Ebbene, ciascun individuo col quale interagisco ha un’analoga complessità intrinseca, altra e diversa complessità hanno i gruppi, le istituzioni, l’ambiente. Questo enorme flusso di interazioni, continuamente cangiante, non è cognitivamente comprensibile nella sua interezza, né lo sono i suoi elementi portanti (politiche e programmi; grandi organizzazioni; dimensioni sociali pervasive…) se non con approcci teorici, e poi metodologici, capaci di operare delle “riduzioni di complessità” (ammesso che si possa concepire una tale “riduzione”, una questione controversa e ambigua come spiega Luhmann alla voce Complessità sociale dell’”Enciclopedia delle Scienze sociali”).

Complessità e linguaggio

Tutto ciò che entra nel concetto di ‘complessità’ è linguaggio. Non c’è un salto logico ma, in questo testo, solo un salto bibliografico che, da solo, impiegherebbe diverse pagine. Diciamo che ci sono Weber e Wittgenstein, Peirce e Luhmann, ma anche Apel e Derrida e tantissimi altri. Intendere la complessità come linguaggio significa intendere ogni interazione sociale come linguaggio (non solo come comunicazione, che è concetto più generico). Se questo è un approccio non nuovo nelle scienze sociali, occorre osservare che sociologi e antropologi hanno sempre considerato il linguaggio come un ambiente dell’interazione e delle dinamiche sociali, o al più una manifestazione di tali dinamiche, per cui attraverso il linguaggio degli attori sociali si può comprendere il come e il perché di comportamenti e opinioni. Qui i riferimenti diventano molteplici sia in sociologia che in antropologia e con “fusioni” interdisciplinari interessanti con la linguistica.

Un ulteriore passo avanti, a mio avviso ancora non sufficientemente realizzato nelle scienze sociali, è la trasposizione di questi ricchi spunti teorici a livello di metodo.

Se la complessità è linguaggio, e se il ricercatore, inevitabilmente, ne fa parte, com’è possibile indagarla e, in qualche modo, “spiegarla”? Poiché il ricercatore sociale – esso stesso parte della complessità che indaga – non può che utilizzare strumenti linguistici per la sua indagine (questionari, focus group…), si possono avere dubbi sul fatto che il risultato dell’indagine (dati, e quindi informazioni) altro non sia che un aumento di complessità, a sua volta difficilmente concettualizzabile quanto il contesto che l’ha prodotto. Il risultato dell’indagine finisce con l’essere non già una riduzione di complessità (e quindi un’interpretazione di un suo frammento) ma un suo ritaglio dotato di una nuova complessità, necessitante un nuovo livello interpretativo, e quindi un nuovo livello di complessità, in un circolo ermeneutico che perde man mano di vista l’oggetto dell’indagine.

In valutazione questo problema è più visibile e pressante, rispetto alla tradizionale ricerca sociale, perché il valutatore cerca risposte pratiche a problemi specifici di natura (apparentemente) razionale: politiche, programmi e così via. E proprio l’irraggiungibilità concettuale della maggior parte degli aggettivi or ora utilizzati (‘visibile’, ‘pratiche’, ‘razionale’) anima il dibattito nella nostra comunità di pratiche da diversi decenni, anche se non alla luce delle considerazioni fatte sopra.

Valutare in situazioni complesse

Quando, nel 2009, mi interrogai per la prima volta sulla complessità in valutazione, raffigurai il problema come segue:

La spiegazione dei nove elementi, se vi interessa, la trovate qui: https://bezzicante.files.wordpress.com/2014/05/complessitc3a0-valutativa.pdf

Il lato sinistro rinvia, sia pure in maniera un po’ grossolana, alla complessità descritta sopra; il lato destro, invece, a una non precisata “ambiguità concettuale” che è l’elemento più interessante. In che senso si può parlare di ambiguità concettuale (in valutazione, ma anche nella generale ricerca sociale)? Sostanzialmente quando, nelle fasi iniziali di esplorazione e di definizione del mandato, il valutatore cerca di definire cosa si debba valutare, e perché. C’è ampia letteratura che illustra come:

  • il decisore-committente abbia idee spesso non corrette o non complete sul programma da valutare;
  • attori diversi (inclusi decisori) abbiano idee differenti del programma da valutare;
  • le idee sul programma al tempo 0 differiscono dalle idee sul programma al tempo 1;
  • le idee sul programma differiscano dalle evidenze di ricerca, solo a volerle cercare;
  • nessun testo scritto (di programmazione, di deliberazione, etc.) assomiglia alle idee sul programma di ogni singolo attore o alla realtà empirica.

Queste note considerazioni hanno portato, negli ultimi decenni, a definire approcci valutativi basati sulla “Teoria (= Logica) del programma” o altri comunque particolarmente sensibili proprio a quelle “idee” che frullano in testa agli attori e che, di fatto, sono la realtà del programma.

In conclusione c’è sempre ambiguità concettuale se l’intendiamo come enorme difficoltà a fissare, in un qualche presunto modo definitivo (anche senza immaginare tale modo come “oggettivo”), valido per tutti gli attori implicati e stabile nel tempo, un rationale  del programma.

Risposte usuali alla valutazione complessa

Il problema è noto e viene usualmente affrontato con approcci partecipati, volti a esplorare quelle che sopra ho chiamato – con approssimazione – “idee” degli attori in merito al programma. In cosa consiste tale partecipazione? In approcci dialogici, in cui i diversi attori, solitamente in gruppo, si scambiano tali idee, le criticano, ne formulano di nuove, convenendo – oppure no – su determinate definizioni. Se gli attori arrivano a una definizione consensuale, il valutatore ha una base solida sulla quale avviare la sua ricerca valutativa; in caso diverso si utilizzano varie strategie di cui ora non conviene parlare.

Una cosa che sfugge a diversi autori è che i risultati presunti consensuali sono sostanzialmente fasulli.

Le principali tecniche utilizzate per esplorare la teoria del programma degli attori sono, com’è noto, focus group, nominal group technique e altre simili. Come agiscono queste tecniche? Semplificando diremo: con un approccio sintattico oppure con un approccio semantico.

L’approccio sintattico, evidentemente il più povero di tutti (sotto un profilo di complessità linguistica), è tipico del focus group, abbastanza presente nella seconda fase della nominal group techique, in parte nella Delphi (oltre, naturalmente, nei questionari) e porta con estrema facilità a un rapido consenso di gruppo. Un consenso formale, per l’appunto sintattico, dove |programma| vuole dire ‘programma’ per tutti, dove gli indicatori sono facilmente esauribili in pochi numeri auto-evidenti, dove gli obiettivi sono facilmente concordabili nella formula “il programma ha gli obiettivi A, B e C”, dove A, B e C possono significare qualunque cosa facilmente razionalizzabile (per esempio: aumentare l’occupazione del 4%; ridurre i tempi di percorrenza del 32%).

Solitamente la povertà di questo genere di “consenso” è facilmente verificabile passando al più complesso livello semantico, usuale nel brainstorming valutativo, nelle interviste biografiche o ermeneutiche e in diverse altre tecniche. L’approccio semantico scava nei significati e approda ai sensi intesi – spesso diversamente – dai diversi attori. Ecco allora che cercare un consenso è più complicato e a volte difficile o impossibile, perché dietro, e dentro, il termine |programma| (o |efficacia|, |qualità|, |obiettivo|, …) si nascondono concetti differenti, anche se solo minimamente differenti.

Occorrerebbe ora una digressione piuttosto ampia e necessaria su cosa sia un concetto e, specialmente, su come nasca il concetto nella mente umana. Anche qui eviterò in questa sede, salvo dire, sommariamente, che dopo un secolo di dibattito non c’è accordo definitivo fra gli studiosi e – quel che è peggio per questa discussione – teorie differenti sui concetti fondano prospettive di ricerca assai diverse (è per questo che il discorso è importante, ma lo affronterò un’altra volta, in una prossima occasione).

Al momento basterà aggiungere che benché ogni approccio semantico sia indiscutibilmente migliore e più avanzato di quelli sintattici, ugualmente in vari casi non è difficile “costruire” ad arte un simulacro di consenso fra gli attori. Utile al valutatore ma non alla causa valutativa.

Pragmatica del linguaggio

Questi limiti linguistici (sintattici e semantici) alla comprensione del contesto, degli attori, delle loro teorie del programma eccetera, possono essere superati a un livello più avanzato di analisi del linguaggio sotto il profilo pragmatico.

Per arrivare brevemente alla conclusione di questa nota, propongo la definizione di Marina Sbisà, filosofa del linguaggio:

La pragmatica è il settore degli studi linguistici e semiotici che si occupa del rapporto fra i segni e i loro utenti, ovvero dell’uso dei segni, che ha sempre luogo in un contesto. I campi principali della pragmatica sono lo studio della deissi, dell’azione linguistica e del senso implicito. Le ricerche di pragmatica si sono diramate in molte direzioni anche grazie ai contatti fra linguistica, sociologia, psicologia e antropologia. Recentemente ha avuto grande sviluppo il settore della pragmatica cognitiva, che si occupa dei modi in cui la mente elabora enunciati e testi.

Questo rapporto fra segni e loro utenti, in un contesto, è a mio modo di vedere la chiave per risolvere alcuni dei problemi presentati finora. Per esempio la teoria del programma non può essere semplicemente “ciò che gli attori dicono” (livello sintattico) e neppure ciò “che intendono” (livello semantico) ma semplicemente ciò che praticano. Ciò che praticano linguisticamente, nell’atto concreto di agire il contesto per modificarlo (questo, e solo questo, è l’obiettivo del linguaggio), nel corso delle interazioni con altri, con sistemi, con elementi di contesto, nel trascorrere del tempo (tutto ciò che riduciamo nel termine ‘complessità’). Un approccio pragmatico (basato sulla pragmatica del linguaggio) consentirebbe insomma di superare l’avvitamento ermeneutico moltiplicatore di complessità, e di cogliere l’essenza del rapporto fra concetti in capo agli attori (quelli che sopra designavo grossolanamente come ‘idee’), e loro concreto uso. Un approccio di questo genere – ritengo – supera le difficoltà implicite nella differenza fra segni e significanti espressa inizialmente da Ogden e Richards; schiva i problemi inevitabili dovuti alla vaghezza del linguaggio (concetto introdotto da Russell nel 1923); rende vivido il fondamentale concetto di indicalità e impedisce le razionalizzazioni che rendono inutile l’approccio sintattico e sospetto quello semantico. E anche molto altro, cui potrò solo accennare per non rendere questa piccola nota qualcosa che ancora non ambisce a essere.

Pragmatica del linguaggio in pratica

Mi scuso se da qui in poi sarò velocissimo, ma farò riferimento ad altre cose, per lo più scritte in questo periodo, e chi è interessato potrà quindi avanzare nella lettura.

Per prima cosa dobbiamo tornare a quella ‘complessità concettuale’ dalla quale eravamo partiti.

Se – come asserito sopra – la complessità è linguaggio, allora l’approccio pragmatico si propone di evitarne le trappole ermeneutiche e assumere, come oggetto d’analisi, ciò che gli attori mostrano di agire col linguaggio; non quindi la nostra (di ricercatori) interpretazione del loro linguaggio, ma la loro (degli attori) in quanto azione. Ciò che essi fanno, mentre dicono di farlo, è la realtà della loro significazione, a prescindere dal lessico. Ciò che fanno, mentre dicono di farlo, rivela la loro idea di mondo, la loro competenza di contesto, le loro reali interazioni, e anche la natura dei concetti implicati in tali azioni. Non si supera la necessità – proprio del ricercatore sociale – di un’interpretazione, ma si superano le insidie linguistiche accennate sopra (differenza fra segni e significanti, vaghezza…) e altri non trattati fin qui. Tale interpretazione – responsabilità indivisibile del ricercatore anche in valutazione – è unica: è l’interpretazione del ricercatore alle (plurale) pragmatiche degli attori, e non più la serie di molteplici interpretazioni di interpretazioni tipiche dell’ermeneutica semantica.

Il mio riferimento più antico su questo tema, valido per le intuizioni, meno per la messa in pratica, è Evaluation Pragmatics, pubblicato su “Evaluation”, 1, 2006, che potete leggere integralmente qui: https://bezzicante.files.wordpress.com/2014/05/evaluation-pragmatics.pdf.

Anche i numeri sono un linguaggio e come tali vanno trattati

Per ragioni che sorvolo, affinché l’approccio funzioni deve potere includere il linguaggio matematico. Che la matematica si un linguaggio si dice e “si sa”, ma occorre spiegare perché, e in che senso, e con quali eventuali limiti, la matematica sia un linguaggio.

Ebbene, questo è precisamente il caso in cui vi rimando a un altro articolo, molto divulgativo, che trovate qui: http://sociologicamente.it/i-numeri-sono-un-linguaggio/.

In tale articolo mostro come i) quello matematico sia un linguaggio estremamente simile a quello ordinario; ii) l’unica differenza è la maggiore formalizzazione, dovuta a una peculiarità di estensione e intensione dei numeri.

E’ quindi possibile immaginare un metodo di analisi e ricerca interamente fondato sull’approccio linguistico, e quindi sulla pragmatica del linguaggio come elemento costitutivo del metodo.

In pratica…

A questo punto resta la conclusione empirica. Come, esattamente, fare ricerca secondo l’approccio pragmatico? Cosa cambia? Ci sono tecniche specifiche? Elaborazioni particolari? Se quanto sopra non deve restare a livello puramente speculativo dobbiamo tradurre quei principi in definizioni operative, modi concreti di “intervistare”, o di “classificare”, o di elaborare” i dati e le informazioni degli attori. Questo punto, ovviamente centrale, sarà oggetto della riflessione della Scuola di Tortorella.

13 Agosto 2017



Categorie:Valutazione

Tag:, , , ,

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

%d blogger hanno fatto clic su Mi Piace per questo: