Prolegomeni al concetto di efficacia “situazionale”

Prolegomeni al concetto di efficacia "situazionale"

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Il molti casi non è possibile definire l’oggetto della valutazione, concordarne una definizione, stabilire in cosa consista la sua efficacia. Come fare?

1. Il problema dell’efficacia netta

Uno dei concetti chiave della valutazione è quello di efficacia (valutazione di risultato o di impatto con accento sull’efficacia), che si presume il valutatore possa misurare o, quanto meno, osservare e descrivere adeguatamente. Con sottolineature diverse, e non senza tratti polemici, si è discusso a lungo su quale valutazione sia veramente meritevole dello sforzo valutativo, e certamente nella maggior parte dei contesti l’interesse sembra propendere verso l’efficacia netta. Cosa ciò significhi è presto spiegato: se osserviamo i risultati di un programma con un confronto prima/dopo (prima che il programma si avvii e dopo, una volta concluso e abbia dispiegato i suoi effetti), vedremo quasi certamente un cambiamento (“impatto”) che sarebbe arbitrario attribuire (nel bene o nel male) al programma, in quanto numerose variabili intervenienti potrebbero avere influito sul suo successo o insuccesso (questo lo chiamiamo impatto lordo, che alcuni autori rifiutano categoricamente anche solo di chiamare ‘impatto’); la vera efficacia, quella imputabile interamente al programma, è solo quella depurata da tali variabili; ciò naturalmente potrebbe condurre alla constatazione che il programma in sé ha avuto ruoli marginali o addirittura negativi sulle condizioni verificate dopo, e che tali condizioni sono dovute essenzialmente a fattori terzi (crisi finanziarie, andamento dei mercati, modifiche legislative etc.). Alcuni autori sostengono quindi che per la misurazione di questa efficacia netta sia indispensabile un approccio controfattuale, vocato appunto all’esclusione di variabili intervenienti.

2. Il limite del concetto di ‘efficacia netta’ in servizi a bassa soglia come esempio di un problema generale

L’approccio controfattuale finalizzato all’analisi dell’efficacia netta è da sempre oggetto di discussione e polemica per diverse ragioni, fra le quali le principali: i) è sostanzialmente impossibile realizzare un disegno controfattuale rigoroso; ii) il risultato può convincere sotto il profilo formale solo ignorando completamente i meccanismi che lo ha prodotto.

Ci sono poi contesti operativi che, per loro peculiarità, mettono in discussione la possibilità stessa di applicare il concetto di efficacia netta. È il caso di programmi e servizi sociali, culturali, sanitari e altri in cui non solo il principale “servizio” erogato è una relazione (di cura, protezione, educazione…) ma nei quali è virtualmente impossibile allestire basi di dati e monitoraggi affidabili. Ci sono per esempio servizi di tutela dei minori a rischio che evitano consapevolmente la presa in carico formale (per evitare identificazioni improprie con istituzioni di controllo) e dove l’accesso è aperto, e quindi l’assenza e l’abbandono dei minori della struttura ha un significato non immediatamente interpretabile, dove un “successo” può riguardare semplicemente la riduzione del rischio in un caso, il completamento di un percorso di studio in altro e via discorrendo. Si possono immaginare livelli differenti di successo e quindi di efficacia: averli tolti dalla strada è già un primo successo; averli soccorsi e consigliati anche sotto il profilo legale è un secondo livello di successo… fino ai pochi, naturalmente, che superando i numerosi ostacoli diventano maggiorenni, trovano lavoro e si inseriscono nella società ospite. Ciascuno di questi livelli può essere preso come riferimento per una possibile analisi di efficacia (quanti ce l’hanno fatta almeno al livello uno? Quanti al livello successivo?). Per l’analisi dell’efficacia netta occorrono quindi i dati su questi minori in ingresso e in uscita (ai vari livelli detti). Ma questa contabilità non è spesso possibile per le seguenti ragioni:

  1. nessuno può conoscere il numero esatto dei minori a rischio presenti sul territorio (rispetto ai quali contare quelli intercettati dal servizio in questione);
  2. molti minori, sia presenti, che intercettati (primo livello di intervento del servizio) o addirittura immessi in percorsi educativi (successivo livello di interventi) possono scomparire senza dare notizie al personale del servizio per svariate ragioni impossibili da conoscere: i) il minore ha trovato alloggio presso una struttura troppo lontana rispetto alla sede del servizio e semplicemente interrompe il rapporto anche se avrebbe desiderato continuare; ii) il minore ha cambiato città o è espatriato senza informare; iii) il minore è stato arrestato o è deceduto… L’interruzione improvvisa, quindi, non è necessariamente indicatore di insuccesso ma comportamento attribuibile a diversissime concause e motivazioni;
  3. poiché partecipare ad attività educative è di per sé un indicatore debole (le ragioni della partecipazione possono andare dall’autentico interesse al banale passare il tempo in un luogo caldo fra amici), occorrerebbe conoscere i risultati profondi di tale partecipazione; se, per esempio, un dato laboratorio sia stato o no essenziale per lo sviluppo del percorso integrativo di quel giovane. Una sorta di analisi controfattuale concentrata su miriadi di singoli casi, uno diverso dall’altro, è assolutamente impossibile operativamente non solo per ragioni organizzative ma di metodo.

Questo caso, tipico dei servizi sociali, sanitari, educativi basati sulla relazione, in contesti di bassa soglia o di emergenza, rende impossibile definire operativamente l’efficacia netta (e peraltro anche quella lorda) nel senso profondamente razionalista ed empiricista proposto usualmente attraverso l’approccio controfattuale.

Voglio segnalare che se anche l’esempio ha riguardato un ipotetico servizio a bassa soglia per minori, molti dei problemi trattati in questa nota hanno più ampia validità.

3. Proposta di un concetto di “efficacia situazionale”

Il valutatore non può rinunciare al concetto di efficacia e non può adagiarsi sull’inutile e fuorviante efficacia lorda. Ma, come visto, l’efficacia netta è inafferrabile per la magmaticità e opacità di determinati contesti, i mille percorsi degli individui oggetto di analisi, la mancanza di dati, registrazioni e documenti che possano certificare le storie individuali.

Occorre fare un passo laterale.

Definiamo efficacia situazionale quella desumibile dalla presenza di un agire comunicativo fondato sull’ascolto e la relazione, il cui senso è riscontrabile dalla retroazione dei soggetti destinatari, in un contesto in cui la complessità sociale non consente una rilevazione o una stima dell’efficacia netta al di fuori del rapporto zeroà1, dove “zero” significa mancanza di relazione e “1” significa qualunque relazione non contestata.

La non contestabilità della relazione significa che la retroazione dei beneficiari è, nel suo insieme, complessivamente positiva, continua, incrementale.

Nell’efficacia situazionale sono possibili tre condizioni:

  • zero = il servizio non esiste, o non esiste in merito alla prestazione osservata (nel caso di un servizio come sopra ipotizzato, per esempio: non si fa protezione ma solo informazione);
  • 1 contestato = esiste la prestazione ma si può osservare che i beneficiari non partecipano, non gradiscono, non ritornano…
  • 1 non contestato = esiste la prestazione e non si può osservare che i beneficiari non partecipino etc.

L’aggettivo |situazionale| è stato scelto per come inteso in linguistica e in antropologia:

Il contesto situazionale potrebbe dunque definirsi come il contesto extra-testuale di un testo, suggerendo così che, per interpretare correttamente un messaggio, è necessario comprendere sia gli indizi linguistici sia quelli legati alla situazione, identificando con precisione l’ambiente comunicativo in cui si inserisce il messaggio stesso. […] Conoscere il contesto situazionale, quindi, implica interpretare il linguaggio in modo appropriato in relazione al contesto sociale, acquisendo quella che Hymes chiama “competenza comunicativa”, ossia quella facoltà che permette al parlante di sapere “when to speack, when not and […] what to talk, about with, whom, when, where and in what manner”. (Michela Canepari, Linguistica, lingua e traduzione. Vol. 1 – I fondamenti, Libreria universitaria.it edizioni, Padova 2016, pag. 106).

Le componenti di un’indagine situazionale includono i partecipanti e l’ambiente, l’intento comunicativo e il suo effetto.

Questo concetto ha a che fare con quello di ‘pragmatica (comunicativa)’, che in valutazione è stato da me trattato in Evaluation Pragmatics.

4. Elementi operativi dell’efficacia situazionale

La rilevazione dell’efficacia situazionale ha a che fare con l’analisi pragmatica dei “testi” (dichiarazioni, documenti…) prodotti dagli attori. Ricordando che la ‘pragmatica’ è il settore linguistico che studia il rapporto fra segni (= testo) e loro uso (utenti, contesto…), e che qui siamo evidentemente in un contesto valutativo, si può immaginare in prima battuta un approccio metodologico di questo genere:

Trattandosi di un approccio pragmatico-situazionale, assume un ruolo strategico il contesto in cui quegli attori agiscono (quelli implicati nel programma e chiamati nell’esercizio valutativo). Il contesto è dato dal momento in cui la valutazione viene fatta, dagli attori implicati (e da quelli non), da ciò che dicono e del perché, come e in che maniera lo dicono.

Il risultato operativo della valutazione dell’efficacia situazionale può assumere valori e connotazioni differenti per gruppi differenti di attori, senza che ciò abbia altro significato che quello di riflettere situazioni differenti. Oggetto dell’analisi situazionale, quindi, sarà proprio tale differenza. Così come, nella realtà degli attori, le opinioni differenti producono frizioni o facilitazioni al successo del servizio erogato (o del programma o politica esercitati), la valutazione situazionale intende accertare l’efficacia realmente esperita, praticata, favorita o meno, per come intesa, vissuta, concepita dagli attori (con riferimento teorico alla Teoria del programma).

Tutto questo deve fare i conti con approcci e metodi adeguati. Come in molteplici altri casi complessi in cui il valutatore opera, il concetto di efficacia situazionale e le conseguenti definizioni operative non possono attraversare tutta la complessità del programma valutato. Occorre operare con tecniche miste e – questo per molti potrebbe rappresentare una novità – concependo il linguaggio come metodo; i tre classici livelli di studio linguistico (sintattico, semantico e pragmatico) rappresentano tre livelli di conoscenza valutativa integrabili in un approccio unitario relativamente ai diversi attori da coinvolgere in valutazione (se esistono dubbi sull’assoluta necessità di valutazioni partecipate potete leggere questo: Perché la valutazione è migliore se partecipata). Con riguardo all’efficacia situazionale, la figura che segue vi mostra la sua collocazione.

L’efficacia situazionale è innanzitutto constatazione di una complessità non riducibile, in modo soddisfacente, con l’approccio deduttivo tipico della ricerca sociale per variabili (il cosiddetto paradigma lazarsfeldiano); vale a dire: non è possibile dedurre gli indicatori sui quali costruire l’analisi.

In secondo luogo non appare perseguibile l’approccio inferenziale induttivo partendo dai casi, sempre eterogenei e scarsamente generalizzabili.

L’efficacia situazionale si può affrontare solo con un approccio abduttivo in cui il “testo” (il programma o il servizio oggetto di valutazione, gli operatori e quello che fanno, i minori e quello che dicono…) ha valore in quanto pragmatica: i beneficiari hanno bisogni, disagi, aspettative etc.; gli operatori hanno competenze, strumenti ed empatia.

La relazione pragmatica genera un’azione sociale zeroà1, con “1” continuamente cangiante e in costante adattamento secondo il procedere della relazione.

Non c’è un’alternativa. Ogni beneficiario esprime, diversamente nel tempo, bisogni diversi; ogni operatore reagisce, diversamente nel tempo, per dare la migliore risposta; il beneficiario ha quindi una nuova reazione, e così via secondo lo schema triadico proposto da Watzlawick (dove il ruolo della patologia relazionale è preso dalla complessità sociale, vedi sotto).

Il meccanismo (cit. Pawson) che valutativamente andiamo cercando, è quindi pragmaticamente da cercare nella triade implicata nella relazione, dove al classico schema stimolo-risposta (per esempio: il beneficiario chiede e l’operatore dà) si succede con una iterazione continuamente sottoposta a fattori esterni (seconda figura qui sotto), tali da rendere non facilmente prevedibile l’esito della relazione (o, più complessivamente, l’efficacia del servizio)

I fattori intervenienti agiscono modificando il discorso, quindi la relazione e la sua interpretazione, che abbandona i precedenti binari per adattarsi su un nuovo piano. Il succedersi di innumerevoli (e spesso non conosciuti) fattori intervenienti non rende mai chiaro l’esito dell’intervento (l’efficacia del programma).
Tornando quindi alla definizione di efficacia situazionale, si comprende ora come ciò che definiamo “servizio” (o “Programma”), “operatore”, “bisogno” e così via, siano tutte componenti variabili che esistono in quanto agiscono, e agiscono come la situazione rende possibile, non di più né di meno, non meglio né peggio.

5. Accenni alla pragmatica nella riflessione sul metodo

Solo come promemoria, anticipazione, prima mappa concettuale sul tema cruciale qui affrontato, che riguarda la pragmatica del linguaggio come punto di osservazione sul metodo della ricerca sociale, propongo quattro schemi tuttora in elaborazione ed evoluzione. Li offro senza commenti, in attesa di avanzamenti nella riflessione.

Sostenete questo blog

interamente autofinanziato.






Categories: Teoria della valutazione

Tags: , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: