La valutazione pragmatica

Offro in anteprima una riflessione complessa, che sto portando avanti da non poco tempo e che è ancora lontana dall’essere conclusa, o anche solo parzialmente soddisfacente. Ringrazio in anticipo coloro che vorranno mandarmi loro osservazioni.

Il problema della definizione di ‘efficacia’ in casi valutativi particolari

In certi casi troviamo soluzioni efficaci ai nostri problemi metodologici se cerchiamo soluzioni in casi estremi. Sforzandoci di definire il contesto e la natura del caso estremo, ci troviamo costretti a pensare al metodo necessario per esplorare tale natura e trarre informazioni in quel caso che, passate tali forche caudine, può con più facilità essere proposto in contesti differenti. Per esempio: gli approcci controfattuali nascono per la necessità di definire, in maniera netta, l’efficacia di interventi pubblici in cui è prevedibile l’intervento di molteplici fattori intervenienti (o moderator secondo la definizione di Dahler-Larsen, 2001); a partire da quella necessità si è fatta chiarezza sul concetto di efficacia e si sono prodotti strumenti differenti per contesti diversi. Sul piano concettuale un caso estremo riguarda |complessità|; sul piano epistemologico la proposta di mixed method. Solo solo esempi. Un caso di contesto estremo, in cui misurare la nostra capacità di un’immaginazione metodologica riguarda per esempio servizi di primo livello per minori stranieri (qui in breve: SPL).

Alcune caratteristiche relative a questi servizi, per comprendere il problema metodologico: SPL è un servizio a bassa soglia rivolto a minori stranieri non accompagnati (MSNA) che si propone la protezione dei minori in senso abbastanza ampio: risoluzione dei bisogni primari immediati, informazione legale, disponibilità all’ascolto e tentativi “morbidi” di togliere i minori dalla strada costituiscono la base minima dell’intervento di SPL; se il minore concede fiducia agli operatori trova poi un luogo fisico dove incontrare coetanei, adulti preparati che offrono corsi di italiano necessari per proseguire un percorso strategico: scuola, diploma, permesso di soggiorno al 18° anno e, sperabilmente, un lavoro. Chi vuole può svolgere altre e diverse attività laboratoriali. La sfida metodologica riguarda la valutazione dell’efficacia del SPL (del modello “SPL” e dei singoli centri già esistenti in diverse città).

Prima di qualunque riflessione sulle tecniche utili per la rilevazione dell’efficacia, occorre naturalmente definire cosa sia ‘efficacia’ in questo particolare contesto dove, dopo ampie verifiche e accertamenti, si è potuto riscontrare che:

  1. il decisore che ha voluto tali servizi ha ben chiaro cosa il SPL debba fare, in quanto servizio a bassa soglia, ma è in grado di esprimere cosa debba intendersi con ‘efficacia’ solo con esemplificazione di casi o con astrazioni (capiremo man mano perché, non trattandosi affatto di un limite superabile con interviste più insistenti);
  2. gli operatori dei SPL operano con una base identica (quella di bassa soglia) e poi con modalità diverse (per quanto riguarda le attività laboratoriali e altro) anche perché nati da storie differenti nelle varie città;
  3. il concetto di ‘protezione’ non aiuta a suggerire definizioni, in quanto varia dalla mera cura fisica (cibo, salute…) all’integrazione intesa come una modalità specifica dell’essere protetti;
  4. i flussi migratori (e di richiedenti asilo) mutano rapidamente e con caratteristiche sempre differenti;
  5. le diverse nazionalità – in relazione alla problematica del flusso e delle sue ragioni – hanno caratteristiche diverse e non riducibili a caratteristiche minime. Per esempio gli eritrei vanno a SPL ma non intendono partecipare a nulla, perché in attesa della relocation (QUI il significato; QUI i dati); come “valutare” la risposta apparentemente apatica degli eritrei a fronte, per esempio della dinamicità degli egiziani?
  6. singoli individui, di stessa nazionalità e storia simile, hanno storie molto differenti: da un subitaneo desiderio di formazione all’interno di quella che appare una strategia emancipativa, alla vita vissuta giorno per giorno alla ricerca di espedienti;
  7. a seconda del momento gli stessi ragazzi possono dire cose molte diverse. Non crediamo che ciò dipenda da altro che da un problema di comunicazione; il linguaggio di questi minori – come stiamo per precisare meglio – non può essere oggetto di mera interpretazione sintattica perché ha strettamente a che fare col vissuto, anche immediato. Quelle che possono apparire “contraddizioni” sono quindi reazioni al contesto, con espressioni linguistiche non necessariamente da intendere “alla lettera”.

Questi sette punti esemplificano in maniera abbastanza arida una congerie di storie di vita dove si trovano casi di ragazze (semmai incinte e divise – causa relocation – dal compagno, e ricordo che si tratta di minori); episodi psichiatrici; fortunati incontri iniziali col giusto operatore oppure devastanti abbandoni; vita di strada; abusi; profondi sensi di colpa per il debito contratto dalla famiglia per farlo migrare; storie di percorsi migratori durati mesi e anni attraverso paesi in guerra (e stiamo sempre parlando di minori, semmai fuggiti quando i nostri coetanei iniziano ad andare alle scuole medie) e così via.

Occorre aggiungere che nessuna lingua è perfettamente traducibile. Per esempio l’uso di metafore e altre figure retoriche, molto utilizzate in italiano, risulta di difficile comprensione per molti minori; è noto che le modalità di astrazione, di generalizzazione, di classificazione sono differenti in ambiti culturali e linguistici differenti (cfr. la classica e storica ricerca di Luria) rendendo più improbabile ogni tentativo di definire – assieme ai minori – cosa sia per loro ‘successo’ e ‘insuccesso’, ‘strategia’ e ‘progetto’ e, in definitiva, cosa sia efficacia. 

Quindi: come definire l’efficacia? Ecco alcuni possibili modi che risultano fortemente inadeguati:

  • stimare i partecipanti a un qualche corso o laboratorio rispetto al totale dei MSNA presenti in città: non è possibile perché il continuo cambiare dei flussi renderebbe troppo vaga la stima dei presenti; per i partecipanti, comunque, vale la prossima indicazione;
  • contare quanti tornano a SPL dopo una prima esperienza, considerandolo un indicatore positivo; a parte che sarebbe un indicatore discutibile non avendo valori soglia al quale rapportarlo, i minori potrebbero non tornare per ragioni non dipendenti dalla loro volontà (per esempio il trasferimento in un centro di accoglienza più distante che rende complicato muoversi) senza che gli operatori ne siano informati;
  • chiedere ai minori cosa pensano della struttura, se soddisfa i loro bisogni e via discorrendo. Sarebbe la peggiore delle soluzioni. Oltre a ogni critica già nota a ogni forma di valutazione basata sul giudizio degli utenti (cosiddetta customer satisfaction), questi ragazzi scappano dalla miseria quando va bene, e dalla guerra nei casi peggiori; interrogati in merito solitamente si dicono soddisfattissimi dell’Italia e del lavoro del centro perché la distanza con gli orrori sperimentati è abissale; e, in ogni caso, si tratta di dichiarazioni sotto l’egida del punto 7 visto sopra;
  • sono in teoria possibili approcci etnografici o micro-sociologici, osservazione partecipante etc. che – oltre a non risolvere parte dei problemi già visti e ad avere costi altissimi – resterebbe meramente descrittiva e inadatta a una prospettiva valutativa;
  • l’unico approccio potenzialmente realizzabile è un’analisi longitudinale che segua un gran numero di minori negli anni; un approccio chiaramente inimmaginabile per i costi e con risultati, per quanto interessanti, che non escluderebbero alcuni dei problemi che stiamo per affrontare.

Perché non riusciamo a dare una definizione

Avanzo la proposta che la difficoltà definitoria non sia nell’oggetto di studio ma nello strumento linguistico utilizzato per la sua definizione. Il problema della definizione (qualunque) riguarda il livello sintattico del discorso che viene generalmente dato per condiviso da tutti i parlanti consimili per educazione, competenze, esperienze e così via. Se per esempio dicessimo:

I bambini sono da considerare idonei a mangiare il cibo da soli quando sanno arrotolare gli spaghetti con la forchetta

ci rivolgeremmo a parlanti occidentali (probabilmente italiani ma questo può non essere chiaro) di classe media (perché c’è un riferimento implicito a una “buona maniera”) escludendo molti altri popoli (in Cina l’analogo riferimento potrebbe riguardare il saper mangiare il riso con le bacchette) e così via. In realtà poi la frase ha diversi livelli di ambiguità: il termine ‘idonei’ a cosa si riferisce? Idonei per mangiare a casa, per andare al ristorante, per non sfigurare con gli amici? E comunque gli spaghetti si possono mangiare anche in altri modi, sia pure considerabili “scorretti” solo a partire da uno schema mentale assai ben definito e stereotipato.

Il livello lessicale crea facile condivisione solo a patto di lasciare ampi margini oscuri e non argomentati. Ma anche il livello semantico può essere ingannevole e inadatto. Anche se tale inadeguatezza è universale, per ragioni che qui al momento non affrontiamo, i nostri MSNA provengono da culture così differenti che diventa impossibile pensare alla condivisione di una qualsiasi semantica. Senza scomodare Whorf è facile constatare dalle loro testimonianze lo “stupore” (in positivo o in negativo, anche se prevalentemente in positivo) per la vita in Occidente, declinata in maniera assai diversa da ciascuno di loro. Ma anche gli operatori hanno culture diverse, anche se in questo caso si tratta di culture professionali, di conoscenze tacite e lessici condivisi, e agende distinte fra gli operatori dei tre SPL e, ovviamente, distinte da quelle del vertice decisionale. Le culture professionali piegano la visione del servizio, dell’utente, etc. “laminandole” in un determinato modo, come un imprinting particolare e potente. Anche se il livello semantico è enormemente più approfondito e utile di quello lessicale, è in ogni modo complesso e sfuggente e difficilmente analizzabile (se non ancora a un livello semantico, ma ciò genera una ricorsività infinita).

Quel che si intende affermare qui è che non esiste la possibilità di una definizione di ‘efficacia’ del SPL, se con definizione si intende

L’atto, il fatto, il modo di definire, di determinare cioè il significato di una parola o comunque di una espressione verbale mediante una frase (il più possibile concisa, e comunque completa) costituita da termini il cui significato si presume già noto, così da individuare di quella parola o espressione le qualità peculiari e distintive, sia con l’indicarne l’appartenenza a determinate specie, generi, classi, ecc., sia col rilevarne funzioni, relazioni, usi, ecc. (Vocabolario Treccani).

Ciò che intende il vocabolario noi chiamiamo intensione ed estensione del concetto che, nel caso dei bambini che mangiano con la forchetta, possiamo esprimere così:

intensione estensione bambini spaghetti.001

La definizione sintattica sarebbe quindi:

 

Bambini che sanno arrotolare gli spaghetti = bambini occidentali, presumibilmente italiani, di classe media e senza particolari problemi dietetici e di manualità, che a partire dai 4 anni circa sanno mangiare gli spaghetti con la forchetta secondo gli standard tipici della classe media.

Una definizione di questo genere per ‘efficacia del SPL’, come si è visto, non è possibile, la qual cosa ci riporta al problema iniziale.

Nel caso di SPL l’estensione e l’intensione del concetto ‘MSNA’ possono essere definite a patto di riconoscere la continua variabilità e approssimazione di entrambe mentre, nel concetto di ‘efficacia’ (dell’intervento di SPL sui MSNA) l’estensione può essere definita solo in termini osservativi (sono MSNA tutti quelli conosciuti da SPL più quelli ragionevolmente ipotizzati), come l’intensione (sono caratteristiche dei MSNA tutte quelle realmente verificate), e quindi il concetto – come già detto cangiante – è ex post, basato sul risultato di un’osservazione. Il contrario di una definizione ex ante, stabilita per consentire l’osservazione.

Introduzione a una pragmatica del metodo

Stabilito che il problema è nel discorso e non nell’oggetto, e che sintattica non produce risultati utili, occorre cercare un altro livello linguistico che permetta una comprensione migliore e una possibile definizione di ‘efficacia’. Per ragioni in parte già rammentate la semantica in gruppi multiculturali riesce più facilmente a confondere ulteriormente i concetti anziché chiarirli. ‘Benessere’, per esempio, è inteso diversamente fra operatori con culture professionali differenti e ancor più diversamente da nativi subsahariani, asiatici eccetera. Così qualunque altro, ‘protezione’, ‘fiducia’, ‘progetto di vita’ e, evidentemente, ‘efficacia’. Ci rendiamo conto che la semantica è uno strumento assai evocato ma ugualmente inefficace. Cerchiamo di capire il perché con una serie di immagini a carattere simbolico ed evocativo.

Primo gruppo di immagini: la realtà non è vissuta ugualmente da ciascuno (le prossime figure sono adattamenti di quelle rinvenibili su Valutazione.blog – Clic per allargare la figura).

La sintattica, come detto, è eccessivamente limitata ma la semantica, pur esplorando più  a fondo le differenze entro la percezione del concetto, può condurre i diversi attori a convergere verso una dichiarazione di identità di senso falsa (secondo gruppo di immagini).

“Falsa”, in effetti, non è termine corretto. Diciamo che, trovandosi i vari attori in un gruppo  di lavoro col mandato di cercare una definizione condivisa, questa viene soventemente trovata semplicemente allargando lo spazio semantico del concetto medesimo (ciò significa una risalita lungo la scala di generalità), in modo che includa la maggior parte del senso prodotto da ciascuno (o, detto in altri termini, che copra semanticamente i diversi indicatori espliciti o non espliciti che costituiscono, diversamente, il concetto di ciascuno). L’area rossa in basso della terza figura qui sopra mostra, pittoricamente, l’ampliamento della medesima area disegnata subito sopra.

Questa modalità di “condivisione” è molto utilizzata nella ricerca valutativa per stabilire una convergenza utilizzabile come concetto definito dagli attori, e quindi di per sé “valido”. Sotto un certo profilo le motivazioni non sono errate, ma non si tiene conto del fatto che ampliamento del campo semantico significa minore intensionalità (e conseguentemente maggiore estensionalità) mutando così, di fatto, la natura del concetto originariamente posto al centro dell’indagine.

Non può restare che un terzo livello di analisi del concetto, quello pragmatico. L’analisi pragmatica prescinde da qualunque obbligo di condivisione e tiene conto dell’uso reale delle parole da parte degli attori sociali. Tale uso può riflettere concetti che sono in parte semanticamente “coperti” ugualmente dai parlanti, in parte coperti solo in certi settori (vale a dire che alcune dimensioni e indicatori sono coestesi, altri no), e in parte completamente differenti, come mostra la prossima figura.

sintattica e semantica nei gruppi.007

Se, come argomentato fin qui, in una situazione complessa quale quella qui presentata, non riusciamo a definire il concetto di ‘efficacia’ per un limite del nostro approccio linguistico, cerchiamo di trovare un approccio diverso, un diverso strumento. La pragmatica del linguaggio:

  • non impone convergenze e condivisioni e accetta le diverse espressioni linguistiche per quello che sono;
  • comprende e accetta che culture locali (macro come quelle etniche e micro come quelle professionali) permangano separate nel senso espresso, perché originate da contesti differenti e irriducibili;
  • osserva l’uso dei concetti e ne inferisce delle “teorie di medio raggio” (Merton) per azioni locali;
  • non insiste sulla “definizione” dei concetti ma li esperimenta per come si rivelano.

Portare questo approccio pragmatico in valutazione ci costringe a pensare in modo nuovo.

Proposta di un concetto di “efficacia situazionale”

Il valutatore non può rinunciare al concetto di efficacia e non può adagiarsi sull’inutile e fuorviante efficacia lorda. Ma, come visto, l’efficacia netta è inafferrabile per la magmaticità e opacità del contesto, i mille percorsi dei MSNA, la mancanza di dati, registrazioni e documenti che possano certificare le storie individuali.

Occorre fare un passo laterale.

Definiamo efficacia situazionale quella desumibile dalla presenza di un agire comunicativo fondato sull’ascolto e la relazione, il cui senso è riscontrabile dalla retroazione dei soggetti destinatari, in un contesto in cui la complessità sociale non consente una rilevazione o una stima dell’efficacia netta al di fuori del rapporto zero1, dove “zero” significa mancanza di relazione e “1” significa qualunque relazione.

Nell’efficacia situazionale sono possibili due condizioni:

  • zero = il servizio non esiste, o non esiste in merito alla prestazione osservata (nel caso di questo servizio, per esempio: non si fa protezione ma solo informazione);
  • 1 = esiste la prestazione e si registra una reazione.

La relazione pragmatica genera un’azione sociale zero1, con “1” continuamente  cangiante e in costante adattamento secondo il procedere della relazione.

Perché 0→1? Perché il livello pragmatico che abbiamo adottato ha a che fare con l’uso del linguaggio (funzione illocutoria del linguaggio); o la conseguenza è generata oppure no; l’intenzionalità del decisore è creare una rete di protezione dei MSNA, consapevole dei molteplici livelli e forme di tale protezione, inclusa la mancanza di successo (minori non intercettati, minori che rifiutano l’aiuto…). Il “discorso”, qui, è l’atto pragmatico generato dagli operatori (accoglienza, ascolto, informazione…) cui può conseguire una reazione (ti ascolto, mi fido, imparo… cambio) oppure no. La reazione – che implica una trasformazione nel comportamento del minore – è sempre diversa, non standardizzabile e non prevedibile, ma registrabile con tecniche osservative ex post.

L’aggettivo |situazionale| è stato scelto per come inteso in linguistica e in antropologia:

Il contesto situazionale potrebbe dunque definirsi come il contesto extra-testuale di un testo, suggerendo così che, per interpretare correttamente un messaggio, è necessario comprendere sia gli indizi linguistici sia quelli legati alla situazione, identificando con precisione l’ambiente comunicativo in cui si inserisce il messaggio stesso. […] Conoscere il contesto situazionale, quindi, implica interpretare il linguaggio in modo appropriato in relazione al contesto sociale, acquisendo quella che Hymes chiama “competenza comunicativa”, ossia quella facoltà che permette al parlante di sapere “when to speack, when not and […] what to talk, about with, whom, when, where and in what manner”. (Michela Canepari, Linguistica, lingua e traduzione. Vol. 1 – I fondamenti, Libreria universitaria.it edizioni, Padova 2016, pag. 106).

Le componenti di un’indagine situazionale includono i partecipanti e l’ambiente, l’intento comunicativo e il suo effetto.

Non sfuggirà che ‘efficacia situazione’ altro non è che il concetto di ‘efficacia’ osservato con strumenti di pragmatica del linguaggio in chiave di ricerca valutativa.

L’efficacia situazionale è innanzitutto constatazione di una complessità non riducibile, in modo soddisfacente, con l’approccio deduttivo tipico della ricerca sociale per variabili (il cosiddetto paradigma lazarsfeldiano); vale a dire: non è possibile dedurre gli indicatori sui quali costruire l’analisi.

In secondo luogo non appare perseguibile l’approccio inferenziale induttivo partendo dai casi, sempre eterogenei e scarsamente generalizzabili.

L’efficacia situazionale si può affrontare solo con un approccio abduttivo in cui il “testo” (il servizio erogato, gli operatori e quello che fanno, i minori e quello che dicono…) ha valore in quanto pragmatica: i minori hanno bisogni, disagi, aspettative etc.; gli operatori hanno competenze, strumenti ed empatia.

Non abbiamo accostato casualmente i tre livelli di analisi linguistica (sintattica, semantica e pragmatica) alle tre classiche inferenze (deduzione, induzione e abduzione); anzi, entrando sempre di più entro una dimensione epistemologica, dobbiamo osservare anche una analoga corrispondenza fra tipi di indicatori, come sommariamente indicato nella prossima figura (tratta da Bezzi, in Bezzi, Cannavò e Palumbo, 2010).

3 - Indicatori e Paradigma lazar mag 2014

Non c’è un’alternativa. Ogni minore esprime, diversamente nel tempo, bisogni diversi; ogni operatore reagisce, diversamente nel tempo, per dare la migliore risposta; il minore ha quindi una nuova reazione, e così via secondo lo schema triadico proposto da Watzlawick (dove il ruolo della patologia relazionale è preso dalla complessità sociale, vedi sotto).

Il meccanismo (cit. Pawson) che valutativamente andiamo cercando, è quindi pragmaticamente da cercare nella triade implicata nella relazione, dove al classico schema stimolo-risposta (per esempio: il minore chiede e l’operatore dà) si succede con una iterazione continuamente sottoposta a fattori esterni (i cosiddetti moderator, terza figura qui sotto, sempre rinvenibile, in forma simile al link sopra indicato), tali da rendere non facilmente prevedibile l’esito della relazione (o, più complessivamente, l’efficacia del servizio – Clic per allargare la figura).

 

I fattori intervenienti (qui sopra chiamati moderator) agiscono modificando il discorso, quindi la relazione e la sua interpretazione, che abbandona i precedenti binari per adattarsi su un nuovo piano (prima figura qui sotto). Il succedersi di innumerevoli (e spesso non conosciuti) fattori intervenienti non rende mai chiaro l’esito dell’intervento (l’efficacia del servizio) seconda figura qui sotto.

A titolo di esempio fra i fattori intervenienti possiamo indicare:

  • dal lato dei minori:
    • nazionalità;
    • religione;
    • cause razionalizzate della migrazione;
    • livello scolastico;
    • quadro personologico;
    • livello della SPTS;
  • dal lato degli operatori:
    • competenza;
    • preparazione;
    • empatia e distacco;
    • burn out;
  • dal lato organizzativo del decisore:
    • progettualità;
    • budget;
    • supervisione e formazione degli operatori;
    • ruolo nella Rete;
  • dal lato ambientale:
    • “momento storico”;
    • qualità e rete dei servizi;
    • stereotipi locali;

Tornando quindi alla definizione di efficacia situazionale, si comprende ora come ciò che definiamo “servizio”, “operatore”, “bisogno” e così via, sono tutte componenti variabili che esistono in quanto agiscono, e agiscono come la situazione rende possibile, non di più né di meno, non meglio né peggio.

L’azione è predefinibile solo come cornice generale, mentre la reazione può essere verificata ex post.

L’efficacia è quindi ciò che scaturisce dall’incontro fra l’azione degli operatori e la reazione dei minori alla luce degli innumerevoli moderator intercorsi.

Quale valutazione dell’efficacia situazionale?

La risposta valutativa in questo caso deve abbandonare le pretese razionalistico-deduttive fondate su a priori stabiliti ex ante. Non che non si possano applicare, ma il risultato, più che modesto, sarebbe falso, nel senso di non corrispondente alla realtà rinvenibile con approcci metodologici pragmatici.

Oltre ad approcci etnografici già menzionati, occorre in questi casi reinventare il metodo, farlo uscire dalle logiche deduttive positiviste nel cui alveo è nata e percorrere nuovi sentieri. Pensare al linguaggio come a un metodo, e quindi adattare le tecniche all’esplorazione pragmatica.

In questa nota propongo solo una figura d’insieme a forte carattere simbolico, riservandomi interventi successivi per approfondimenti sul lato del metodo e delle tecniche.

Matrice disegno val CZ

Riferimenti disponibili per approfondimenti

Titolo Link
Il metodo siamo noi http://sociologicamente.it/il-metodo-siamo-noi/
Tecniche e formato informativo dei dati http://sociologicamente.it/tecniche-e-formato-informativo-dei-dati/
I numeri sono un linguaggio http://sociologicamente.it/i-numeri-sono-un-linguaggio/
Perché la valutazione è migliore se è partecipata https://bezzicante.files.wordpress.com/2014/06/perchc3a9-la-valutazione-c3a8-migliore-se-c3a8-partecipata.pdf
Tutto quello che è decidibile è sempre valutabile? Dipende… https://bezzicante.files.wordpress.com/2017/05/tutto-quello-che-c3a8-decidibile-c3a8-sempre-valutabile.pdf
Appunti generali preliminari di valutazione della comunicazione pubblica https://bezzicante.files.wordpress.com/2014/06/appunti-generali-preliminari-di-valutazione-della-comunicazione-pubblica.pdf
La valutazione complessa https://valutazione.blog/2017/08/13/la-valutazione-complessa/


Categorie:Valutazione

Tag:, , , , , ,

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

%d blogger hanno fatto clic su Mi Piace per questo: