Il paradigma della certezza in pratica

Il paradigma della certezza in pratica

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Perché le scienze sociali – valutazione inclusa – non sono discipline deboli

NOTA: con differenze minime e un titolo diverso questo testo è comparso nel volume curato da Alberto Marradi, Oltre il complesso d’inferiorità. Un’epistemologia per le scienze sociali, Franco Angeli ed., Milano 2016.

Prima di entrare nel merito del tema del [paradigma della certezza, tipico delle scienze “dure”, che così spesso mette in difficoltà le povere scienze sociali] occorre che specifichi che il mio osservatorio è quello della ricerca operativa in cui opero da quarant’anni; e in particolare quello della ricerca valutativa nella quale trovo la comunità di pratiche che mi induce alle osservazioni che seguono. Va sottolineato che ciò che descriverò come tipico nella comunità dei valutatori può essere differente da quanto si può riscontrare nella comunità degli accademici, e se così fosse (come io reputo) si aprirebbe la possibilità di un dibattito davvero interessante…

1. Alcune questioni di lessico. Devo sgomberare il campo da possibili equivoci lessical-concettuali: ‘misurazione’, ‘esperimento’ e ‘leggi’ – i tre concetti sui quali ha posto l’attenzione Marradi per mostrare il sillogismo scientista – sopravvivono anche nel mondo pratico che vi sto per descrivere ma in maniera diversa. Questo mondo pratico è costituito sostanzialmente da tre categorie di individui: i decisori che chiedono la valutazione (in generale dirigenti pubblici), gli operatori che gestiscono a vario titolo programmi e politiche e che potrebbero subirla e gli utenti, beneficiari degli interventi pubblici, che sono di interesse marginale per il discorso che dobbiamo affrontare. Oltre a questi tre gruppi i valutatori che realizzano la valutazione, una categoria composta sia da accademici che da professionisti in una percentuale che vede certamente la prevalenza di questi secondi senza però che gli accademici – in funzione di valutatori – siano da considerare eccessivamente minoritari, ché anzi influenzano parecchio, e non solo in Italia, la comunità valutatrice. Questa sottolineatura è rilevante in quanto non si può considerare il mondo dei valutatori avulso da quello degli scienziati sociali universitari; c’è permeabilità, c’è scambio, c’è costruzione a volte condivisa di lessici e di strumenti. Ciò premesso occorre precisare:

  • ‘misurazione’ è indubbiamente termine abbastanza comune in valutazione, con una notevole estensione semantica che copre prevalentemente i concetti di ‘rilevazione’, ‘acquisizione di dati e informazioni’ etc., e quindi ritroviamo esattamente quanto denunciato da Marradi;
  • ‘esperimento’ è termine di nicchia, proposto da pochi e specifici valutatori, come dirò più avanti; in generale si preferisce fare riferimento a un approccio controfattuale, di cui l’esperimento è parte; questo porta conseguenze rilevanti che ammorbidiscono non di poco il problema che ci stiamo ponendo, aprendone però degli altri (si vedrà più avanti);
  • ‘leggi’ non esiste in valutazione per ragioni abbastanza ovvie: il valutatore non è incaricato di verificare ipotesi e formulare leggi, ma di rispettare un mandato valutativo offrendo ipotesi di soluzione a un problema decisionale. Qui si annida la differenza fondamentale fra ricerca sociale e ricerca valutativa e ne ho già trattato altrove (Bezzi, 2010a); vale solo la pena sottolineare come a ‘leggi’ vengano a volte sostituiti termini quali ‘oggettivo’, ‘validazione’ e altri che possono avere una certa coestensione col, o derivazione dal, precedente.

2. Alcune questioni di competenze. Dobbiamo ora vedere cosa si muove nel panorama metodologico dei valutatori che, va rimarcato, non sono un gruppo sociologicamente ben definibile, non hanno un percorso formativo necessariamente condiviso, arrivano alla valutazione per strade assai diverse. Ciascun “valutatore” si porta il suo zainetto di esperienze, il proprio lessico, la propria presunzione di conoscere meglio di altri come si debba operare perché gli economisti sono migliori dei sociologi, perché gli statistici sì che sanno come si usano i numeri, perché solo i sociologi sono attenti agli aspetti qualitativi e via discorrendo. Occorrerà probabilmente un’altra generazione almeno perché lo scambio entro la comunità dei valutatori stemperi le reciproche arroganze e intanto le conseguenze sono rilevanti sul piano del metodo (e delle conseguenti pratiche, ovviamente). Assumendomi la responsabilità di una ipersemplificazione che farà molti torti e sarà probabilmente contestata da chi sto per chiamare in causa, propongo una mappa della comunità valutatrice rispetto al metodo.

Ciò che ho voluto rappresentare è questo: nel mondo pratico, nelle pubbliche amministrazioni, nei ministeri, Regioni etc., non esiste una questione di metodo: esistono le procedure, le norme, le gerarchie, le direttive politiche e, certamente, i problemi che devono essere risolti da professionisti che abbiano – loro – metodo, nel senso che per qualche ragione sono ritenuti affidabili (casomai perché hanno vinto il bando di gara di valutazione, che in sé non è elemento di affidabilità…). In questa terra incognita i professionisti dovrebbero difendere la cittadella del metodo e proporre la loro arte rispondendo alle richieste dei committenti. Nel mio disegnino ho grossolanamente diviso la cittadella in due parti, quella a sinistra riguarda la ricerca non standard e la destra quella standard. Ovviamente standard e non standard non significano scientismo (dove vive agiatamente il paradigma della certezza) e non scientismo ma, ahinoi, vedremo più avanti che qualcosina a che fare, in questo specifico contesto, ce l’hanno. Con una semplificazione necessaria all’esposizione, ed evitando digressioni sulle encomiabili eccezioni che esistono, vediamo quindi come:

1 – gli statistici presiedono inamovibili l’estrema destra della cittadella; generalmente non si spostano di un millimetro, considerano i loro metodi di investigazione gli unici veri efficaci possibili e raramente riescono a concepire un confronto con propositori (secondo loro) di mere chiacchiere (Bezzi 2011);

2 – gli economisti sono molto più flessibili, se non altro per la loro necessità di un confronto più articolato coi problemi posti dai committenti; in generale, però, tendono a diffidare delle chiacchiere sociologiche e sono più affini ai precedenti;

3 – i sociologi, anche se potenzialmente possono coprire un ampio territorio della cittadella, sono valutativamente acquartierati prevalentemente nell’area residenziale non standard, con differenze a volte sensibili inclusa quella di trovare colleghi fuori dalle mura, in pericolosi territori noti come “Terre dello Smetodo”;

4 – a cavallo fra metodo e smetodo ma – quando rigorosi – tendenzialmente aggrappati al lato destro della cittadella, gli epidemiologi e tutte le figure sanitarie che si occupano di valutazione (quasi esclusivamente nel loro settore);

5 e 6 – definitivamente nello Smetodo figure in parte residuali: assistenti sociali, pochi antropologi e praticanti di imprecisabile identità, salvo eccezioni molto qualitativi ma in termini ingenui (al numero 5 della mappa) e dirigenti e funzionari pubblici, insegnanti e altri pubblici dipendenti che si improvvisano valutatori anche seguendo bizzarre indicazioni ministeriali (n. 6).

3. Alcune questioni – assolutamente dirimenti – della pratica valutativa. La valutazione ha a che fare con problemi pratici per come descritti dai committenti (futuri utilizzatori della valutazione); le conseguenze – ai fini della discussione di questa nota – sono le seguenti:

  • i committenti non conoscono generalmente le questioni di metodo, e se le conoscono è peggio perché le hanno solo orecchiate e spesso equivocate (anche qui ci sono eccellenti eccezioni, ma sono rare);
  • i committenti vivono in un mondo di regole (atti amministrativi, leggi, delibere…) e numeri (i bilanci, gli indicatori richiesti da varie autorità…) e questo incide profondamente sul tipo di richieste che hanno e sulle domande valutative proposte ai valutatori;
  • i valutatori italiani non sono sempre così attenti al metodo come dovrebbero – paragrafo precedente – e troppo spesso trovano conveniente procedere con disegni di ricerca semplici (che poi significa poco costosi) che tendano ad accontentare i committenti. Se sono professionisti. Se invece sono accademici tendono a proporre concetti, teorie e pratiche estratte dal loro percorso universitario, coerenti con la scuola di pensiero cui aderiscono, utili per proporre una relazione al prossimo congresso, indipendentemente dal programma oggetto di valutazione.

Il combinato disposto di questi elementi produce un loop che in Italia è piuttosto deprimente: committenti con poca conoscenza propongono questioni semplificate alle quali i valutatori danno risposte banali che non aiutano i primi a fare percorsi di apprendimento organizzativo, a capire le potenzialità della valutazione, le ragioni del metodo e così via. Il senso di questo paragrafo è il seguente: fare poco e male accontenta tutti purché lo si possa etichettare come “scientifico”, e a questo punto vincono procedure tecniche economiche (nel senso di poco costose, che il professionista possa realizzare facilmente in poche giornate) purché accreditate dall’Accademia, o anche sofisticate se in grado di produrre materiali interessanti per la futura pubblicazione universitaria.

4. Una questione di marketing. L’Accademia è un potente veicolo di idee stereotipate sul metodo; accademici sono molti degli statistici che fanno valutazione col paraocchi controfattuale ma accademico è anche il “focus group”, una delle più colossali stupidaggini inventate dai sociologi che è stata però molto sostenuta proprio da accademici (in Italia almeno; Bezzi 2009a). Proprio in questi due esempi si può però vedere come possano avere successo (di marketing) valutazioni eccessivamente quantofreniche come valutazioni eccessivamente simili alle chiacchiere da bar, e questo ci consente di fare un balzo in avanti nell’argomentazione: sì, il paradigma certista sopravvive anche nella pratica valutativa, ma più come ombra, come precipitato non sufficientemente drenato, come ingenuo tentativo di aggrapparsi a concetti ritenuti più solidi, più appropriati, da parte di committenti ingenui sotto il profilo epistemologico (ma perché mai un dirigente pubblico dovrebbe essere robusto sotto questo profilo?). Ho visto non poche valutazioni – realizzate prevalentemente da sociologi – basate esclusivamente su meno di mezza dozzina di focus group; ed erano valutazioni di politiche regionali, quindi relative a problematiche e contesti complessi; nessun esperimento, nessuna misurazione e men che meno leggi; evidentemente il flusso che dal desiderio di valutare è arrivato sino a quel valutatore, passando forse per un bando, non ha imposto metodi quantofrenici, non ha aderito al questo contesto della certezza, si è mostrato disponibile ad approcci soft, a volte troppo soft, assolutamente svincolati dallo scientismo che potevamo immaginare onnipresente e onnipotente. Ciò che resta deprimente, a questo punto, è che solo raramente questo processo è frutto di scelte meditate; quel dirigente si è affidato a un consulente che, probabilmente, sapeva fare i focus group (o quella cosa che lui chiama focus group), mentre quell’altro è stato convinto ad accettare una complicatissima analisi multivariata di nessuna utilità pratica perché il suo consulente quello sa fare: elaborare numeri. Un’analisi attenta dei bandi pubblici di valutazione, che naturalmente spesso indicano percorsi, doveri, attese dell’amministrazione e, semmai, metodi obbligatori da mettere in campo, molto potrebbero dire su chi siano i consulenti d’ordinanza, ghost writer di quegli stessi bandi. 

5. Il caso specifico della valutazione “obbligatoria”. Fin qui si è descritto un mondo, certamente caotico e variegato, in cui la valutazione è sostanzialmente un esercizio creativo e libero (anche libero di esercitarsi male). Purtroppo non è sempre così perché una parte rilevante della valutazione praticata in Italia è soggetta a vincoli e obblighi a volte molto stringenti anche riguardo il metodo. L’esempio principe riguarda la valutazione dei Fondi Strutturali europei. Come è noto molti milioni di Euro sono spesi ogni anno in programmi di sviluppo industriale e agricolo, per la formazione e il sostegno di fasce deboli, la costruzione di infrastrutture e altre utilissime attività, con denari stanziati sulla base di accordi europei che vincolano la spesa e impongono la sua valutazione. L’intento è più che nobile, riguarda la trasparenza e la rendicontazione (in senso etico e politico) ma soffre di alcuni ineliminabili vizi originari; essendo necessaria la standardizzazione della valutazione (per gli usi anche comparativi che se ne intende fare a livello europeo) ci sono vincoli piuttosto stringenti sui metodi applicabili, un ampio uso di indicatori, la preferenza per una valutazione che “misuri”, piuttosto che una che “comprenda”. Anche se queste procedure, questi strumenti e questi indicatori sono in qualche modo concepiti in contesti esperti (accademici, o comunque della comunità di pratiche dei valutatori), il laminatoio della burocrazia europea, le origini sostanzialmente amministrative di questa valutazione (che inizialmente riguardava la giustificazione della spesa, non la sua efficacia) e le scorciatoie necessarie per adire una qualunque forma di comparazione, impone (a volte) soluzioni discutibili dove certamente il certismo fa capolino (relativamente agli abusatissimi indicatori rimando a Bezzi 2010b); in questo contesto si usa abbastanza normalmente il termine ‘misurazione’ e si propone volentieri l’‘esperimento’ (o più spesso un approccio controfattuale). Ciò che accade, comunque, è che si è costituita in questo ambito una cappa culturale che tende ad autogiustificarsi e riprodursi; al netto dei vincoli (che sono reali) non mancano spazi al valutatore creativo per proporre anche azioni non soggette ad alcuna restrizione, capaci di sottrarsi allo scientismo (che residua come sottoprodotto di una cultura amministrativa e di controllo), all’operazionismo (evidente in alcuni approcci, specie in usi davvero “bassi” degli indicatori) e al sillogismo di cui parla Marradi (come linguaggio gergale, prima ancora che come consapevole scelta epistemologica).

6. La valutazione è più evoluta e aperta di quel che appare in Italia; vale a dire: il paradigma della certezza è ormai residuale. Se i residui scientisti nella pratica valutativa italiana sono quindi dovuti alle competenze e alle teorie di riferimento di singoli valutatori, nella valutazione internazionale si respira un’aria assolutamente più interessante (e qualche refolo spira anche fin qui da noi). Per non appesantire questa nota menzionerò in estrema sintesi:

  • il paradigma qualitativo (assolutamente svincolato da questo paradigma) si è ormai largamente imposto in letteratura, nella pratica accettata, nelle comunità valutative e anche nei committenti; il paradigma quantitativo (dove permane ampiamente ma non totalmente il paradigma di cui stiamo discutendo) coesiste ma – a mio parere – con più scarso vigore;
  • emergono tematiche, anch’esse assai accreditate, relative all’integrazione fra metodi (che è il vero indicatore della reciproca accettazione) o anche di quei Mixed Method che sono, a mio avviso, la vera frontiera dell’epistemologia e conseguentemente della metodologia del nuovo millennio (Bezzi 2009b).

Se posso concludere con una nota biografica: non poche volte ho incontrato dirigenti pubblici intelligenti e colleghi preparati, e sono riuscito a proporre e poi realizzare le valutazioni che volevo: multimetodo, con elementi qualitativi e quantitativi, senza bisogno di misurare alcunché, senza che mi fosse chiesto di scoprire leggi e senza per forza dover fare esperimenti; e quando ho proposto io, nel mio disegno, una parte controfattuale, è stata una mia scelta; diverse volte sono riuscito a innovare, proponendo soluzioni nuove a problemi di ricerca valutativa, riscontrando che erano ben accetti dai committenti e da molti colleghi della mia comunità di valutatori.

6. Conclusioni. Se la mia esperienza è stata correttamente descritta, se le mie percezioni sono sufficientemente esatte, potrei concludere che no, nel mondo pratico che io frequento il paradigma della certezza proposta con arroganza e in maniera definitiva non esiste più se non nella misura in cui è proposto, suggerito e a volte imposto da una serie di circostanze che hanno il valutatore al centro: la sua preparazione, la sua scuola di riferimento, la sua convenienza immediata. Se resiste ancora nel mondo accademico, nel modo descritto da Marradi, questo arriva nel mondo valutativo in maniera limitata e fortemente mediata dagli intellettuali e dai ricercatori (ricordo: in discreta parte accademici) che si propongono come valutatori. A me pare che più spesso la presenza di questo atteggiamento sia la stanca e in parte casuale combinazione di un dirigente che crede di adeguarsi a un modo corretto di affrontare i problemi e un valutatore che accondiscende per mancanza di fantasia; solo in alcuni casi, fra valutatori residenti nel lato destro della cittadella vista sopra, c’è una reale convinzione della primazia di una determinata epistemologia, che include il sillogismo e che esita poi in determinati disegni valutativi, nella preminenza di certi metodi e tecniche. E poiché costoro – come già ricordato – sono spesso accademici, rinforzano a volte la convinzione, nei destinatari della valutazione, che quello sia il linguaggio giusto, che viene accolto e semmai scimmiottato senza comprenderne le conseguenze. 

Opere citate

Bezzi Claudio

2009a L’inarrestabile fortuna del focus group in Italia, in “RIV – Rassegna Italiana di Valutazione”, a. XIII, n. 43/44, pp. 201-215;

2009b Metodi misti in valutazione, in https://bezzicante.files.wordpress.com/2014/05/metodi-misti-in-valutazione.pdf

2010a Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano (1^ ristampa 2014);

2010b Indicatori senza pensiero, in Claudio Bezzi, Leonardo Cannavò e Mauro Palumbo, “Costruire e usare indicatori nella ricerca sociale e nella valutazione”, Franco Angeli, Milano (1^ ristampa 2013);

2011 La superfetazione controfattuale, in https://bezzicante.files.wordpress.com/2014/05/la-superfetazione-controfattuale.pdf

Sostenete questo blog

interamente autofinanziato.






Categories: Metodo

Tags: ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: