Efficacia ed efficienza degli effetti del programma: una nomenclatura

Efficacia ed efficienza degli effetti del programma: una nomenclatura

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

Usiamo i termini giusti

Di cosa si occupa la valutazione, se non di verificare, indagare, controllare, “misurare” (?), stimare, l’efficacia dei progetti, programmi e politiche? Esiste solo l’efficacia, se intesa in senso ampio, lato. Volendo essere appena più raffinati diciamo: efficacia ed efficienza. Solo se proprio siamo cavillosi utilizzeremo altri termini quali equità, sostenibilità, accuratezza, disponibilità e una quantità di altri che troverete – nel Glossario – alla voce criteri di valutazione. Ma sono sofismi, buoni per riempire pagine di libri. In realtà la valutazione si occupa di declinazioni specifiche dell’efficacia (e semmai dell’efficienza) del programma. Una differenziazione più rilevante è semmai quella fra efficacia interna ed esterna; o fra efficacia netta o lorda. O, ancora, potremmo parlare di effetti imprevisti (che possono comunque essere efficaci, ma spesso non lo sono) o di effetti attesi (con la loro efficacia) e mai arrivati.

Per chiarire questi concetti propongo quattro figure che hanno a che fare col ciclo di progettazione e realizzazione dei Programmi. Le figure riportano una nomenclatura spero utile e chiara.

La prima figura esemplifica un contesto sociale pre intervento. E’ il momento in cui in un contesto, degli attori sociali esprimono un bisogno che sensibilizza un determinato ambito. Direttamente o indirettamente il bisogno diventa istanza, proposta, e si trasforma in un’idea di politica, programma o progetto. (Tralascio il discorso sull’effettiva congruenza fra bisogno in qualche modo “reale” e bisogno come interpretato dagli attori pertinenti (decisori, progettisti…); su questo tema si veda un precedente post.

La valutazione, se attivata in tempo, è già al servizio dei decisori e dei progettisti per aiutarli a verificare se l’intervento è realizzabile, in che termini, con quali aderenze alle richieste reali del contesto e così via.

I processi, assai più complessi di quanto qui sintetizzato, partono spesso (ma non necessariamente) da bisogni reali che vengono rappresentati direttamente da chi le esprime o da altri attori titolati a rappresentare le loro istanze (per esempio sindacati, ONG, volontariato…). In generale queste richieste sono inscrivibili in uno specifico settore di intervento (sanità, sviluppo industriale, territorio…) in cui la pubblica amministrazione interviene con politiche, programmi e progetti.

E’ quindi all’interno di politiche preesistenti (o da realizzare) e di programmi che si possono realizzare nuovi progetti atti a dare una risposta al problema.

La valutazione è già un’opzione raccomandata perché può aiutare decisori, programmatori e progettisti sia nell’analisi del contesto che in una più articolata valutazione ex ante, volta a definire la dimensione del problema, la fattibilità della risposta che il decisore e il programmatore hanno in mente, la possibile risposta della popolazione target e altre questioni preliminari di assoluta importanza per evitare partenze frettolose ma inidonee a dare la giusta risposta.

La seconda figura si concentra sul processo decisionale e l’implementazione dell’intervento.

L’area in basso della figura mostra gli effetti attesi dal decisore e dal programmatore, in termini di realizzazione, risultati e impatti. Sono effetti ‘attesi’ (e non ancora reali) perché siamo in una fase preliminare in cui, dati certi problemi, si immagina di ottenere delle risposte positive grazie al Programma realizzato. Questo punto è estremamente importante perché ci introduce il concetto di Teoria (o logica) del Programma. Stiamo infatti parlando delle idee per le quali, a una certa azione progettuale-programmatoria, dovrebbero seguire determinati effetti. Perché? Anche se spesso implicite, nella mente dei decisori e programmatori ci sono delle idee (economiche, sociali, …) sul funzionamento del Programma; ci sono ipotesi causali (facendo A si otterrà B) e condizionali (facendo A, qualora sussista B, allora C) e via di seguito. Queste idee e teorie possono essere basate su letteratura scientifica, conoscenza empirica, conoscenze tacite anche sostenute da emozioni e sensazioni non sempre chiaramente esplicitabili ma sono il vero corpo del Programma, come avremo modi di vedere più avanti. Esiste anche una Teoria dell’implementazione, che può essere intesa, in qualche modo, come inclusa nella precedente, ma che è bene segnalare perché un’ottima teoria del programma (buona individuazione delle cause del problema, buona idea sulle risposte da mettere in campo) può seguire, purtroppo, una cattiva implementazione con un conseguente fallimento – semmai parziale – dell’intervento. Il valutatore naturalmente deve saper distinguere fra errori nella teoria del Programma ed errori nell’implementazione.

Sulla base di queste attese si immagina di mettere in campo delle realizzazioni, ottenere dei risultati e, infine, dei più generali impatti che agiranno sulla popolazione target risolvendo almeno in parte il problema iniziale. La distinzione fra realizzazioni, risultati e impatti è molto rilevante in valutazione perché questi tre livelli retroagiscono a livello di metodo e di rendicontazione (per esempio nella costruzione di indicatori).

Nella precedente figura i risultati e gli impatti ipotizzati agiscono sul target; quelle azioni sono indicate col termine meccanismi, altro concetto importante in valutazione che esprime come e perché un’azione (della Programmazione) ha avuto oppure no un effetto positivo sulla popolazione. I meccanismi sono gli elementi che spiegano il funzionamento (o il mancato funzionamento) di un Programma.

A questo punto si procede all’implementazione del Programma (suo avvio operativo).

La valutazione assume qui particolare rilevanza per analizzare il processo implementativo ed operativo: l’azione progettata viene ben eseguita? Si risponde adeguatamente a quanto previsto dal Programma? Gli utenti rispondono come immaginato? In generale la valutazione di processo coincide con quella che viene comunemente chiamata valutazione in itinere (“di processo” indica l’oggetto; “in itinere” indica tempi e modalità valutative). La valutazione in itinere ha essenzialmente obiettivi correttivi, formativi per gli operatori, di miglioramento della qualità del servizio o intervento, di guida per i responsabili e non va confusa con la valutazione intermedia – tipica di grandi programmi finanziati con fondi europei – che si realizza più o meno a metà del Programma.

Questa figura è importante perché mostra due tipici “incidenti” della implementazione di programmi. La presenza di variabili intervenienti e la comparsa di effetti inattesi e indesiderati.

La programmazione è sempre un’ipotesi, una scommessa; per quanto la teoria del Programma sia accurata e i meccanismi adeguatamente individuati, la complessità sociale rende impossibile immaginare quante e quali sollecitazioni, interventi, reazioni, variabili (anche non chiaramente individuabili) sollecitino il medesimo contesto e il medesimo target. Il nostro Programma, in sostanza, entra in competizione con molteplici e spesso ignote altre azioni che possono modificare in meglio o in peggio il nostro intervento; a volte ci aiutano; più spesso no. E l’intervento da noi immaginato può conseguentemente produrre effetti indesiderati; a causa di queste interferenze, ma anche a causa di una cattiva teoria del programma o di una cattiva implementazione.

Procedendo nel processo realizzativo, dopo eventuali correzioni, si possono incominciare a vedere gli effetti reali del Programma.

 

Entriamo nel campo principale della valutazione, quella chiamata a rendicontare i successi e gli insuccessi: la valutazione ex post. Notiamo che indichiamo qui quella definizione del Mandato (che vedremo approfonditamente nel prossimo capitolo) che, in realtà, è sempre presente come fase fondamentale della valutazione, incluse la ex ante e quella in itinere.

Ora il valutatore ha un quadro più chiaro degli effetti del Programma ed è chiamato, a seconda del Mandato, a documentarne l’efficienza, l’efficacia (da distinguere fra interna ed esterna) o gli impatti. Con in più l’importante questione degli effetti netti.

Come si vede in figura alcuni di questi concetti riguardano l’organizzazione, o l’implementazione, o la teoria del programma, o altro. Lo schema che segue può essere d’aiuto per districarsi fra questi fondamentali concetti valutativi:

Se interessa

Allora parliamo di

La teoria del programma

Efficacia esterna

La teoria dell’implementazione

Efficacia interna

L’implementazione effettiva

Efficienza (realizzazioni)

La gestione, le capacità degli operatori…

Efficacia interna

Le realizzazioni

Efficienza e, secondariamente, l’efficacia interna

Se i risultati o gli impatti sono coerenti con la programmazione

Efficacia interna

Se i risultati o gli impatti sono coerenti coi bisogni espressi

Efficacia esterna

Se i risultati o gli impatti sono netti o lordi

Efficacia esterna e, secondariamente, interna

Sostenete questo blog

interamente autofinanziato.






Categories: Lessico

Tags: , , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: