Metodi misti

Metodi misti

Scheda
Rilevanza teorica
Complessità concettuale e/o operativa
Completezza dell'articolo

I mixed method sono la vera frontiera della ricerca sociale e valutativa. Ma occorre dipanare le vere potenzialità dalle false promesse.

“Metodo” è qui una traduzione dall’inglese Method dove, diversamente che in italiano, può significare sia ‘metodo’ come usualmente da noi inteso, sia ‘tecnica’. In realtà quindi Mixed Method sarebbe da tradurre correttamente come “Tecniche miste” salvo nei casi più rari, che vedremo più avanti, in cui non si fa riferimento alle tecniche ma alle fonti, ai ricercatori, o altro.

In letteratura si trovano molti termini analoghi:

e altri. L’ultimo (triangolazione) è da rigettare; in generale i primi due sono quelli più diffusi.

Nella letteratura anglosassone si fa riferimento alle tecniche miste in due principali contesti, quello della validità (più ‘metodi’ applicati alla stessa unità d’analisi assicurerebbero una maggior validità dei risultati) e quello della combinazione di tecniche come parte di un disegno di ricerca volto a produrre risultati più significativi (maggior estensione e intensione dei risultati); in generale se ne parla quasi esclusivamente trattando di un mix fra tecniche qualitative e tecniche quantitative.

I propositori di tecniche miste, specie quelli dell’ultima generazione che non sono ancorati (o non solo) al problema della validità, propugnano l’integrazione fra tecniche alla luce di una integrazione fra paradigmi; il concetto di fondo è che i due paradigmi (qualitativo e quantitativo) sono sì differenti e forse inconciliabili sul piano epistemologico, ma pragmaticamente giustapponibili, conciliabili, integrabili, in maniere diverse, che i diversi Autori trattano in modi differenti (e non sempre convincenti).

Riepilogo dei significati presenti in letteratura

1) Combinazione (a mio avviso da preferire a ‘Triangolazione’, in questo caso; in altri si possono usare altri termini più appropriati) delle fonti: può intendersi in tre modi distinti:

  • controllo su più fonti dello stesso dato; es.: controllare le dichiarazioni di un intervistato in merito a una riunione consultando le minute ufficiali.
  • Oppure: ‘fondere’ le diverse storie di più informatori in una sola, paradigmatica, che rappresenti quel tipo sociologico, quella tipica storia, ecc. Viene chiamata ‘triangolazione delle conclusioni’ (per non complicare questa nota non continuerò a ripetere che ‘Triangolazione’ è termine errato; lo uso solo, a volte, come citazione di altri autori).
  • Infine: sintesi delle conclusioni attraverso studi preesistenti, che è lo studio comparativo di cui parla anche Pawson chiamandola ‘sintesi realista’, e che Kidder e Fine (in Mark Melvin M. e Shotland R. Lance“Multiple Methods in Program Evaluation”, New Directions for Program Evaluation, n. 35, Jossey-Bass, San Francisco, CA. 1987, 66-68), definendola “la sfida più grande”, annunciano come l’unica di loro vero interesse.

2) Molteplicità dei ricercatori: uso di più osservatori per confermare lo stesso dato.

  • differenze fra osservatori, che hanno percezioni diverse, culture diverse, ecc.; a questo proposito Kidder e Fine (1987, 65) definiscono questa triangolazione “possibile ma improbabile”, anche a causa dei bias introdotti, più o meno consapevolmente, dai ricercatori;
  • differenze temporali nell’osservazione con possibile modifica dell’oggetto osservato per cause intervenienti.

3) Pluralità delle teorie: non si sa cosa sia, e anche il propositore del concetto (Danzin) è molto cauto.

4) Molteplicità delle tecniche: ce n’è di due tipi:

  • triangolazione entro la tecnica; quando l’unità d’analisi è multidimensionale, si impiegano più strategie entro la stessa tecnica; p.es. nel sondaggio più domande sullo stesso tema;
  • triangolazione tra le tecniche; che “combina diverse tecniche per rilevare gli stati sulle proprietà della stessa unità: i difetti di una tecnica sono spesso la forza di un’altra, e gli osservatori, combinandole, possono raggiungere il meglio di ognuna”. E’ probabilmente l’unica che abbia un senso anche se occorre porre attenzione a diverse questioni e a come la si intende:
    • più tecniche ‘in parallelo’ che aggrediscono lo stesso concetto; p.es. fare interviste in profondità mentre si stanno realizzando questionari, per avere due distinte serie di informazioni sullo stesso tema; oppure ‘in serie’ ma semplicemente giustapposte, senza integrazione (per cui sono fatte in serie semplicemente per ragioni gestionali, e non per un criterio di opportunità). Spesso ciò viene fatto ritenendo di rendere più validi i risultati, ritenendo che se le conclusioni convergono siano valide;
    • più tecniche ‘in serie’, dove ciascuna si aggancia alla precedente per perfezionare il disegno di ricerca; p.es.: realizzare prima dei focus group esplorativi, e sulla base di quelli costruire poi un questionario. E’ in generale il concetto corretto di triangolazione, ma anche qui possiamo vedere due fondamentali distinzioni:
      • una ‘giustapposizione’ di tecniche in serie, dove il valore aggiunto è dato dall’imperscrutabile abilità del ricercatore di legare luna all’altra (per cui, p.es., sa solo il ricercatore come e perché abbia assunto certi elementi e non altri dal focus, e come e perché li abbia trasformati in item di questionario); 
      • una reale ‘integrazione’ di tecniche in serie, per cui il risultato della prima tecnica costituisce l’unità d’analisi della seconda.

Uno dei principali scopi della combinazione fra tecniche sembra essere quella esposta poco sopra, volta a verificare affidabilità e validità dei risultati, particolare abbinando approcci ‘quantitativi’ ad approcci ‘qualitativi’. Ciò vale entro la tecnica (p.es. uso di domande aperte in un questionario), fra le tecniche in parallelo o in serie ma giustapposte (p.es. utilizzando test diversi di validità):

Questo significato di triangolazione (accordo fra misurazioni [per determinare la validità]) è il più comune e meglio definito (Kidder – Fine, 1987, 63).

Un riepilogo di quanto scritto sopra è raffigurabile in questa immagine:

Per ragioni complesse che non posso trattare in questa breve nota, la sezione di sinistra della figura è meno interessante (diversificazione delle fonti e dei ricercatori) o meno praticabile (diversificazione delle teorie), mentre la sezione di destra (diversificazione delle tecniche) è quella sulla quale possiamo forse lavorare meglio (ed è anche per questo che l’inglese Mixed Methods io preferisco tradurlo come “Tecniche miste”).

Se la molteplicità entro la tecnica è quasi banale (per esempio mescolare domande aperte e chiuse in un questionario), quella FRA le tecniche è, finalmente, il cuore del problema.

Cosa vuol dire integrare (mescolare, combinare) tecniche fra loro? Ecco alcuni esempi:

  1. Quando faccio una valutazione di processo, delle performance, utilizzando SPO + brainstorming, quello che facciamo è: i) realizzare un brainstorming con un gruppo di esperti, operatori, etc.; ii) utilizzare una SPO (Scala delle Priorità Obbligate) per elaborare (in un determinato modo, fondato su una doppia ordinalità), quei precedenti risultati. Qui – come vedete – siamo nel box all’estrema destra della figura: le due tecniche sono in serie (prima una poi l’altra) ma integrate, non giustapposte. Le tecniche sono giustapposte quando i risultati di ciascuna rimangono indipendenti fra loro (prima faccio delle interviste – per esempio – per poi proporre un questionario; anche se il questionario è stato ispirato da quanto appreso nel corso delle interviste, le due tecniche sono separate logicamente, concettualmente e operativamente). Le tecniche sono integrate – come nel nostro esempio – perché la seconda (SPO) parte dai risultati della prima (brainstorming) rielaborandoli, tanto che la coppia brainstorming + SPO, almeno in questi casi, diviene un tutt’uno, con un risultato che è il processo congiunto di entrambe.
  2. Esempio diverso: ho sperimentato un approccio per valutare l’importanza relativa di interventi (politiche, programmi) sul mercato del lavoro lombardo; la pluralità di interventi e la pluralità di obiettivi generali che la Regione si dava come prioritari dovevano essere combinati per capire quali interventi raggiungessero con maggiore efficacia quali obiettivi. Se chiedete a un gruppo di esperti quali interventi siano migliori (da un determinato punto di vista) avete generalmente due sistemi: chiedere loro il valore assoluto degli interventi (per esempio facendo attribuire dei valori cardinali) oppure quello relativo (con valori ordinali). Spero che risulti intuitivo o comunque ragionevole, senza addentrarci tecnicamente sulla questione, che ciascuno dei due approcci ha dei vantaggi (quelli che interessa salvare e utilizzare per la valutazione) e degli svantaggi (che vorremmo escludere o almeno limitare). Ebbene non è difficile immaginare un modo per l’utilizzo integrato di scale cardinali e ordinali, in combinazione reciproca, in modo che ciascuna costituisca un elemento di ponderamento dell’altra, in modo che il valore finale ottenuto sia costituito, assieme, dall’importanza cardinale e dalla posizione ordinale di ciascun intervento per ciascun obiettivo (un giorno o l’altro parlerò più diffusamente di questa applicazione operativa delle scale, in questa nota non ho quasi più spazio). Questo risultato è ovviamente – come per il caso precedente – il frutto di un uso di tecniche molteplici in forma integrata (sempre sezione destra della figura precedente). In coda a questo intervento riporto integralmente l’esperienza.
  3. Anche la SWOT Relazionale è una tecnica mista (uso di scale ordinali e confronti a coppie), e può a sua volte essere parte di processi misti più complessi (per esempio stabilendo precedentemente gli elementi da considerare nella matrice Swot tramite brainstorming o focus group).

Provo sinteticamente a trarre una lezione finale: le tecniche non sono solo meccanismi operazionali, o addirittura semplici procedure; esse sono traduzioni operative di logiche, di teorie, e rappresentano la realtà osservata in una maniera parziale e – diciamo così – piegata secondo gli indirizzi della logica e della teoria sottesa e spesso ignorata. Prendete una banale scala ordinale: il concetto di ordinalità, il fatto che possiamo semplificare aspetti del mondo descrivendoli come un ‘prima’ e un ‘dopo’, o un ‘meglio’ e un ‘peggio’, ha una complessità enorme, e presuppone teorie cognitive e sociali specifiche, la possibilità e l’utilità di creare un ordinamento di quel genere, ovviamente non “naturale”, e così via. 

Ecco: le tecniche miste sono l’esile pertugio attraverso il quale le teorie possono mischiarsi (non credo possibile farlo direttamente prendendole di petto) aiutandoci a capire meglio e con maggiore “carico teorico” l’oggetto della nostra valutazione.

Infine un’indicazione bibliografica, italiana e recente, la trovate QUI.

Appendice: uso combinato di scale ordinali e cardinali

Usiamo tantissimo le scale; scale tipo Likert in questionari, scale in check list, nella valutazione contingente…; alcune tecniche si basano su scale: la Nominal Group Technique su una cardinale e la Scala delle Priorità Obbligate su una ordinale.

Mi sono sempre sentito limitato, però, dai vincoli specifici (che ne costituiscono, ovviamente, anche il pregio) di queste due grandi categorie di scale:

  • le scale cardinali ci forniscono una “quasi”-misurazione assoluta: se – in una scala da 1 a 5, giudico questa nota “4” in quanto a interesse che mi suscita, non intendo solo “più di 3 e meno di 5” (come nelle scale ordinali) bensì “il doppio di 2, quattro volte 1”; la scala ordinale insomma mi dà un valore “quasi” (molto ‘quasi’) assoluto, e quindi deve poter concedere gli ex-aequo. Ciò significa che giudicando con scale 1-5 le mie note dell’ultimo anno i lettori potrebbero dare molti “5” e “4” (così io spererei), qualche “3” e – poniamo – nessun “2” e “1”. Avere molti “5” e ”4” mi fa certo capire in generale che le mie note sono apprezzate, ma non riuscirei a capire quali siano più apprezzate di tutte. In questi casi, avendo un numero sufficiente di scale (per esempio perché incluse in un questionario somministrato ad alcune centinaia di persone) con punteggi tutti schiacciati sui valori massimi (o minimi, il ragionamento è lo stesso) l’informazione ne verrebbe fortemente penalizzata (i famosi gatti che di notte son tutti bigi); unico rimedio: il deflazionamento dei punteggi della scala;
  • le scale ordinali ci forniscono invece un ordinamento, una classifica: questo viene prima di quello e dopo quell’altro. In valutazione sono sostanzialmente più utili perché abbiamo molto a che fare con questi processi (graduatorie di merito, selezione di progetti, ordinamento di indicatori…). Se costruiamo le scali ordinali con obbligo di distribuzione su tutti gli intervalli della scala (come nel caso dell’S.P.O., ovvero non si può rispondere “sia questo che quello vanno entrambi al primo posto”) noi abbiamo una potente informazione su cosa viene prima e cosa viene dopo (a opinione del rispondente) ma non sappiamo nulla sul valore intrinseco attribuito agli elementi. Chiarisco: io metto al primo posto il film L’onda, al secondo Don Camillo e i giovani d’oggi, al terzo Il pozzo e il pendolo, al quarto FBI Operazione testimoni e al quinto Shiloh un cucciolo per amico (traggo a caso dalla programmazione odierna) ma ciò non significa affatto che L’onda mi appaia un capolavoro e che Don Camillo sia comunque un film superbo; significa solo che – dati quei cinque, e dato l’obbligo operativo di ordinarli – questa è la mia graduatoria; ma a parte L’onda (interessante ma non un capolavoro), i valori assoluti di questi film sarebbero – per me – piuttosto bassi e prossimi al valore cardinale “1”. Insomma: i valori ordinali distraggono dal merito intrinseco e potrebbero esprimere dei valori massimi (prima scelta, seconda scelta…) per elementi intrinsecamente modesti o scadenti o, viceversa, dei valori modesti per elementi intrinsecamente importanti o interessanti.
  • L’essere, le cardinali, delle quasi-misurazioni. Il “quasi” rinvia a un’irrisolvibile aporia: se diciamo che misurano qualche cosa (e se sono scale cardinali lo devono pur fare) deve esserci uno 0 (zero) da qualche parte; lo Zero è però più una questione epistemologica che metodologico-operativa. Nella realtà ci sono pochissime proprietà “misurabili” in senso stretto (ma proprie poche poche, di un qualche interesse per le scienze sociali e la valutazione, non più di tre o quattro) e – ipotizzo – mai esiste lo Zero nelle proprietà che si fondano su opinioni (non si può avere un’opinione pari a zero!) e in quelle relative ai comportamenti. In questi casi – io almeno uso così – lo Zero significa “mancanza della proprietà” (ovvero impossibilità oggettiva a darle un valore) e quindi è un concetto fuori scala; per esempio: “quanto ti è piaciuto il film di ieri sera, da 1 a 5?”; lo zero significa “non ho visto il film; ieri sera in TV non c’era alcun film”, e non “mi è piaciuto così poco che do uno zero”! Ci sono ragioni anche di tipo operativo: lo Zero è un assoluto, è puntiforme, mentre i valori 1, 2, … sono intervalli in cui il primo (“1”) significa “da 0, 000…1 fino a 0,999…”. Lo Zero quindi è asintotico, è ideale e non reale.
  • La seconda questione, relativa alle scale cardinali, è la correttezza o no dell’obbligo dell’ordinalità (cioè obbligare a segnalare una cosa come prima, una come seconda e così via, e impedire gli ex aequo: sia questo che quello al primo posto…). Salvo casi particolari di definizioni operative, in generale le scale cardinali consentono lo “schiacciamento”, e la pratica – assai ben documentata – ci testimonia che ciò accade quasi di regola; se io vi propongo 10 “buone cose” (dieci servizi territoriali fra i quali decidere quali privilegiare nella prossima programmazione; dieci obiettivi previsti nella programmazione regionale; …) è ovvio che qualcuno piacerà di più e qualcuno di meno, ma raramente qualcuno sarà giudicato negativo, tanto da prendere valori cardinali bassi; ecco perché in questi casi usiamo invece le scale ordinali che implicano questo pensiero: “Sì, lo so che sono tutti servizi / obiettivi / altro, ‘buoni’, ma voglio che tu – alla luce della tale finalità e della talaltra dimensione, mi dica per forza quale sia il migliore, poi quello che viene subito dopo e così via, implicando che l’ultimo che metti in gerarchia non è ‘cattivo’ ma semplicemente quello che riteniamo meno importante in senso relativo”. Le scale cardinali non presuppongo una comparazione fra tutti gli elementi (come invece accade obbligatoriamente nelle ordinali) ma un’analisi intrinseca che compara ogni singolo elemento solo col significato della scala. Sulla “forzatura”, nelle scale ordinali, di assegnare un valore diverso ad ogni elemento, io personalmente non ho alcun dubbio e, devo dire, c’è ormai un po’ di letteratura anche su questo. Segnalo in particolare Alberto Marradi, Termometri con vincolo di ordinalità: il “gioco della torre” consente di aggirare la tendenza alla desiderabilità sociale? (lo potete scaricare sul sito di Marradi alla pagina http://www.me-teor.it/oper_marradi_ital.html).

Questo il problema: da un lato (quello delle scale cardinali) ho un’indicazione di merito con rischio molto alto di scarsa informazione, dall’altro (quello delle scale ordinali) ho un indicazione relativa, di posizione, ma perdo l’informazione di merito. Come fare?

Io ho provato a combinare assieme le due scale per cercare di unire le due informazioni; nelle prossime puntate vi racconterò in sintesi come ho fatto.

Il contesto: valutazione delle politiche del lavoro in Lombardia (da me realizzata assieme a diversi colleghi dello Staff M&V di Italia Lavoro fra fine 2008 e metà 2009); fase del lavoro in cui volevamo capire come una serie di interventi – legislativi, programmatori… – intercettassero i principali obiettivi delle politiche del lavoro come espresse ai massimi livelli regionali (anche attraverso la Legge 22 del 2006). L’incrocio fra interventi e obiettivi è stata alla fine rappresentata in questa matrice, di cui può essere intuibile come sia stata costruita:

Questa matrice è stata sottoposta a un gruppo di esperti delle politiche del lavoro lombarde ai quali è stato chiesto:

  1. di stabilire, autonomamente e senza interazione fra i partecipanti, dei valori cardinali (1 minimo  6 massimo) per riga, dichiarando quindi, intervento per intervento (le righe) quanto “valevano” su ciascuna colonna (gli obiettivi);
  2. di concordare poi, in gruppo e dialogicamente, dei valori ordinali per colonna, discutendo e dichiarando infine quanto ciascun obiettivo fosse prevalentemente considerato e perseguito da ciascun intervento (quindi, in questa seconda fase, la prospettiva era anche ribaltata).

Come avete visto, i valori cardinali sono stati dati in forma individuale e all’inizio e quelli ordinali in gruppo. Le ragioni sono semplici:

  • l’ordinalità non può essere realizzata individualmente per poi, successivamente, essere ridotta a un valore di sintesi; le ragioni sono proprie dell’ordinalità che riguarda solo la posizione delle scelte e non il loro valore intrinseco. Ciò significa che se all’oggetto A io do un valore (di posizione) “1” (primo come scelta) e voi “3” (intermedio in una scala 1-5), la media “2” non avrebbe semplicemente senso, come invece sarebbe possibile in caso di valori cardinali. In generale per i valori ordinali ha molto senso la moda, ma occorre un numero di risultati sufficientemente significativo scontando però altri problemi, fra cui: i) cosa fare se la distribuzione non fosse unimodale? ii) come trattare risultanti ex aequo? iii) come gestire la tendenza centrale della moda (non così forte come nella media ma presente anche qui in certa misura)?
  • la cardinalità invece non ha questi problemi, può essere trattata ex post con una sintesi basata sulla media e – realizzata prima in forma individuale – rende confidenti i partecipanti in merito agli indicatori utilizzati. Ricordo poi che noi non abbiamo comunque utilizzato la media ma abbiamo semplicemente sommato i risultati dei singoli; anche se l’abbiamo fatto sostanzialmente per la carenza di partecipanti al gruppo che rendeva improponibile l’uso di valori caratteristici, credo che questo sistema possa essere replicato anche per gruppi più ampi, perché il valore così ottenuto è generalmente più differenziato rispetto all’uso di qualunque valore caratteristico, e ciò torna utile – specie se il valore ottenuto viene moltiplicato, come è stato nel nostro caso – per discriminare meglio i valori finali delle celle.

Dopo diverse riflessioni e tentativi abbiamo trattato così le informazioni:

  1. i valori cardinali dei diversi rispondenti sono stati sommati; questa soluzione è stata consigliata dal numero di partecipanti al gruppo veramente basso, che non consentiva di cercare un valore modale (ovviamente questa bassa partecipazione è motivo di scarsa validità di questo specifico test, ma il suo valore metodologico resta intatto);
  2. tale somma è stata moltiplicata per il valore ordinale. Il risultato di queste due operazioni è mostrato nella tabelle che segue:

Le celle in rosso indicano i valori sopra una certa soglia convenzionale, e indicano evidentemente gli incroci (interventi/obiettivi) che mostrano un’alta performance sia ordinale che cardinale.

La tabella si può leggere sia in riga che in colonna. In riga, per esempio: la L.R. 22 viene considerata dal gruppo molto orientata agli obiettivi generali delle politiche del lavoro lombarde, mentre la L.R. 2 appare piuttosto indipendente da tali obiettivi. In colonna: lo strumento “dote” e il generale orientamento verso l’integrazione pubblico/privato sono colte dalla Legge e dalla sua prima sperimentazione (Labor Lab), mentre l’importante accreditamento degli operatori (importante per quanto proclamato ufficialmente) non appare centrato da alcun intervento.

Poiché la tabella può non apparire chiara, e il lettore può comunque faticare a comprenderla nel suo insieme, come totalità di relazioni interagenti, ho elaborato allora due mappe concettuali volte a definire i baricentri degli interventi e degli obiettivi, vale a dire: come si dispone la costellazione degli interventi rispetto agli obiettivi, e viceversa?

E’ piuttosto facile calcolare la “distanza” fra tutti gli interventi collocandoli quindi su una mappa di questo genere:

Interventi
Obiettivi

E’ facile analizzare e commentare queste mappe (assai più che analizzare e commentare la precedente tabella) e capire cosa sta funzionando nelle politiche del lavoro lombarde.

Come ho già accennato, per varie ragioni il gruppo fu poco frequentato e anche nel rapporto di valutazione abbiamo dato questi risultati come provvisori, ma non è questo che qui interessa. Credo più interessante la proposta metodologica che consente di combinare due tipi di scale entro un risultato univoco. Il risultato non è composto, infatti, da una doppia tabella, ma da un singolo risultato che compendia sia i valori ordinali che quelli cardinali. Noi abbiamo utilizzato un gruppo e abbiamo operativizzato la procedura come descritto sopra ma, ritengo, sono possibili molte altre soluzioni.

Sostenete questo blog

interamente autofinanziato.






Categories: Metodo

Tags: , , ,

Rispondi

%d blogger hanno fatto clic su Mi Piace per questo: