Valutazione d’impatto, più del metodo contano le motivazioni

In un recente contributo, apparso su Tuttowelfare, Simone Castello, Responsabile del Centro Studi di Fondazione Lang, è intervenuto evidenziando alcune idiosincrasie che caratterizzano l’attuale dibattito sulla valutazione dell’impatto.

Castello, correttamente, segnala una “babele semantica” che rischia di arrecare un danno irreparabile alla credibilità delle pratiche valutative. Tempo addietro, avevo espresso, in un articolo pubblicato su Vita, la mia preoccupazione circa l’emergere di una sorta di genere “letterario”, rispetto alla valutazione “che nel rimescolare insieme fotografie, infografiche, un paio di frasi estrapolate da qualche sparuta intervista ai beneficiari, mette in scena o meglio mima l'esercizio valutativo”.

Apertis verbis, una buona parte delle “valutazioni d'impatto” sono analisi ex post, con differenti gradazioni di rigore ed evidenti problemi metodologici rispetto alla ricerca della causalità. La nozione di impatto è stata “stressata” al punto tale da vederla accompagnata ai bilanci sociali, la cui dimensione compilativa ha davvero poco a che vedere con la complessità delle valutazione d’impatto. Sin qui, non solo trovo le argomentazioni proposte da Castello condivisibili ma le sottoscrivo.

Ciò che, invece, trovo meno persuasivo è una certa insistenza sull’utilizzo dei metodi sperimentali. L'attribuzione causale, alla base della domanda di ricerca della valutazione dell'impatto, è senza dubbio una sfida metodologica complessa. Mi permetto di avanzare una prima notazione di taglio epistemologico: anche la tecnica sperimentale più rigorosa è esposta alla soggettività, laddove vi sono individui a disegnare la valutazione, partendo da domande di ricerca, anch'esse soggettive, senza considerare poi l’influenza di coloro che attribuiscono il mandato valutativo. L'esperimento, termine che non a caso rimanda al campo da gioco delle "scienze dure", necessita di condizioni davvero particolari, che quasi mai si riescono ad ottenere in ambito sociale, con il rischio di "sporcare" la validità dei risultati dell’analisi.

Da qualche tempo, ad Human Foundation, stiamo provando a gestire il delicato trade-off tra rigore e sostenibilità della pratica valutativa, attraverso l’utilizzo di approcci quasi-sperimentali ibridati da una robusta componente qualitativa, nella prospettiva dei cosiddetti “mixed methods”. Tale modalità di lavoro implica un notevole sforzo nella concettualizzazione del framework di analisi e nella costruzione degli strumenti di rilevazione, soprattutto un difficoltoso dialogo tra “quali” e “quanti”, per giungere ad un allineamento efficace sulla strategia di valutazione. La Banca Mondiale, da sempre aedo dei metodi sperimentali e dell’ineluttabile ricorso ai randomized controlled trial, ha progressivamente rivisitato le proprie certezze, suggerendo, nei più recenti documenti sulla valutazione, l’adozione di metodi misti.

Una seconda nota, la comunità dei valutatori ama accapigliarsi sulle soluzioni metodologiche, articolando un dibattito esoterico spesso poco comprensibile dall’esterno. Piuttosto che continuare ad annaspare sulle metodologie, credo sia necessario riflettere sulle motivazioni che ci spingono a valutare. Su questo aspetto, ritengo vi sia ancora molto da fare, poiché ad una domanda valutativa poco chiara non può che scaturire una risposta confusa. In tal senso, committente e valutatore dovrebbero dedicare una buona dose di tempo nell’individuare degli obiettivi chiari e, di conseguenza, selezionare la metodologia più appropriata.

Concludendo, mi permetto di avanzare una proposta rispetto al tema della consistenza e robustezza delle analisi. Al fine di limitare la proliferazione della “fiction valutativa”, si potrebbe costruire, coinvolgendo soggetti come Social Value Italia ed AIV, un sistema “leggero” di peer review, in forma più o meno anonima, che verifichi la solidità metodologica ed il rigore dell’analisi, fornendo una serie di raccomandazioni per migliorare/rafforzare la valutazione. Le analisi avrebbero così una legittimità “comunitaria”, basata sulle relazioni fiduciarie della peer review.