La valutazione d’impatto di un servizio come elemento strategico

Il design di un modello per definire il ciclo dell’impatto dei servizi della cooperativa sociale La Grande Casa è stata la sfida principale del progetto di ricerca e sviluppo “La Grande Casa Impact Driven Organization” che ha avviato anche altri due percorsi paralleli: la valutazione dell’organizzazione e la valutazione di progetti di povertà educative.

Il processo di valutazione d’impatto (VIS) sull’operato della cooperativa La Grande Casa è stato un processo gestito da più attori, ciascuno dei quali ha apportato un contributo tecnico e uno sguardo diverso sia per professionalità che per formazione. Come Open Impact siamo stati il partner tecnico di accompagnamento alla valutazione di impatto e abbiamo sviluppato un tool digitale personalizzato per consentire una valutazione continuativa e longitudinale del servizio target scelto. L’Università Cattolica del Sacro Cuore ha svolto una funzione di ricerca sugli elementi pedagogici del servizio di Educativa Domiciliare Territoriale Minori (ADM) congiuntamente al Centro di Formazione della Cooperativa.

Un aspetto importante riguarda il processo di selezione del servizio target, avvenuto in modo partecipativo, attraverso un percorso prima di formazione e poi di co-design, che ha interessato sia gli operatori che i coordinatori del servizio. Il percorso formativo ha dunque reso possibile un allineamento rispetto agli intenti dell’analisi e alle conditio sine qua non di quest’ultima. La selezione è dunque avvenuta sulla base di due principali elementi: la disponibilità di dati e la possibilità di adottare strumenti di misurazione ad hoc. Entrambi necessari per alimentare la base dati e aggiornare con cadenze annuali la valutazione d’impatto sociale. Inoltre, la scelta di lavorare su questo servizio nasce anche dalla consapevolezza della Cooperativa che l’intervento educativo domiciliare sia uno dei servizi più “invisibili” la cui portata però, essendo così capillare, sia cruciale nei territori.

Tramite lo studio degli strumenti di valutazione utilizzati dalla cooperativa (documenti di sintesi, valutazioni, piani educativi individuali ecc.) e il benchmark di dati internazionali raccolti dalla piattaforma Open Impact è stato possibile elaborare un modello di valutazione che tenesse conto in primis delle specifiche evidenze in termini di effetti di medio-lungo periodo (aree di outcome), poi delle esigenze degli operatori stessi, inserendo nel modello elementi a loro vicini, e successivamente che garantisse un monitoraggio costante delle evidenze. In particolare, l’analisi dei Progetti Educativi Individuali (PEI) pregressi ha consentito di individuare e sintetizzare le variabili di maggior interesse così da ottenere un quadro più schematico dei problemi iniziali di ciascun intervento, degli obiettivi di lungo, medio e breve periodo oltre che dei possibili impatti generabili da interventi di questa portata. Lo studio dei PEI ha permesso suddividere i dati in tre categorie: dati di contesto, dati di output e dati di impatto messi poi a sistema nel framework di impatto del servizio.

Valutazione d’impatto del servizio ADM – Risultati emersi

L’applicazione di questo framework di impatto sperimentato su 16 interventi conclusi del 2020, ha consentito una prima valutazione SROI del servizio. L’analisi degli impatti sociali ha evidenziato, rispetto ai 16 casi, un valore sociale complessivo pari a € 74.560 che, rapportato ad un costo medio totali pari a € 27.650, è generativo di un ritorno sociale pari a 2,7. Ciò significa che ogni euro investito dalla cooperativa in servizi di Educativa Domiciliare e Territoriale genera in realtà un ritorno per la società pari € 2,7.

Considerando la distribuzione del valore sociale rispetto a cinque principali ambiti di intervento, emerge chiaramente il contributo del servizio in termini di riduzione dell’abbandono scolastico, così come viene evidenziato il ruolo svolto rispetto alla dimensione personale e familiare. La figura 3 mostra la distribuzione percentuale del valore sociale rispetto a cinque ambiti.

La piattaforma di Open Impact e il tool digitale (PEI)

Nel 2021 è stato sviluppato un tool digitale ad hoc PEI (Piano Educativo Individuale) che consente una valutazione continuativa del servizio nel tempo senza intermediazioni. Il PEI è sia uno strumento gestionale di monitoraggio, sia uno strumento di raccolta e visualizzazione d’impatto. Il ruolo dello strumento digitale consiste nel poter gestire una valutazione continuativa e longitudinale del servizio nel tempo utilizzando il framework di impatto testato nel 2020. La figura 4 riassume i passaggi chiave di funzionamento del PEI digitale che viene compilato dagli operatori quando prendono in carico un intervento per quanto riguarda i dati di contesto e gli outcome attesi, successivamente è possibile svolgere valutazioni intermedie rispetto al raggiungimento degli outcome e di chiudere un caso con una valutazione finale quando l’intervento è terminato. Tutti i dati inseriti sono visualizzabili live per la cooperativa e sono geo-localizzabili, consentendo una lettura del territorio capillare e dinamica.

Una valutazione digitale e longitudinale

La creazione di un tool digitale che consenta di proseguire e continuare a raccogliere i dati individuati nei due anni di lavoro di co-design costituisce l’elemento centrale della sperimentazione svolta in questo progetto di ricerca e sviluppo. Solitamente le valutazioni di impatto vengono svolte sui progetti che hanno per loro natura una durata limitata nel tempo e pertanto la valutazione consiste in una fotografia spesso poco utilizzata o utilizzabile in modo sistemico (diverso è lo scenario in cui questa valutazione sia inserita nella prospettiva strategica di un programma e di una policy). Valutare un servizio, che è di per sé ciclico e reiterato nel tempo, apre una sfida rispetto, non solo alla possibilità di misurare continuativamente gli impatti generati, ma anche alla possibilità di accedere ai dati, in modo costante, evitando fotografie sporadiche del valore sociale generato. La digitalizzazione e l’adattamento di uno strumento già utilizzato nelle prassi del servizio quale è il PEI consente di inserire i dati di impatto all’interno di routine organizzative e culturali già esistenti integrando la valutazione d’impatto in modo strutturale.

L’obiettivo finale è quello fornire evidenze rispetto agli effetti di medio lungo periodo che il lavoro educativo genera, di modo che queste possano assumere un ruolo chiave e dialogico rispetto a tutti gli stakeholder coinvolti, in primis i cittadini e la Pubblica Amministrazione (o l’eventuale altro finanziatore del servizio). La funzione strategica dell’impatto (ad oggi potenziale ma non ancora esercitata) è strettamente legata da un punto di vista interno alla capacità dell’organizzazione di raccogliere dati in modo costante e tracciabile e al tempo stesso alla capacità degli interlocutori esterni di riconoscerne il valore.

Il 26 novembre 2021 dalle 9 alle 13 nel convegno “Misurare per crescere. Il valore del lavoro sociale” verrà presentata l’attività di ricerca-azione sulla valutazione dell’impatto sociale di La Grande Casa. L’evento è promosso da La Grande Casa e Open Impact, con la media partnership di Vita. Interverranno Lamberto Bertolè, Liviana Marelli, Luigi Corvo, Guido Agostoni, Guido Ciceri, Stefano Granata, Alessandro Lombardi, Luca Pacini, Lavinia Pastore, Paola Pessina, Silvio Premoli e Vincenza Nastasi. Appuntamento in presenza all’Auditorium San Fedele (Via Ulrico Hoepli, 3/b), mentre la diretta streaming sarà sui canali della cooperativa La Grande Casa. Iscrizioni online al link lagrandecasa.org/misurare-per-crescere. In allegato il programma definitivo.

*Lavinia Pastore, Università degli Studi di Roma “Tor Vergata” e co-founder di Open Impact