Valutare l'impatto dei progetti sociali

All’interno del numero 1/2018 della rivista Welfare Oggi continua il dibattito sul tema della valutazione dell’impatto sociale. Nell’articolo che vi proponiamo, l’autrice ha scelto di partire da un caso concreto di valutazione – un progetto formativo realizzato in Provincia di Brescia e teso a diffondere un approccio ispirato ai principi del Recovery – illustrandone esiti e aspetti metodologici, per poi ricavarne alcune riflessioni più generali.

Il progetto

L’articolo sintetizza gli esiti dell’attività di valutazione e misurazione di impatto del progetto “Recovery: Organizzare il cambiamento per riprendersi la vita”, progetto promosso dall’Azienda Ospedaliera Spedali Civili di Brescia nella specificità dell’Unità Operativa 23, a partire dal 2013. La valutazione è stata condotta al termine del primo anno di progetto, ma le attività sono proseguite anche al termine del periodo considerato.

Il concetto di Recovery, originario dei Paesi anglosassoni, fa riferimento ad un modello di intervento, principalemente nel campo della salute mentale che non mira tanto alla guarigione in senso clinico, quanto a un percorso personale che consenta al paziente di condurre una vita soddisfacente sia sotto l’aspetto dell’autorealizzazione, sia nella possibilità di acquisire un ruolo dignitoso nel contesto sociale/relazionale.

A partire da questa impostazione, il progetto aveva i seguenti macro-obiettivi:

• stimolare nei servizi delle Unità Operative e degli enti accreditati una trasformazione culturale e organizzativa favorevole alla filosofia della Recovery;
• favorire la sperimentazione di percorsi di Recovery nelle organizzazioni e l’assunzione di best practice per la salute mentale;
• restituire protagonismo all’utenza, non solo considerata come singolo cittadino ma, soprattutto, come “gruppi di interesse” orientati al ben-essere e alla pro-attività.

Operativamente, tramite il progetto è stato costruito un programma di formazione per la Recovery a livello provinciale, basato sulla coproduzione dei corsi con gli utenti (www.programmafor.it). Ormai il programma è giunto alla sua quarta edizione, e comprende corsi sulla Recovery, sui sintomi e trattamenti, sul benessere personale e sociale, sulla creatività; prevede aree di approfondimento sulla cittadinanza e sul ruolo di una città, sulla coproduzione e sul supporto tra pari.

Dall’esperienza alla teoria

Il tema della valutazione d’impatto è oggi largamente analizzato e dibattuto, ed è stato oggetto di approfondimento anche su questa Rivista; a questo proposito mi pare di poter affermare che attualmente la teoria “batta” la pratica uno a zero. I confronti, i dibattiti, i momenti di approfondimento in tema di impatto sociale sono diventati sempre più numerosi e diffusi, a fronte di relativamente pochi casi di misurazione d’impatto concreta.

Per questo motivo ritengo che sia utile affrontare il tema nella pratica, per poter avere le idee più chiare sull’applicabilità dei metodi, sulle modalità di analisi e, soprattutto, sull’utilità degli esiti; ed è quanto viene fatto nel presente articolo sul progetto di Recovery realizzato a Brescia. Ma, a partire da questa e da altre esperienze di misurazione d’impatto, sono scaturite anche alcune convinzioni più generali che proseguono il dibattito lanciato sul numero 6/2017 di questa Rivista con gli articoli di Bassi, Venturi e Marocchi.

1) Si valuta l’azione, non l’organizzazione. In primo luogo ritengo che la valutazione d’impatto sia da applicare a progettualità o ad azioni specifiche e non all’organizzazione nel suo complesso. Pensare di “misurare” l’impatto dell’organizzazione, che magari opera in più settori, su più territori, gestendo unità d’offerta diverse o servendo varie tipologie di utenza, è una sfida molto ardua. Nella mia esperienza professionale in una sola occasione l’azione di un’organizzazione coincideva con il singolo progetto valutato, ma si è trattato di un caso particolare e unico, soprattutto se ci riferiamo alle imprese sociali che conosciamo in Italia.

2) La valutazione del progetto è utile, quella sulle politiche ancora di più. Secondariamente, ritengo che la valutazione d’impatto sia utile quando riferita al singolo progetto, ma lo sia soprattutto ai fini del giudizio sulle politiche che sottendono quel progetto o l’azione valutata. Per questo motivo, anche quando la valutazione riguarda il progetto di una singola organizzazione, ritengo che il ruolo dei valutatori sia quello di fare “il passo in più” e tentare di tradurre quel risultato in un’analisi che possa essere utile all’istituzione responsabile della corrispondente area di politiche, anche al di là del suo coinvolgimento nell’azione specifica. La sfida è quella di incidere su tali istituzioni coinvolgendole sul senso formativo delle azioni di valutazione, anche quando esse non siano state da loro richieste.

3) La valutazione di impatto aiuta le organizzazioni a mettere al centro i cambiamenti generati. L’attività di valutazione è impegnativa, onerosa, attualmente vissuta in maniera sporadica e discontinua, ma rappresenta un passaggio fondamentale per portare le organizzazioni a porre l’enfasi sui cambiamenti effettivamente generati e non tanto sulla bontà dell’azione o del progetto in senso astratto. Il passaggio culturale che sottende questa nuova visione è il “senso” che anche la riforma riconosce al Terzo settore, non mero attuatore, ma co-autore delle politiche sociali del nostro Paese. Se un’organizzazione deve solo attuare le policy decise da altri, forse si può limitare a raccontare e descrivere; ma se un’organizzazione deve definire le policy insieme ad altri attori, deve poter valutare cosa sia meglio attuare e cosa no. La valutazione d’impatto è coerente con l’assunzione di questo secondo ruolo.

4) La misurazione è un “di cui” della valutazione. Il tema della valutazione spesso viene sovrapposto al tema della misurazione d’impatto. A mio parere la “misurazione” è un “di cui” della valutazione. Valutare l’impatto significa definire se l’azione ha generato i cambiamenti attesi, nel breve e nel medio-lungo periodo, se i cambiamenti hanno raggiunto il target previsto, se hanno generato l’impatto per cui il progetto era stato ideato. Per questo è però necessaria una “misurazione d’impatto”, che rappresenta la parte quantitativa di questo processo. Deve esserci cioè un’unità di misura, non necessariamente economico-monetaria, ma quantomeno quantitativa, confrontabile, comparabile. La misurazione aiuta quindi a rendere la valutazione meno soggettiva, meno “narrativa”. Non perché le narrazioni siano inutili, anzi un buon impact report deve contenere aspetti qualitativi e quantitativi; ma le difficoltà con cui si scontra il terzo settore e in generale chi opera nel sociale riguardano oggi proprio gli aspetti quantitativi, mentre la “qualità” e le “descrizioni” sono strumenti già ben maneggiati, se non altro per l’esperienza maturata sul tema della reportistica sociale. Per permettere di fare un passo in avanti, le “quantità” devono entrare nei processi di valutazione degli interventi sociali, senza snaturarli, senza pensare di monetizzare o quantificare ogni cosa, ma cercando di fare un passo in più per oggettivizzare i risultati sociali.

5) Non competizione, ma cambiamento. L’obiettivo della valutazione non è creare competizione tra organizzazioni, ma fare in modo che si possano valutare gli interventi e la loro validità nel generare un cambiamento nei beneficiari/utenti. Questo corrisponde a quanto nei fatti si può osservare: da ormai 10 anni lavoro sulla misurazione dell’impatto delle cooperative sociali di tipo B e non ho mai visto utilizzare i risultati (annui ed espressi in moneta, unità di misura fortemente comparabile) per definire quale cooperativa avesse piani di inserimento più “efficaci” di altre nel generare un risparmio sui budget pubblici. Non l’ho visto fare dalle cooperative e nemmeno dalla Pubblica Amministrazione che otteneva i risultati della valutazione. Ho visto invece una forte legittimazione di un’attività prettamente sociale, riconosciuta dai più, ma che grazie alla misurazione d’impatto dimostrava la sua efficacia e la sua efficienza, anche economica. Ho visto inoltre come sia possibile utilizzare i dati di una valutazione d’impatto aziendale per misurare l’impatto di una policy, intendendo la cooperazione sociale di tipo B una delle poche concrete attuatrici di politiche attive del lavoro in Italia.

6) Valutazione, apprendimento e legittimazione. In tale ottica mi sembra giusto sottolineare l’utilità della valutazione d’impatto, su due principali filoni: il tema dell’apprendimento interno; il tema della legittimazione esterna, soprattutto rispetto ai promotori delle politiche. L’attività di valutazione dell’impatto diventa un passaggio fondamentale per legittimare gli interventi delle organizzazioni, soprattutto nel momento in cui si intenda influenzare la scelta di policy che vi sta alla base. Mi rendo conto che il passaggio top-down non sia sempre facile, ma quando ho visto organizzazioni portare l’esito della valutazione alla Pubblica Amministrazione competente, mostrando che la policy che si sono trovati ad attuare era vincente, o invece da rivedere, sulla base di quegli esiti, ho anche visto amministratori pubblici molto attenti e interessati a tali informazioni.

Questo è anche il caso dell’esempio che propongo nell’articolo: seppur sorta in maniera esogena (alla luce di un bando di finanziamento) la valutazione si è tradotta in un processo di formazione per l’organizzazione e in un’opportunità per riflettere sulle policy di intervento attuate dal soggetto pubblico.

La metodologia applicata

L’attività di valutazione ha preso avvio dal coinvolgimento degli stakeholder di progetto, per valutare gli esiti su ognuno di essi, per poi comprendere il processo di realizzazione progettuale e l’impatto socio-economico della Recovery sul sistema sanitario e sugli utenti. Si è disegnata la “teoria del cambiamento” del progetto, che confrontava input, output, outcome e impatti.

Gli stakeholder identificati sono i seguenti:

• utenti: sono coloro che hanno preso parte al progetto, sia in qualità di partecipanti ai corsi di formazione, sia perché hanno contribuito a co-produrre le azioni progettuali. Si tratta di utenti dei servizi di salute mentale che hanno deciso di partecipare ai corsi, di diventare co-docenti o utenti esperti;
• operatori: sono tutti coloro che – a diverso livello – hanno operato per l’implementazione della filosofia della Recovery partecipando, sponsorizzando, organizzando, realizzando le attività progettuali. Si tratta di operatori direttamente a contatto con l’utenza, dirigenti dell’Azienda Ospedaliera di diverso livello organizzativo e responsabili delle organizzazioni partner del progetto (altre aziende ospedaliere, organizzazioni del terzo settore che si occupano di salute mentale);
• cittadini e territorio: il progetto di Recovery per essere completo deve coinvolgere e rivolgersi al territorio, alla comunità. I corsi di formazione erano infatti rivolti all’intera cittadinanza del territorio di riferimento (Brescia e provincia); a questo proposito sono state intervistate e considerate le persone che hanno preso parte al progetto senza essere utenti dei CPS;
• rete e network: il progetto, per poter divenire capillare nelle sue articolazioni e soprattutto nei suoi effetti sulle singole persone, doveva prevedere il contatto con il territorio, affinché il concetto di Recovery fosse poi traslato nella vita quotidiana dell’utente e nella sua rete di relazioni. Per questo, all’interno del progetto erano previste collaborazioni e relazioni con associazioni, organizzazioni culturali, ecc. che nelle loro attività avrebbero potuto accogliere o dedicare opportuni spazi alla tematica e agli utenti del servizio di salute mentale. Tali organizzazioni sono state contattate per chiedere loro una valutazione delle azioni progettuali.

Per ogni stakeholder è stata definita una specifica finalità della valutazione, con riferimento agli obiettivi di progetto. I metodi di ricerca utilizzati si rifanno principalmente alle metodologie di ricerca sociale; si tratta di: questionari ed interviste; focus Group; osservazione, laddove il valutatore ha potuto partecipare a gruppi di lavoro del network del progetto e trarre spunti utili da quanto emerso dagli stessi; per una parte della misurazione d’impatto si è adottato il metodo SROI. La valutazione è stata condotta al termine del primo anno di progetto, scontando le difficoltà di un progetto ancora in fase di start-up.

Una sintesi sugli output di progetto

La valutazione ha dato esiti sui seguenti output:

– Il target di persone raggiunte, con un incremento di frequenza nei corsi, ma soprattutto un passaggio da partecipanti “utenti dei servizi” a un aumento di “non utenti” e operatori. Questo è particolarmente significativo per il raggiungimento di tutti gli obiettivi progettuali. Infatti, se il primo target era l’utenza, tra le finalità del progetto, al fine di diffondere l’utilizzo delle pratiche della Recovery, vi era quella di “permeare” l’organizzazione aziendale con la filosofia della Recovery – passaggio per il quale è necessario l’intervento degli operatori – e di coinvolgere la comunità e il territorio – per il quale è necessario il supporto dei cittadini. Emerge inoltre come il numero dei partecipanti proveniente da territori diversi da quello dell’U.O competente aumenti, sempre nell’ottica di permeare il territorio con le attività di progetto.

– Il processo di modifica dei servizi alla salute mentale in ottica di co-produzione è un output di progetto non ancora raggiunto, dato anche lo scarso tempo trascorso dall’avvio. Il cambiamento culturale e organizzativo che sottende il tema della Recovery è ancora la “barriera” più importante da superare, molto più degli aspetti comunicativi esterni o delle reazioni dell’utenza.

– I cambiamenti immediati valutati dagli utenti, che hanno dato informazioni importanti in merito agli aspetti di socializzazione che derivano dal progetto. La quasi totalità degli utenti ha migliorato il proprio approccio alle relazioni esterne dopo la frequentazione dei corsi o l’applicazione del metodo della Recovery. Da parte degli utenti è emersa la necessità di ampliare la diffusione e la promozione del progetto per coinvolgere più cittadini e territorio e puntare all’abbattimento dello stigma. Emerge un limite della Recovery rispetto ai casi più “difficili”, cioè a quelli con continue ricadute (l’utilità della Recovery da parte dell’utente sembra venir meno) o laddove sia necessario il ricovero (gli operatori dichiarano di non vedere la conciliabilità degli strumenti appresi, in questi casi).

– I cambiamenti valutati dagli operatori, che riconoscono l’utilità del percorso. La valutazione complessiva è quella di un percorso “pioneristico” e “rivoluzionario” che sta cambiando in primis l’approccio di chi l’ha scelto convintamente e che, solo tramite la contaminazione agita da questi operatori potrà permeare l’organizzazione.

– Un aspetto molto interessante riguarda il coinvolgimento di cittadini e territorio (esterni ai servizi di salute mentale), soggetti che partecipavano ai corsi di formazione spesso ignorando tutto il progetto, la presenza dei servizi di salute mentale, ecc. ma scegliendo in base alle tematiche di interesse. È stato richiesto un giudizio sulla corrispondenza tra attese e risultati. Il 68% dei partecipanti dichiara che le attese sono state rispettate in pieno, per il 28% sono state abbastanza rispettate. L’utilità in futuro del corso è riscontrata da parte di tutti i partecipanti, l’opinione comune riguarda la possibilità di utilizzare gli strumenti e le conoscenze apprese per generare un cambiamento, personale o nel mondo esterno. Pare che l’arricchimento ottenuto dal corso sia ben più ampio di quanto appreso durante la formazione, ma derivi da “un’apertura mentale data da un’esperienza che diventa il punto di partenza per un cambiamento futuro”.

– Infine, sono state coinvolte le organizzazioni della rete e del network di progetto (associazioni culturali, teatrali, biblioteche, ecc.). Le valutazioni sono tutte estremamente positive. Gli obiettivi della creazione di una rete – cioè l’abbattimento dello stigma e dell’auto-stigma, il dare la possibilità agli utenti di “uscire” dai servizi tradizionali e sperimentare il territorio, il creare una “comunità per la salute mentale” – sembrano raggiunti, considerando il periodo analizzato. Il campione di valutazione è estremamente ridotto, quindi di certo tra gli aspetti da promuovere per la continuazione e il radicamento del progetto vi dovrebbe essere un ampliamento del network e un coinvolgimento sempre più ampio di realtà del territorio, al fine di dare corpo alla Recovery che nei corsi viene presentata.

La misurazione dell’impatto socio-economico tramite metodo SROI

A seguito della misurazione degli output, si è passato a dare conto degli outcome di progetto, cercando di superare i cambiamenti immediati, di breve periodo, percepiti e descritti dagli stakeholder, per comprendere se la Recovery è un approccio al tema della salute mentale innovativo, efficace ed efficiente. Si è cercato di misurare se la Recovery è in grado di migliorare concretamente la condizione dell’utenza, anche condizionando il modo in cui l’utenza vive. La valutazione dell’impatto del progetto si è focalizzata quindi sul cambiamento generato negli utenti tramite la Recovery, filosofia “alternativa” rispetto al tradizionale approccio “medicalizzato” della psichiatria. Questa valutazione ha combinato variabili sociali ed economiche, monetizzando alcune delle stesse, per giungere ad un indicatore di sintesi.

Il limite di questa valutazione è il periodo temporale analizzato: presentare i risultati dopo un solo anno di progetto è senza dubbio un lasso di tempo troppo breve, che ci fa dire che il risultato potrebbe essere sottostimato, perché non ha potuto considerare pienamente gli esiti su tutte le variabili poi esposte. Il modello di calcolo è stato applicato a 10 utenti che hanno seguito il percorso di Recovery, sia tramite la frequenza ai corsi del progetto FOR, sia tramite l’impiego della metodologia della Recovery. I risultati economici forniti sono una media per utente della variazione annua di risorse indicate nella variabile specifica. Il modello ha considerato la variazione da anno in anno dei seguenti indicatori, per ognuna delle persone analizzate. Nella misurazione d’impatto analizzata vi è quindi un confronto tra situazione ex ante ed ex post rispetto al primo anno di progetto.

Le variabili considerate sono le seguenti. Ogni scheda è stata compilata in collaborazione dallo staff che segue l’utente (medico psichiatra, infermiere, responsabile CPS, ecc.) immettendo quanto richiesto per le due annualità considerate. L’analisi ha prima misurato le variazioni in termini di quantità, per poi passare alla monetizzazione di alcune delle variabili suesposte, e delle conseguenti variazioni.

Si riportano di seguito le variazioni delle variabili sociali, non monetizzate. Le variabili sociali mostrano un lieve miglioramento negli utenti (si tenga in considerazione il periodo di analisi limitato) che deve essere continuamente monitorato e aggiornato per valutare l’outcome del progetto Recovery sulla situazione sociale di chi soffre di disturbi psichiatrici. Dopo il primo anno di progetto il 70% del campione migliora, anche se solo lievemente, le proprie competenze “pro-sociali” e il “grado di partecipazione ad attività socializzanti”. Non è rilevato alcun peggioramento. Le variabili economiche sono state misurate precisamente, avendo a disposizione tutti i dati completi degli utenti nel periodo ex ante e nel periodo ex post, e successivamente monetizzate in base a proxy quali “costo medio di una giornata in comunità”, “costo medio di un TSO”, ecc. rifacendosi alla normativa e ai tariffari sanitari in vigore. L’esito delle variabili economiche misurate mostra un risparmio di risorse medio per utente, all’anno, di circa 780 €.

In base a quanto reperito in letteratura, si propone qui una prima misurazione dello SROI del progetto Recovery bresciano, considerando il costo del progetto finanziato dall’esterno e il valore prodotto come appena esplicitato. Si tratta comunque di una misurazione “prudente”, nel rispetto dei principi di applicazione dello SROI stesso. Lo SROI misura “quanto valore genera l’investimento di 1€ nel progetto”. Specificatamente, in base alle variabili considerate, lo SROI di progetto è di 1,2. Significa che per ogni euro investito nel progetto, esso genera (almeno) 1,2 € di valore.

Conclusioni

La sintesi con cui è stato esposto il caso non permette ulteriori approfondimenti metodologici, ma è corretto riprendere alcuni punti chiave:

• il processo di valutazione d’impatto, impostato tenendo a riferimento gli obiettivi di progetto e attuato coinvolgendo tutti gli stakeholder, è il passaggio fondamentale perché la valutazione abbia le valenze “formative” di cui sopra;
• l’analisi delle attività realizzate e degli output di progetto è il primo passaggio per poter leggere i cambiamenti realizzati. Non è importante solo il numero di partecipanti alle azioni, ma verificare la variazione della loro composizione nel tempo, capire la rispondenza tra attese-esiti e soprattutto comprendere come la partecipazione abbia influenzato il loro comportamento;
• l’analisi degli impatti ha quindi preso avvio dal punto precedente per capire se la metodologia della Recovery avesse generato i cambiamenti attesi su tutti gli stakeholder (considerando la tempistica ristretta ad un anno), andando a misurare tali variazioni e – in un caso specifico – dando ad esse un valore economico;
• le metodologie applicate sono diverse; al termine del processo il report di valutazione conteneva numeri, narrazioni, tracce di interviste, dati economici, tutti miranti a fornire informazioni utili per valutare l’approccio della Recovery e poterlo confrontare con altri approcci alla salute mentale. L’indicatore sintetico dello SROI, utilizzato per la monetizzazione degli esiti progettuali specifici, è solo una parte della valutazione d’impatto;
• l’utilità della valutazione è stata particolarmente rilevante a più livelli: per comprendere il percorso di implementazione del progetto, gli aspetti più validi e quelli più deboli; per tentare di proporre un nuovo approccio alla salute mentale, non solo validato da studi internazionali, ma dall’esperienza concreta attivata in quell’azienda ospedaliera, e avendo gli strumenti per dimostrare l’efficacia e l’efficienza (anche economica) di tale scelta; per permeare le organizzazioni partner mostrando i cambiamenti generati e cercando di trasferire l’esperienza appresa.