Potenzialità e rischi della valutazione di impatto nel terzo settore

Le linee guida per la valutazione di impatto sociale previste dal codice del terzo settore costituiscono un ulteriore importante tassello per la diffusione della cultura della valutazione in Italia. In questo breve scritto vorrei soffermarmi su alcuni motivi per i quali la diffusione della valutazione al terzo settore è importante; vorrei però anche mettere in luce alcuni aspetti dell’impostazione generale proposta, che non sembrano ancora completamente sviluppati e sono pertanto meritevoli di attenta considerazione.   Le linee guida sono importanti perché il terzo settore ha avviato, ma non ha ancora consolidato un approccio valutativo all’interno delle proprie pratiche di lavoro. In una indagine del 2014¹ notavamo che gli Enti del Terzo settore dichiarano di fare molta più valutazione di impatto rispetto al passato; e tuttavia, al momento di descrivere le pratiche e gli strumenti adottati, i riferimenti più citati erano il bilancio sociale e la rendicontazione dei prodotti, strumenti per l’appunto più rendicontativi che valutativi in senso proprio. Tra i maggiori ostacoli alla valutazione di impatto veniva citata la mancanza di fondi, e la non disponibilità di adeguate competenze valutative. Si dirà che anche il settore pubblico debba fare ancora molta strada in termini di acquisizione di competenze valutative. Ma a ben guardare, grazie a spinte normative (a partire dall’introduzione della valutazione di impatto ambientale nel 1986), alla diffusione di principi di project management (si pensi al decreto legislativo 286 del 1999 che aveva avviato una riforma dei sistemi di controlli interni dell’amministrazione, basandosi sull’idea che essi fossero esclusivamente strumenti di direzione, in mano ai responsabili politici ed amministrativi, per il miglioramento della cosa pubblica), ma soprattutto all’azione dell’Europa (si pensi alla valutazione dei programmi operativi regionali e nazionali cofinanziati dall’UE), nella PA italiana sono stati creati e si sono rafforzati importanti nuclei di competenza valutativa  in settori strategici quali la scuola e l’università, la sanità, le politiche di sviluppo, la valutazione di performance. La cultura valutativa non è certamente pervasiva e probabilmente ancora limitata agli ‘addetti ai lavoro’, ma certo non è più estranea alla PA.   È importante che anche il terzo settore consolidi la costruzione o l’acquisizione di capacità valutative, per migliorare i propri servizi ma soprattutto perché costituisce una parte integrante del policy network pubblico; deve anch’esso condividere e magari stimolare un metodo di riflessione ed analisi che ha il compito fondamentale di migliorare i processi decisionali che presiedono all’elaborazione delle politiche, nonché la capacità di attuare gli interventi a maggiore beneficio dei cittadini-utenti. Il vantaggio sarà collettivo: anche per la disponibilità, tra gli operatori del terzo settore, di una conoscenza più fine e ravvicinata degli utenti e dei loro bisogni, conoscenza di cui spesso la PA è carente. In altre parole la valutazione come ‘competenza diffusa’ è molto importante per la sua funzione fondamentale di migliorare, con metodi adeguati e grazie all’utilizzo di evidenze empiriche, il modo con cui le politiche pubbliche vengono disegnate e implementate. In un processo sostanzialmente agli inizi è tuttavia importante mettere in luce anche alcune questioni discutibili dell’impostazione proposta dalle linee guida e che come tali meritano una riflessione.   Innanzitutto, la valutazione di impatto sociale ‘per il Terzo settore’ che sta approdando nel nostro Paese è qualcosa di diverso rispetto alla valutazione di impatto sociale nata ‘per gemmazione’ dalla valutazione di impatto ambientale e fiorita in particolare nell’ambito delle politiche di cooperazione allo sviluppo². La valutazione rivolta agli ETS non si concentra sulla fase ex ante ma principalmente su quella ex post: ciò significa spostare l’attenzione dall’ottica di mitigare i potenziali impatti negativi di una policy, all’ottica di analizzare i risultati conseguiti. Il problema di questa impostazione, già messo in luce da diversi commentatori, è che l’approccio alla valutazione promosso dalle Linee guida del terzo settore è più orientato più all’accountability e, aggiungerei, alla certificazione degli attori del Terzo settore. In base alle Linee guida, infatti, “gli ETS decidono di intraprendere un percorso di misurazione dell’impatto sociale per poter rendicontare il proprio impegno verso un miglioramento delle condizioni sociali dei territori e dei contesti (…), cioè per comunicare e trasmettere a tutti i soggetti interessati il cambiamento sociale, culturale ed economico che è stato generato”. Ovviamente ciò non è un male; l’accountability rientra tra le funzioni comunemente attribuite alla valutazione e, aggiungo, è un potente antidoto alla ‘valutazione come controllo e sanzione’ che costituisce uno dei maggiori ostacoli alla diffusione della cultura valutativa. Tuttavia, anche senza scomodare Robert Michels e la sostituzione dei fini di un’organizzazione, è anche importante tenere conto del contesto operativo del Terzo settore, caratterizzato dalla necessità di acquisire finanziamenti per la sopravvivenza delle organizzazioni stesse. Una valutazione con compiti di accountability-certificazione può entrare in conflitto con una genuina ricerca di evidenze e riflessioni per migliorare quello che si è fatto finora, in un quadro caratterizzato da molteplici complessità (di problemi, interazioni, strumenti di azione, risorse disponibili). Bisogna anche contemplare la possibilità che la valutazione venga utilizzata per illuminare solo i risultati positivi, oscurando quelli insoddisfacenti; oppure, addirittura, che costituisca un meccanismo di selezione ab origine dei beneficiari a maggiore potenziale di risposta positiva, escludendo i casi più difficili, quindi incerti nell’esito (questo meccanismo è stato studiato e si chiama creaming: in pratica, significa tenere per sé solo la parte migliore dei casi da trattare, lasciando perdere gli altri ad esito più incerto). Questo rischio può essere mitigato senza mettere in discussione tutta la valutazione; per farlo devono però essere individuati al più presto dei meccanismi di protezione da tali derive. Ad esempio, una possibilità può essere quella di mettere sotto la lente valutativa non solo gli impatti (non mi soffermo qui su alcune distinzioni offerte dalle Linee guida, tuttavia una maggiore precisione nelle definizioni sarebbe opportuna)³) ma anche i contesti e i processi che presiedono al raggiungimento di quegli impatti. Come si può affrontare in modo efficace il problema sul tappeto? Come si potrebbe migliorare la capacità di rispondere ai problemi, date le condizioni di contesto e le risorse disponibili? Quali meccanismi risultano più utili e promettenti? Quali azioni correttive o nuove soluzioni sono o possono essere elaborate a partire dalle evidenze raccolte e dalla riflessione sui risultati conseguiti in passato? Vorrei sostanzialmente suggerire al Terzo settore di prestare la dovuta attenzione al ‘come’ essi contribuiscono a conseguire esiti di rilievo, e non solo ‘quanto’ hanno prodotto. E di conseguenza alle Pubbliche amministrazioni incaricate di promuovere queste valutazioni, di fare altrettanto. Del resto, la quantificazione dei risultati raggiunti ci può essere utile a fini consuntivi e ricapitolativi, ma è solo l’analisi dei processi decisionali e di implementazione che può insegnare qualcosa di significativo su come si ottengono risultati soddisfacenti: cosa fare in quali contesti, con quali limiti, con quali potenzialità. Inoltre, gli Enti del terzo settore dovrebbero sforzarsi di non concentrare lo sguardo sul proprio perimetro di azione, ma di considerare, all’interno del quadro valutativo, le interazioni con i molteplici attori che quasi certamente interagiscono e contribuiscono al raggiungimento degli esiti, o li limitano e condizionano; nonché, per quanto possibile, gli apprendimenti di altri simili. Un tentativo di ridurre la miopia valutativa tipica della rendicontazione per obiettivi, indispensabile a una ragionevole considerazione delle condizionalità e degli inciampi che caratterizzano l’azione pubblica.   Si diceva che uno dei problemi è la costruzione delle competenze valutative. Su questi temi, coloro che nel terzo settore si avvicineranno per la prima volta alla valutazione potranno trovare un utile riferimento teorico e metodologico nella valutazione delle politiche pubbliche, una disciplina che si è sviluppata a partire dagli anni Sessanta negli Stati Uniti, nell’ambito dell’ambizioso programma di lotta alla povertà e alle ingiustizie sociali denominato Great Society, sotto la presidenza Johnson; per poi approdare in Italia circa venti anni dopo. Dovendo sintetizzare un lunghissimo dibattito, la valutazione delle politiche pubbliche ruota attorno ad alcuni elementi fondamentali: il pluralismo dei sistemi democratici moderni (le decisioni sono il frutto dell’interazione di diversi attori ed interessi), l’incertezza dell’azione pubblica (data sia dalla complessità dei problemi da affrontare, sia dalle soluzioni disponibili sia dalla limitata razionalità degli attori chiamati ad intervenire)⁴, e l’esigenza collettiva di migliorarne i risultati, progressivamente e sulla base di metodi trasparenti e criteri di giudizio espliciti.   L’acquisizione di una base comune di riflessione è preziosa per condividere quello che mi piace chiamare il mindset valutativo: il quadro concettuale per esplorare i legami tra contesto e risorse, attori, decisioni, azioni, e risultati attesi o raggiunti. Esprimere buone domande valutative è la prima e non banale prova dell’acquisizione del mindset valutativo. È cruciale che il Terzo settore faccia proprio, nel modo più diffuso possibile, questo tipo di competenza analitica. Esiste poi una dimensione di competenza metodologica e tecnica per disegnare e realizzare le valutazioni, a diversi gradi di complessità e di indipendenza/terzietà dal valutato. Su questo ovviamente il contributo di esperti è molto importante, e bene hanno fatto le Linee guida a lasciare libertà metodologica nella selezione dei metodi più adatti agli ambiti e alle domande valutative (nonché alle risorse e ai tempi a disposizione). Tuttavia, come il terzo settore acquisirà le competenze valutative, se creandole all’interno o acquistandole all’esterno, e come si potrà beneficiare collettivamente della conoscenza che verrà generata dalle valutazioni, sono ancora domande aperte, e di non poco conto.   Credo che le Linee guida abbiano di fatto sorvolato su questi elementi di complessità, che riassumo in quattro punti: la funzione della valutazione (accountability vs miglioramento); l’oggetto della valutazione (processi vs risultati); competenze valutative (nella dinamica tra autovalutazione e valutazione esterna) e utilità sociale dei risultati della valutazione (utilità per la singola organizzazione vs utilità per la collettività). Ecco perché le Linee guida possono essere viste come un punto di partenza, ma non di arrivo. Su questi punti è auspicabile un confronto tra i principali soggetti chiamati in causa dalle Linee guida: gli Enti del terzo settore, la pubblica amministrazione in qualità di committente delle valutazioni, i valutatori stessi e possibilmente gli stakeholder, per approfondire i temi lasciati aperti dalle Linee guida. Uno di questi laboratori di discussione ha il vantaggio di riunire esperti in tema di valutazione provenienti da diverse discipine ed è costituito dall’Associazione Italiana di Valutazione. L’AIV è una associazione culturale nata nel 1997 con lo scopo di diffondere metodi e pratica di valutazione, in particolare negli ambiti più innovativi. Nel 2018 abbiamo tenuto un importante convegno ad Urbino sul tema della valutazione di impatto sociale, e poco dopo abbiamo creato un gruppo tematico incaricato di creare una occasione continua di dibattito e confronto su questi temi. Il prossimo Congresso annuale AIV, che si terrà a Bari dal 2 al 4 aprile 2020, sarà una ulteriore possibile opportunità di dibattito a cui speriamo che gli Enti del Terzo settore possano contribuire attivamente.

1. Si veda in questo proposito l’indagine condotta da IRS per Fondazione Sodalitas nel 2014, Come le organizzazioni Nonprofit valutano l’impatto delle proprie attività.
2. Ho ripercorso la nascita e lo sviluppo della VIS, inclusi gli sviluppi recenti, in un articolo sulla RIV.
3. In base alle Linee guida ‘Le  pubbliche amministrazioni, nell’ambito di procedure di affidamento di servizi di interesse generale, possono prevedere la realizzazione di sistemi di valutazione dell’impatto sociale (…)  sì da consentire una valutazione dei risultati in termini di qualità e  di efficacia delle prestazioni e delle attivita’ svolte’. In questo passaggio sembra che i risultati coincidano con prestazioni ed attività, aspetti che però hanno a che vedere con la dimensione dei processi produttivi e degli output di tali processi.
4. Sull’incertezza, disse H. Heclo: “La politica ha le sue origini anche nell’incertezza: gli uomini sono collettivamente perplessi su cosa fare (…)Il processo di policy making è una forma di indagine collettiva a nome e per conto della società”. Sul tema dell’incertezza è tornato Mario Draghi, nel suo recente discorso in occasione del conferimento della laurea honoris causa in economia da parte dell’Università Cattolica: “I policy maker spesso decidono in condizioni di incertezza, in cui i risultati raramente sono conosciuti e valutabili con sicurezza (…) A maggior ragione le loro decisioni dovrebbero cercare di essere fondate sulla conoscenza degli esperti. Essa fornisce le basi: per comprendere nel profondo un problema, per essere in grado di prendere decisioni ponderate, il cui merito tecnico è tenuto distinto dal merito politico, e per saperle eventualmente correggere alla luce delle nuove evidenze”.