Oggi, che l’idea di valutazione di impatto sociale sta prendendo piede al punto di essere diventata quasi un obbligo per progetti ed organizzazioni del Terzo settore (vedi le linee guida ministeriali e il dibattito in corso su welforum), se si valutassero, in una sorta di meta valutazione, le esperienze di valutazione di impatto confrontando metodologie, risultati ottenuti e indicazioni di sviluppo e cambiamento che queste producono, credo che ci troveremmo spesso a constatare che “il re è nudo”, ovvero che nonostante la denominazione roboante, di valutazione di impatto se ne faccia ben poca.
Mi spiego meglio. Poiché da circa 25 anni sono impegnato a realizzare ricerche valutative nel campo degli interventi e delle politiche sociali, ho la netta sensazione (purtroppo non suffragata da una ricerca ma da semplici osservazioni legate alla pratica quotidiana) che in molti casi chi è impegnato a fare (per obblighi contrattuali) valutazioni di impatto di progetti complessi, quantitativamente e qualitativamente articolati, spesso chiami “valutazioni di impatto” ciò che anni fa chiamavamo semplicemente “valutazione”, o “valutazione con metodi misti”.
Fin dalle prime esperienze valutative di oltre un ventennio fa (mi riferisco per esempio ai progetti ex legge 285 97 che ho seguito fin dalle loro prime edizioni a partire dal 1999 o alle valutazioni dei piani di zona condotte a partire dai primi anni del nuovo millennio) i valutatori “seri” si ponevano il problema di: “a che cosa servono gli interventi promossi”, distinguendo indicatori di output (che rispondono alla domanda: che azioni sono state fatte? Quale è stata l’efficienza operativa?) da indicatori di outcome (che vanno più in profondità rispondendo alla domanda: le azioni sono fatte bene? Ovvero, che prodotti effettivi queste azioni hanno realizzato? Con che efficacia e qualità si è operato?) fino ai difficili indicatori di impatto, che dovrebbero dirci: a che cosa serve il nostro intervento, quale cambiamento ha effettivamente prodotto nei destinatari e nel contesto sociale e territoriale.
Rispetto a questi ultimi i valutatori “seri” avevano anche l’onestà intellettuale di dire che l’effetto netto di un intervento sociale difficilmente è osservabile, non potendo spesso oggettivamente determinare se un risultato acquisito dipende dall’intervento in esame o da altre variabili di contesto, se non su oggetti molto specifici e in misura adeguata, isolabili.
Per questo, allora, proprio per onestà intellettuale, si era molto cauti nel dire che una ricerca valutava l’impatto di un intervento o progetto, consapevoli che non vi era evidenza scientifica che i risultati osservati dipendessero da tale intervento. Ci si è spesso accontentati (ottenendo in realtà risultati spesso molto utili per gli sviluppi progettuali) di trovare punti di forza e criticità dei progetti in esame, per poi introdurre correttivi, miglioramenti e sviluppi.
Nella direzione della ricerca degli esiti netti degli interventi sociali, negli anni, si sono anche fatti interessanti tentativi di applicazione di metodologie sperimentali e controfattuali (con gruppo di controllo) a progetti o singoli interventi sociali riuscendo però molto raramente ad applicarle opportunamente sia per ragioni di tipo etico (non si può ignorare le esigenze di qualcuno solo perché fa parte del gruppo di controllo e non può ricevere un trattamento di cui necessita) che di ordine meramente pratico, in termini di tempi, costi e risultati.
Oggi, che la valutazione di impatto diviene non soltanto una modalità di autopromozione, ma una strada obbligata da norme e bandi, il rischio che mi sembra si corra è di una mistificazione del linguaggio. Finiamo con il chiamare valutazione di impatto ciò che si faceva anche prima e che più correttamente chiamavamo semplicemente valutazione o valutazione di esito o risultato.
Secondo me è un grosso rischio perché illude gli stakeholder delle valutazioni. Un conto è riconoscere consapevolmente i confini di un percorso valutativo (per poterne apprezzare i vantaggi), un conto è spacciarlo (perché obbligati) come valutazione di impatto quando tale non è perché assai spesso non può esserlo.
Con queste considerazioni non intendo generalizzare, anzi, ritengo che sia importante che un buon valutatore si ponga sempre la domanda: è possibile misurare l’impatto di questo intervento?
Credo però che allo stesso tempo dobbiamo essere consapevoli e sufficientemente onesti e liberi di dire che in alcuni (rari) casi questo è possibile, in altri sarà possibile solo parzialmente, in altri ancora non è effettivamente possibile o praticabile con le risorse spesso scarse che si dedicano alla valutazione. È corretto allora riconoscere che a volte ci dovremo accontentare di valutare attraverso indicatori di outcome che comunque ci diranno che, ragionevolmente, un intervento “ben fatto”, che ha effettivamente prodotto quello che aveva promesso, potrà avere un effetto positivo, anche se non sempre misurabile.
Se invece si pretende di fare sempre “valutazione di impatto netto” difficilmente se ne esce, e conviene allora assumere un approccio e una denominazione che siano più “aperti”.
Molti programmi UE e le LG applicative della Riforma del terzo settore, affiancano al termine “impatto” l’aggettivo “sociale”, che già può marcare una differenza di approccio e anche di prodotto rispetto ad impatto “netto”. Chi scrive assumerebbe l’opportunità anche contenutistica offerta dal termine sociale e tanto per meglio valorizzarla quanto per ridurre la troppe confusioni la staccherebbe dal termine impatto, riservando questo per maggior chiarezza alle valutazioni condotte con metodologie sperimentali e controfattuali, con gruppo di controllo.
La dizione “valutazione di impatto” potrebbe essere almeno provvisoriamente sostituita da “valutazione del cambiamento sociale”, per rilevare gli elementi di novità rilevabili nella situazione considerata e trattata con l’intervento, ma senza la pretesa di attribuirli all’intervento stesso in termini di causa effetto. Post hoc non implica propter hoc.
La questione terminologica non va del resto discussa in astratto, ma con riferimento al tipo e ai contenuti della valutazione che concretamente si intende e si riesce ad effettuare. Un corretto approccio alla valutazione deve infatti fare, caso per caso, una precisa chiarificazione sugli oggetti esplorati, la metodologia da adottare, cosa si considera possibile conoscere e cosa ci si aspetta di apprendere.
Comunque dato che di impatto sociale si parla in norme e linee guida propongo per il momento, pragmaticamente, di interpretare “impatto sociale” come il porsi la domanda: “che probabile contributo ad un cambiamento nei diretti destinatari e nel contesto sociale sta fornendo o ha fornito il progetto o intervento in esame? “. Evidentemente si tratta di una domanda alla quale realisticamente si può rispondere solo con una certa approssimazione, ma che può consentire di raggiungere risultati concreti ed apprezzabili e preservare dall’illusione di misurare gli effetti netti.
Si tratta di inserire l’intervento valutato in un contesto sociale e riflettere sul significato e il ruolo che l’intervento (e anche altre variabili di contesto) giocano in tale scenario.
Continuando a riflettere pragmaticamente, credo che un uso corretto e diffuso di tale approccio rappresenterebbe un passo avanti rispetto alla semplice valutazione di outcome (che ci dice se l’intervento è stato realizzato bene, ma in modo avulso dal contesto), che ci può aiutare a guardare se e come l’intervento si è sviluppato nel contesto in cui è inserito rispetto alle finalità che si prefigge, potendo anche definire se le finalità che si propone sono da considerare utili ovvero di rilievo sociale in tale contesto.
È in questa direzione che stiamo lavorando, impegnati in particolare in questi mesi nella valutazione di alcuni progetti finanziati dalla Impresa sociale “con i bambini” in tema di povertà educativa.
Ci sembra che in questo modo ciò che ci era apparso in prima battuta come un possibile vincolo (l’“obbligatorietà” di fare una poco praticabile “valutazione di impatto” dei progetti!) possa divenire una risorsa. I nostri disegni di valutazione, attentamente costruiti sulla base delle specifiche caratteristiche degli interventi di contrasto della povertà educativa, considerano pertanto non solo se i progetti sono fatti bene, ma anche come questi presumibilmente potrebbero incidere qualitativamente e quantitativamente nel contesto sociale.
In questa direzione incrociamo dati di domanda sociale, analisi dei bisogni, mappature di offerte di interventi e servizi di un territorio con analisi dei processi di sviluppo dei progetti e dei risultati anche parziali raggiunti dagli interventi nel corso del tempo, nell’ottica di considerarne potenzialità e probabile efficacia.
Si tratta di una strada ancora in buona parte da sperimentare che ci interroga caso per caso sulle finalità della valutazione, sui criteri valutativi da assumere, prima che su indicatori e strumenti.
La prospettiva è quella di evitare l’illusione di misurare effetti netti quasi mai isolabili, ma di trarre indicazioni e suggerimenti concreti ed efficaci per lo sviluppo non solo dei singoli progetti ma, più ampiamente, delle politiche di contrasto alla povertà educativa di quelle famiglie e di quei territori.
Ci sembra una strada promettente.
