Hatásértékelés szerepe Nemzeti Fejlesztési Ügynökség Értékelési Divízió Nemzetközi értékelési konferencia, Budapest, május 6-7.

Az értékelés szerepe Az értékelés szerepe a program ciklusban a visszacsatolás a programozás / döntés hozatal támogatása érdekében Felhasznált információk A monitoring támogatja az értékelést, de az nem kizárólag monitoring információkat használ, hanem létező, más célból gyűjtött adatokat vagy saját adatgyűjtést is  Alkalmazott módszerek Kvantitatív és kvalitatív módszerek sokasága Kontrafaktuális (kontroll összehasonlítást használó) módszerek / nem összehasonlító módszerek A hatásértékelés egy kvantitatív kontrafaktuális módszer  Időbeni viszonya a program végrehajtáshoz Ex-ante / ongoing / ex-post

Hatásértékelés jellemzői Legobjektívebb és legmegbízhatóbb eredmények a beavatkozás tényleges hatásairól, de nem univerzális csodamódszer, mert:  Fekete doboz módszer – jellemzően kevés információt kapunk az okozati kapcsolatokról  Elsősorban közvetlen hatások kimutatása  Értelmezési nehézségek - kontrafaktuális módszertan  A hatásértékelés a program működéséről mond valamit és nem általában a program indokoltságáról  Programok összehasonlításához úgy volna fair alkalmazni, ha mindre elkészülne

Hatásértékelés kivitelezésének feltételei / problémái  Adatgyűjtés – a program indulása előtt meg kell/kellene tervezni és ehhez erőforrást rendelni ‘prospective impact evaluation’ (Barca report)  Időzítés – 2 éves adatokon, 4-6 évvel ezelőtti programok hatásai  Kizárólag a program által, egy hatásmechanizmus mentén okozott változást, hatást tudjuk becsülni, amely hatásmechanizmus kérdése viszont függ:  változó program feltételektől (pl. előleg vagy utófinanszírozástól)  a támogatás különböző mértékétől  a célcsoport különböző alcsoportjaitól

Bizottsági ex-post értékelés tapasztalatai  A monitoring és az értékelés legtöbbször nem kellőképpen csatornázódik be a döntéshozatalba  Az értékelést nem támogatja kellőképpen a monitoring – hiányzó / rosszul mért output és eredmény indikátor értékek  Nincs elegendő számú értékelés – pl. a vissza nem térítendő gazdaságfejlesztési programok esetén, ahol ismert problémákkal szembesül a szakpolitika

A hatásértékelés eddigi hazai tapasztalatai az EU-s programok kapcsán A hatásértékelés számos nehézség ellenére kivitelezhető  Eddigi eredményeink többnyire összhangban vannak a nemzetközi szakirodalommal  Kicsi vagy nincs kimutatható nettó hatás De mennyivel is lennénk elégedettek (célérték sem vonatkozik általában nettó hatásra)?  Ha van hatás időben csökkenő vagy ellentétesbe csapó De milyen időtávon is gondolkozunk?

Hatásértékelés továbbfejlesztési lehetőségei Ne csak átlagos hatást mérjünk, hanem a program célzottságának támogatása érdekében differenciáljuk a hatásokat  Hatás eloszlásának vizsgálata a célcsoporton belül minden megfigyelési egységnél más mértékű hatás jelentkezik  Időbeli hatásprofilok megkülönböztetése a programok hatásainak a jelentkezése időben eltérhet  Közvetett hatások mérése

Hogyan lehet jobban csinálni a hatásértékelést a jövőben?  Az értékelés és a hatásértékelés nem különülhet el a tervezéstől  Jól meghatározott és mérhető beavatkozási logika / hatásmechanizmus / oksági lánc / theory of change  Az elvárt eredmények pontos és értékelhető (!) megfogalmazása  A hatásértékelés előzetes megtervezése (prospective impact evaluation)

Az értékelési eredmények visszacsatornázásának rendszere  Knowledge production vs. Knowledge use – Az értékelési eredmények közös értelmezése vezethet csak helyes szakpolitikai következtetésekhez. Érintettek: értékelők / programgazdák / szakmai közvélemény / szélesebb közvélemény  Policy learning vs. accountibility A nettó hatás statisztikai becslés eredménye, nem lenne célszerű sem előírni / sem elvárni… …részben a módszer nem 100%-ban standardizált, de gondoljunk csak az egyszerű indikátorokkal kapcsolatos nehézségekre/ torzításokra…

Köszönöm a figyelmet!