Területi programozás és monitoring 7. Program szintű értékelés Kulcsár Gábor VÁTI Stratégiai Tervezési Igazgatóság ELTE TTK geográfus szak 2008. Április 11.

A program értékelés Strukturált folyamat, melynek során a program által elért eredményekről ítéletet alkotunk és megértjük. Részei: Releváns információ összegyűjtése Ezek értékelése elfogadott kritériumok alapján Jelentés az értékelés eredményéről Ami beépítésre kerül a következő programba

Értékelés alapkérdései Relevancia: kiváltó körülmények fennállnak? Eredményesség: sikerült a célokat elérni? Hatékonyság: eredmények vs. források Hatásosság: a célra irányult a fejlesztés?

Értékelési kritériumok Értékelési kérdések kapcsolata a beavatkozási logikával

Értékelés és monitoring kapcsolata Input Output Eredmény Hatás Monitoring Értékelés Az értékelés a monitoring után kezdődik kiindulópontja a monitoring adatok és elsősorban a hatásokra koncentrál Nem a mi történt?, hanem a hogyan és miért

Programok értékelése - előzmények 1950-es években USA – közigazgatás hatékonyság mérése (Planning Programing Budgeting System) létrejötte, majd oktatás, szociális szolgáltatási, közegészségügyi és bűnmegelőzési témák értékelése 1970-es évek – terjedő elutasítás a közigazgatásban a mesterséges társadalmi kísérletekkel szemben 1980-as években a decentralizált menedzsment koncepció része lett SEM 2000 program (Sound and efficient management) MEANS program – 1999 GUIDE - 2004 Általában közcélú tevékenységek elemzése a közgazdaságtan, gazdaságföldrajz, antropológiai, szociálpszichológia és szociológia módszereivel

Programok sajátosságai Kombinált célrendszer (ld. KMR Op) Több szférát érintő beavatkozások Fejlődéstörténete: Single European Act 1986 V. fejezet 130 d) cikk hatásosság növelésről 1988-ban a 6. cikk 2 par. Előírja az ex ante és ex post értékeléseket 1993. júliusi szabályozás megerősítette az értékelést (csak akkor adható a támogatás) 3. generációs szabályozás (átfogó hatás a Közösségi célok, a prioritások és horizontális prioritások szempontjából)

Szakpolitikai-program és értékelési ciklusok Az értékelések időbeni lefolytatása biztosíthatja, hogy a tanulságok beépülnek a program és szakpolitika kialakításának menetébe Policy Formulation Policy Review Programme Conclusions Programme Design Ex-ante Feasibility Evaluation Ex-post /Results Evaluations Ongoing / Mid term Evaluation Programme Implementation Policy Delivery

Az értékelés fő céljai: Tervezés/hatékonyság – biztosítja a szakpolitika/program igazolását és az erőforrások hatékony elosztását. Elszámoltathatóság – bemutatja, hogy a program mennyire érte el a kitűzött célokat és milyen módon használta fel az erőforrásokat. Megvalósítás szempontból – javítja a program teljesítményét és támogatások célba juttatásának hatásosságát. Tudásszint emelése – A dolgok működéséről (milyen körülmények között, hogyan működnek különböző eszközök) és a beavatkozások hatékonyságának növeléséről. Intézményi megerősítés – javítja és fejleszti a program résztvevők, hálózataik és intézmények kapacitásait.

EU értékelési alapelvei Konstruktív érvényesség (hatások kellő pontossága) Belső érvényesség (adatgyűjtés torzulásmentes – belső okozatok) Külső érvényesség (általánosíthatóság) Hitelesség (credibility) információhoz való hozzáférés megbízhatóság (reliability) tárgyilagosság, elfogulatlanság (impartiality) átláthatóság nyilvánosság

Az értékelés koncepciói Szempont Menedzseri Demokratikus Pluralisztikus Általános, átfogó projekt A közforrások optimalizálása A polgárok bevonása és jelentés készítése Kollektív problémamegoldás Érték megállapítás Független értékelők (szakértők) Választott képviselők bírálnak A tevékenységben résztvevők bírálnak Szabványok objektivitás Nyilvánosság Pártatlanság Vezetői értékelés (managerial) – közigazgatás teljesítményének értékelése Demokratikus értékelés – választott képviselők útján történik (kísérleti beavatkozások esetében) Plurális értékelés (plural) – közös álláspont kialakítása a cél

Az értékelés megközelítései Megközelítések: Alakító (formative) értékelés Megvalósítók számára visszajelzés a megvalósítás során. Összegző (summative) értékelés Nyilvánosság számára készülő értékelés a fejlesztés indokoltságáról és eredményességéről Kontextus értékelés - projektcélok jók voltak? Folyamat értékelés - a munkaterv alkalmas a projekt céljainak elérésére? Eredmény értékelés - a projekt eredményei? Célok elérve? A projekt hatásai mik voltak? Elégedettség értékelés - a kedvezményezettek elégedettek a projekttel?

Közösségi hozzáadott-érték Társadalmi-gazdasági kohézió Policy hozzáadott-érték (Közösségi célok) Pénzügyi hozzáadott-érték Módszertani, partnerségi, tervezési, értékelési és menedzsment működés terén Tapasztalatcsere és hálózatos együttműködésből adódó érték

Az értékelés típusai átfogó értékelés – mindent értékel tematikus értékelés – egy témát vizsgál több beavatkozással kapcsolatban in-depth értékelés – egyes témákban létrejövő hatásokról előzetes (ex ante) értékelés – összefüggések elemzése közbenső értékelés – monitoring és megvalósítás értékelése folyamatos értékelés – a beavatkozás megvalósításának teljes idejére utólagos (ex post) értékelés – beavatkozás lezárulta után

Egyéb fogalmak Önértékelés – megvalósító végzi Belső értékelés – program megbízásából végzik az értékelők Külső értékelés – a beavatkozásért nem felelős értékelők végzik Értékelő bizottság (evaluation commitee) – érdekeltekkel bővített Evaluation setting: szervezetek, menetrend, módszer és viszonyuk Értékelési rendszer: szabályok, intézmények, eljárások, források együtt Elő-értékelés: előtanulmány az értékelésről, hogy döntés legyen Értékelhetőségi tanulmány: technikai, intézményi feltételek a lehetőségről Tematika (ToR) Értékelési kérdés: leíró, okozati jellegű és normatív (megfelelő-e)

Beavatkozás szereplői Működtető/projekt felelős Finanszírozó TÉRSÉG jogosult érintett

Az értékelés résztvevői - az érintettek Donorok - EU, állam, önkormányzat stb. helyi partnerek - magánszemélyek, szervezetek trénerek mentorok - támogatók projekt team (adminisztráció) kedvezményezettek - a célcsoport helyi résztvevő cégek a termékek és szolgáltatások végfelhasználói potenciális követők (hasonló projektet tervezők) nemzetközi partnerek

Hatások Elemzés: Bruttó, nettó és holtsúly hatások Elmozdulási hatás – létrejön, míg máshol megszűnik pl. munkahely kivonó, helyettesítő hatás – pl. nyugdíjas helyére Társfinanszírozási tényező – beavatkozástól független pl. piaci hatás Multiplikátor hatás Közvetlen, beemelő, kerelet-kínálati hatások Strukturáló hatások Impulzus hatás Szinergia – antiszinergia hatások Foglalkoztatási hatások (közvetlen-közvetett, átmeneti-tartós) Elemzés: Oksági elemzés – mechanizmus és társfinanszírozó tényező együtt Beavatkozási – prospektív és magyarázó - retropespektív elméletek Belső – külső koherencia Komplementaritás – több beavatkozás között

Módszerek 1. Strukturáló technikák: SWOT Logikai keretmátrix Hatástérkép Színes szavazat Kereszthatások mátrixa Információgyűjtési technikák: Alapadatok felmérésből Másodlagos adatok pl. monitoring rendszerből Összehasonlító adatok Idősorok, longitudionális adatok egyes csoportokra kül. időpontban Mintavételi eljárás Kérdőíves felmérés Egyéni interjú és fókuszcsoportos megbeszélés Esettanulmány

Módszerek 2. Elemzési technikák Összehasonlító – kontroll csoport Összeillő párok képzése Regressziós analízis Kovariancia analízis Faktoranalízis Shift-share analízis Input-output elemzés Makroökonómiai modellek Delphi-módszer

Módszerek 3. Ítéletalkotási technikák Szakértői panel Benchmarking Multikritérium elemzés Költséghatékonysági elemzés Költség-haszon elemzés (CBA)

Indikátorok kialakítása 1. Az értékelés végső célja? (előzetes, folyamat stb.) 2. Kinek számára készül az értékelés? (célcsoport) 3. Milyen szempontból értékeljük a projektet? (aspektusok) 4. Milyen információk szükségesek ehhez? (informatív legyen) 5. Milyen időközönként kell gyűjteni? Kontextus mutató – nemcsak a program hatásait mutatja Alaphelyzet Program mutató (input és output) Általános indikátor (különböző outputokra összefoglalóan) Key indikátor (különböző beavatkozásokra nézve) Felhasználási ráta (előirányzat/lekötés) Teljesítési ráta (tervezett/teljesített output) Lefedettségi ráta (érintett/jogosult)

Értékelési indikátorok (példa)

Információ elemzés Előre rögzített értékelési célok, szempontok és mutatók Nem túl nagyratörő értékelési eljárás Képzett és tapasztalt értékelők + IDŐ! Rendszeres és strukturált adatgyűjtés Könnyű hozzáférés az információkhoz IT erőforrások és készségek Fegyelmezett adatgyűjtés Összegzés (total) és részösszegek (KKV) Arány (%) - összehasonlíthatóvá tesz Átlag Összehasonlítás - segít az okok elemzésében kereszt-tábla - típusok elkülönítése trendek - időben, before-after elemzés diagram - vizuális funkció

Az értékelés hasznossága Különböző szereplőknek - megfelelő jelentés! 1. Donorok - projekt cost/benefit 2. Projekt gazda - nehézségek és új lehetőségek 3. Helyi partnerek - a helyi társadalom haszna 4. Társszervezetek - adaptációs lehetőségek 5. Nemzetközi közvélemény - határmentiség 6. Kedvezményezettek - saját haszon!

Köszönöm a figyelmet! gkulcsar@vati.hu