Területi programozás és monitoring 7. Program szintű értékelés

Az előadások a következő témára: "Területi programozás és monitoring 7. Program szintű értékelés"— Előadás másolata:

1 Területi programozás és monitoring 7. Program szintű értékelés
Kulcsár Gábor VÁTI Stratégiai Tervezési Igazgatóság ELTE TTK geográfus szak 2008. Április 11.

2 A program értékelés Strukturált folyamat, melynek során a program
által elért eredményekről ítéletet alkotunk és megértjük. Részei: Releváns információ összegyűjtése Ezek értékelése elfogadott kritériumok alapján Jelentés az értékelés eredményéről Ami beépítésre kerül a következő programba

3 Értékelés alapkérdései
Relevancia: kiváltó körülmények fennállnak? Eredményesség: sikerült a célokat elérni? Hatékonyság: eredmények vs. források Hatásosság: a célra irányult a fejlesztés?

4 Értékelési kritériumok
Értékelési kérdések kapcsolata a beavatkozási logikával

5 Értékelés és monitoring kapcsolata
Input Output Eredmény Hatás Monitoring Értékelés Az értékelés a monitoring után kezdődik kiindulópontja a monitoring adatok és elsősorban a hatásokra koncentrál Nem a mi történt?, hanem a hogyan és miért

6 Programok értékelése - előzmények
1950-es években USA – közigazgatás hatékonyság mérése (Planning Programing Budgeting System) létrejötte, majd oktatás, szociális szolgáltatási, közegészségügyi és bűnmegelőzési témák értékelése 1970-es évek – terjedő elutasítás a közigazgatásban a mesterséges társadalmi kísérletekkel szemben 1980-as években a decentralizált menedzsment koncepció része lett SEM 2000 program (Sound and efficient management) MEANS program – 1999 GUIDE Általában közcélú tevékenységek elemzése a közgazdaságtan, gazdaságföldrajz, antropológiai, szociálpszichológia és szociológia módszereivel

7 Programok sajátosságai
Kombinált célrendszer (ld. KMR Op) Több szférát érintő beavatkozások Fejlődéstörténete: Single European Act 1986 V. fejezet 130 d) cikk hatásosság növelésről 1988-ban a 6. cikk 2 par. Előírja az ex ante és ex post értékeléseket 1993. júliusi szabályozás megerősítette az értékelést (csak akkor adható a támogatás) 3. generációs szabályozás (átfogó hatás a Közösségi célok, a prioritások és horizontális prioritások szempontjából)

8 Szakpolitikai-program és értékelési ciklusok
Az értékelések időbeni lefolytatása biztosíthatja, hogy a tanulságok beépülnek a program és szakpolitika kialakításának menetébe Policy Formulation Policy Review Programme Conclusions Programme Design Ex-ante Feasibility Evaluation Ex-post /Results Evaluations Ongoing / Mid term Evaluation Programme Implementation Policy Delivery

9 Az értékelés fő céljai:
Tervezés/hatékonyság – biztosítja a szakpolitika/program igazolását és az erőforrások hatékony elosztását. Elszámoltathatóság – bemutatja, hogy a program mennyire érte el a kitűzött célokat és milyen módon használta fel az erőforrásokat. Megvalósítás szempontból – javítja a program teljesítményét és támogatások célba juttatásának hatásosságát. Tudásszint emelése – A dolgok működéséről (milyen körülmények között, hogyan működnek különböző eszközök) és a beavatkozások hatékonyságának növeléséről. Intézményi megerősítés – javítja és fejleszti a program résztvevők, hálózataik és intézmények kapacitásait.

10 EU értékelési alapelvei
Konstruktív érvényesség (hatások kellő pontossága) Belső érvényesség (adatgyűjtés torzulásmentes – belső okozatok) Külső érvényesség (általánosíthatóság) Hitelesség (credibility) információhoz való hozzáférés megbízhatóság (reliability) tárgyilagosság, elfogulatlanság (impartiality) átláthatóság nyilvánosság

11 Az értékelés koncepciói
Szempont Menedzseri Demokratikus Pluralisztikus Általános, átfogó projekt A közforrások optimalizálása A polgárok bevonása és jelentés készítése Kollektív problémamegoldás Érték megállapítás Független értékelők (szakértők) Választott képviselők bírálnak A tevékenységben résztvevők bírálnak Szabványok objektivitás Nyilvánosság Pártatlanság Vezetői értékelés (managerial) – közigazgatás teljesítményének értékelése Demokratikus értékelés – választott képviselők útján történik (kísérleti beavatkozások esetében) Plurális értékelés (plural) – közös álláspont kialakítása a cél

12 Az értékelés megközelítései
Megközelítések: Alakító (formative) értékelés Megvalósítók számára visszajelzés a megvalósítás során. Összegző (summative) értékelés Nyilvánosság számára készülő értékelés a fejlesztés indokoltságáról és eredményességéről Kontextus értékelés - projektcélok jók voltak? Folyamat értékelés - a munkaterv alkalmas a projekt céljainak elérésére? Eredmény értékelés - a projekt eredményei? Célok elérve? A projekt hatásai mik voltak? Elégedettség értékelés - a kedvezményezettek elégedettek a projekttel?

13 Közösségi hozzáadott-érték
Társadalmi-gazdasági kohézió Policy hozzáadott-érték (Közösségi célok) Pénzügyi hozzáadott-érték Módszertani, partnerségi, tervezési, értékelési és menedzsment működés terén Tapasztalatcsere és hálózatos együttműködésből adódó érték

14 Az értékelés típusai átfogó értékelés – mindent értékel
tematikus értékelés – egy témát vizsgál több beavatkozással kapcsolatban in-depth értékelés – egyes témákban létrejövő hatásokról előzetes (ex ante) értékelés – összefüggések elemzése közbenső értékelés – monitoring és megvalósítás értékelése folyamatos értékelés – a beavatkozás megvalósításának teljes idejére utólagos (ex post) értékelés – beavatkozás lezárulta után

15 Egyéb fogalmak Önértékelés – megvalósító végzi
Belső értékelés – program megbízásából végzik az értékelők Külső értékelés – a beavatkozásért nem felelős értékelők végzik Értékelő bizottság (evaluation commitee) – érdekeltekkel bővített Evaluation setting: szervezetek, menetrend, módszer és viszonyuk Értékelési rendszer: szabályok, intézmények, eljárások, források együtt Elő-értékelés: előtanulmány az értékelésről, hogy döntés legyen Értékelhetőségi tanulmány: technikai, intézményi feltételek a lehetőségről Tematika (ToR) Értékelési kérdés: leíró, okozati jellegű és normatív (megfelelő-e)

16 Beavatkozás szereplői
Működtető/projekt felelős Finanszírozó TÉRSÉG jogosult érintett

17 Az értékelés résztvevői - az érintettek
Donorok - EU, állam, önkormányzat stb. helyi partnerek - magánszemélyek, szervezetek trénerek mentorok - támogatók projekt team (adminisztráció) kedvezményezettek - a célcsoport helyi résztvevő cégek a termékek és szolgáltatások végfelhasználói potenciális követők (hasonló projektet tervezők) nemzetközi partnerek

18 Hatások Elemzés: Bruttó, nettó és holtsúly hatások
Elmozdulási hatás – létrejön, míg máshol megszűnik pl. munkahely kivonó, helyettesítő hatás – pl. nyugdíjas helyére Társfinanszírozási tényező – beavatkozástól független pl. piaci hatás Multiplikátor hatás Közvetlen, beemelő, kerelet-kínálati hatások Strukturáló hatások Impulzus hatás Szinergia – antiszinergia hatások Foglalkoztatási hatások (közvetlen-közvetett, átmeneti-tartós) Elemzés: Oksági elemzés – mechanizmus és társfinanszírozó tényező együtt Beavatkozási – prospektív és magyarázó - retropespektív elméletek Belső – külső koherencia Komplementaritás – több beavatkozás között

19 Módszerek 1. Strukturáló technikák: SWOT Logikai keretmátrix
Hatástérkép Színes szavazat Kereszthatások mátrixa Információgyűjtési technikák: Alapadatok felmérésből Másodlagos adatok pl. monitoring rendszerből Összehasonlító adatok Idősorok, longitudionális adatok egyes csoportokra kül. időpontban Mintavételi eljárás Kérdőíves felmérés Egyéni interjú és fókuszcsoportos megbeszélés Esettanulmány

20 Módszerek 2. Elemzési technikák Összehasonlító – kontroll csoport
Összeillő párok képzése Regressziós analízis Kovariancia analízis Faktoranalízis Shift-share analízis Input-output elemzés Makroökonómiai modellek Delphi-módszer

21 Módszerek 3. Ítéletalkotási technikák Szakértői panel Benchmarking
Multikritérium elemzés Költséghatékonysági elemzés Költség-haszon elemzés (CBA)

22 Indikátorok kialakítása
1. Az értékelés végső célja? (előzetes, folyamat stb.) 2. Kinek számára készül az értékelés? (célcsoport) 3. Milyen szempontból értékeljük a projektet? (aspektusok) 4. Milyen információk szükségesek ehhez? (informatív legyen) 5. Milyen időközönként kell gyűjteni? Kontextus mutató – nemcsak a program hatásait mutatja Alaphelyzet Program mutató (input és output) Általános indikátor (különböző outputokra összefoglalóan) Key indikátor (különböző beavatkozásokra nézve) Felhasználási ráta (előirányzat/lekötés) Teljesítési ráta (tervezett/teljesített output) Lefedettségi ráta (érintett/jogosult)

23 Értékelési indikátorok (példa)

24 Információ elemzés Előre rögzített értékelési célok, szempontok és mutatók Nem túl nagyratörő értékelési eljárás Képzett és tapasztalt értékelők + IDŐ! Rendszeres és strukturált adatgyűjtés Könnyű hozzáférés az információkhoz IT erőforrások és készségek Fegyelmezett adatgyűjtés Összegzés (total) és részösszegek (KKV) Arány (%) - összehasonlíthatóvá tesz Átlag Összehasonlítás - segít az okok elemzésében kereszt-tábla - típusok elkülönítése trendek - időben, before-after elemzés diagram - vizuális funkció

25 Az értékelés hasznossága
Különböző szereplőknek - megfelelő jelentés! 1. Donorok - projekt cost/benefit 2. Projekt gazda - nehézségek és új lehetőségek 3. Helyi partnerek - a helyi társadalom haszna 4. Társszervezetek - adaptációs lehetőségek 5. Nemzetközi közvélemény - határmentiség 6. Kedvezményezettek - saját haszon!

26 Köszönöm a figyelmet! gkulcsar@vati.hu