Monitoring, értékelés, ellenőrzés

A monitoring, az ellenőrzés és az értékelés A monitoring folyamatos adatgyűjtésen alapszik, amely alapján a menedzsment vizsgálhatja a tevékenység előrehaladását a kitűzött célok viszonylatában. Az ellenőrzés a folyamatok, tevékenységek állandó felülvizsgálatát jelenti, célja a szabálytalanságok, csalások, visszaélések kiszűrése. Az értékelés a program egészének áttekintése, célja a tevékenység hatásának vizsgálata a megoldani kívánt társadalmi-gazdasági probléma viszonylatában (relevancia, eredményesség és hatékonyság) Relevancia: el akarok-e menni A-ból B-be? Eredményesség: eljutok-e? Hatékonyság: milyen áron?

A három tevékenység a programciklusban ÉRTÉKELÉS ELLENŐRZÉS MONITORING

A három tevékenység egymáshoz való viszonya Input Output Eredmény Hatás Jogi és adminisztratív Ellenőrzés előírások Eredményesség Monitoring Társadalmi elvárások, Értékelés problémamegoldás

Input, output, eredmény, hatás Input: A program megvalósításához szükséges pénzügyi, fizikai és emberi erőforrások Output: a tevékenység „terméke”: fizikai output vagy szolgáltatás (operatív célok) Eredmény: a tevékenységből származó közvetlen előnyök a kedvezményezettek számára (specifikus célok) Hatás: a tevékenység hosszabb távú (közvetett) következményei (átfogó célok) Élő- és holtmunka

Csak a Strukturális Alapoknál A monitoring, az ellenőrzés és az értékelés az élet más területein is megjelenik A Közérzetjavító program Fogyókúra: Rossz a közérzetem, közérzetjavító prg Menő szöveg: „egyéni szociális probléma” Egy intézkedés: úgy gondolom, hogy ez azért van, mert túlsúlyos vagyok. Fogyókúrába kezdek, két hónapig fogyókúrázom. Hol van ebben értékelés, monitoring, ellenőrzés? Mondjuk 15 kilót akarok leadni. Hetente megnézem, hogy mennyit haladtam -> monitoring. Nem bízom magamban, és elmegyek egy fogyókúraszalonba. Az edzőm felügyeli a tornagykorlataimat, diétámat, vagyis ellenőriz. A fogyókúrás program egészét pedig lehet értékelni a szerint, hogy a benne foglalt intézkedéscsomagok megfelelően lettek-e összeállítva (diéta és mozgás kombinációja). Az értékelés tárgyát képezheti az is, hogy tényleg javult-e a közérzetem, a társ. Elfogadottságom a fogyókúra révén.

Az ellenőrzés, az értékelés és a monitoring a Strukturális Alapok rendszerében

Az ellenőrzés a SA gyakorlatában Elsődlegesen a tagállamok felelősek a támogatás (pénzügyi) ellenőrzéséért Az EU Bizottság, amely a közös költségvetés teljes felelősségét viseli, fenntartja magának a jogot, hogy az általa szükségesnek tartott esetekben ilyen ellenőrzéseket hajtson végre, illetve írjon elő Az EU Bizottságnak jogában áll szabályszerűen felülvizsgálni a tagállamok ellenőrzéseit Bármely szabálytalanság esetén sor kerül a pénzügyi hatás kivizsgálására és a szükséges szankciók meghozatalára: a szabálytalanság a közösségi támogatás teljes vagy részleges törlését eredményezi Azonban általában az ily módon felszabadított alapokat a Tagállam újra felhasználhatja az érintett támogatáshoz

Ellenőrzési tevékenység a SA intézményrendszerében Az elszámoltathatóság alapja: az audit trail A megvalósítás és a működés folyamatainak pontos leírása, demonstrálása Felelősség és információ szintjei, végrehajtási és ellenőrzési folyamatok Kaszkád-elv: minden szervezet az alsóbb szint által igazolt költségek 5 százalékát tételesen is ellenőrzi A VH által felállított belső ellenőrzés Audit trail: az 1260/99 nem írja tételesen elő, ugyanakkor szükségszerűsége egyértelmű. Előcsatlakozási alapok: 255/2000. kormányrendelet

Külső ellenőrző szervezetek Tagállami A „szokásos” szervezetek (ÁSZ, KEHI, stb.) Közösségi Európai Számvevőszék Bizottsági szolgálatok Európai Parlament OLAF

Az értékelés a SA gyakorlatában Miért értékelünk? Mert az EU Bizottság megköveteli (Kötelességtudó megközelítés) Hogy a tanácsadóknak legyen mit csinálniuk (Cinikus/megélhetési megközelítés) Érdekes a kutatók számára (Elméleti megközelítés) Igazoljuk, az adófizetők pénzét helyesen költöttük el (Politikus megközelítés) Programok lebonyolításának eredményességét és hatékonyságát növeli (Szakmai megközelítés)

Előzetes, közbenső és utóértékelés Előzetes (ex ante) értékelés A program belső logikájának javítása A program külső koherenciájának javítása A program és célkitűzései megvalósíthatóságának elemzése Segíteni a célkitűzések és a mutatók előzetes meghatározásában Közbenső értékelés A program előrehaladásának felmérése, mennyire éri el célkitűzéseit Módosítani a programot, ahol szükséges (valóságos előrehaladás alapján) Megítélni a program intézkedéseinek pénzügyi felvevőképességét Pénzügyi források átcsoportosításának igazolása A progam menedzsmentjének megítélése A környezetben bekövetkezett változások elemzése

Az értékelés a SA gyakorlatában Utólagos (ex post) értékelés Programok utólagos igazolása Hatások értékelése Tapasztalatcsere Tanulási folyamat Külső és belső értékelés

Az értékelés tartalma (1) A program logikájának és tartalmának elemzése a stratégia és a célok relevanciája, helytállósága a célkitűzések és a köztük levő összefüggések egyértelműsége a program megvalósítása indikátorrendszer megfelelősége

Az értékelés tartalma (2) A program hatásainak elemzése általános értékelés makrogazdasági hatások elemzése mikrogazdasági és mikrotársadalmi szintű egyedi hatások elemzése

Értékelési eszközök (1) Az átfogó programértékelés eszközei SWOT-elemzés Hatástérkép Színes szavazás Egyéni interjú Fókuszcsoport Esettanulmány Shift-share elemzés Makrogazdasági modell Szakértői panel

Értékelési eszközök (2) A mélyreható értékelés eszközei Logframe Kérdőíves felmérés Etnográfiai megfigyelés Összehasonlító csoportképzés Regresszióanalízis Költséghatékonyság-elemzés Összehasonlítás (benchmarking) Költség-haszon elemzés

Az EU értékelési alapelvei Az értékelés a program menedzsment integráns része Elegendő forrás (személyzet, pénz és képzés) szükséges; Minőség követelményei: érvényesség, információhoz való hozzáférés, szereplők érdekei, megbízhatóság, átláthatóság és tárgyilagosság. Az eredményeknek nyilvánosnak kell lenniük.

Egy kis statisztika 1999-ből… 167 értékelés A többség külső szakértők által végzett közbenső értékelés volt Teljes költség: 13.5 millió euró Átlagos költség: 198,000 euró Egyes értékelések átlagos ideje: 10.8 hónap