dr. Koós Tamás 2013. szeptember 18. Budapest Projektek értékelése dr. Koós Tamás 2013. szeptember 18. Budapest

Az értékelés Annak a vizsgálata, hogy a projekt vagy program miképpen járul hozzá a kitűzött, átfogó célok eléréséhez; Annak vizsgálata, hogy a projekt milyen mechanizmusokon keresztül fejti ki hatását Az értékelési folyamat fő kérdései: Milyen hatást értünk el? Mitől működik?

Folyamatos, az alapvető indikátorok gyűjtése üzemszerű Tevékenység Audit Monitoring Értékelés Célrendszer A külső és belső előírásoknak (pl. jogszabálynak) való megfelelés vizsgálata Megvalósulás vizsgálata az előre megadott működési célokhoz viszonyítva A tevékenység vizsgálata a z elérni kívánt hatások szempontjából (hozzájárult-e a megoldani kívánt probléma kezeléséhez?) Ütemezés Folyamatos Folyamatos, az alapvető indikátorok gyűjtése üzemszerű Lehet : előzetes, utólagos, köztes Megvalósító jellege szerint Külső vagy belső auditor Menedzsment Külső szakértő, de lehet belső team-tag is A tevékenység elsődleges célja Elemző-tudományos Következményei A szabályszegés szankcionálása és korrekciója Projekt módosítása, erőforrás-átcsoportosítás, menedzseri döntések Megnövekedett ismeretek, Jobb projekt-tervezés a jövőben

Az értékelés Eredmény-értékelés : van-e olyan, a célok szempontjából fontos változó, amely kedvező v. bármilyen irányban változott a projekt/program nyomán? Akarjuk-e folytatni/megismételni/terjeszteni/fejleszteni a programot? Jobb lenne elfelejteni?

Az értékelés Folyamat-értékelés: nem az eredményekre, a kimenetelre koncentrál, hanem a megvalósítás végrehajtását, a részt vevők reakcióit, magatartását vizsgálja; A projekt/program működési mechanizmusait tanulmányozza (siker- tényezők, kudarcok lehetséges okai)

Az értékelés legfontosabb fogalmai Indikátorok: eredmény-indikátorok: gyakran a projektek követően, akár évekkel később vizsgálhatóak. A kívánt hatásokra jellemző mutatók folyamat-indikátorok: célcsoport működése, intézményi működések jellemzői – n.b. nem keverendő a monitorozási indikátorral (bár lehet átfedés). Ide tartoznak a minőségi indikátorok is

Az értékelés legfontosabb fogalmai Köztes indikátorok: a végső célok eléréshez szükséges változások bekövetkezését jelzik, tehát prediktív értékűek lehetnek a célok elérése tekintetében

Értékelés és tudomány A projektre/programra/politikára vonatkozó szakismeretek az indikátorok kiválasztásának alapja Kulcs-kérdések: relevancia, mérhetőség, megbízhatóság, tudományos megalapozottság

Értékelési eszköz Rövid leírás Eszköz típusa Formális Informális Kvantitatív Kvalitatív Felmérés (survey) Előre megadott kérdések bizonyos témában, amelyet a célcsoport megválaszol X Interjú Kérdések csoportja, melyet a célcsoportnak feltesznek, és amelyet további kérdések és megbeszélés követ Tudás/készség tesztek Kérdések csoportja, amelyek a célcsoport bizonyos ismereteinek vagy készségeinek megismerésére irányulnak Főkuszcsoport Csoportmegbeszélés viszonylag kevés számú emberrel meghatározott témáról Értékelőlap Kérdések csoportja, melyek a részt vevők véleményét, attitűdjeit és megértését vizsgálják a projekt meghatározott fázisa után Feljegyzések A projekt észt vevőinek napi tevékenységeiről szóló, saját maguk által készített írásos jelentés Helyszíni látogatások Megfigyelések és interjúk kombinációja, amely a projekt megvalósítási helyszínén történik Tevékenységi napló A projekt tagjainak napi tevékenységi jelentése előre megadott formában Megfigyelési feljegyzések A projekt-tevékenységek közvetlen megfigyelése során készített feljegyzések Dokumentáció Projekt tevékenységek adminisztratív feljegyzései (pl. jelentések, megbeszélések emlékeztetői, regisztrációs lapok) Anekdotikus feljegyzések Történetek és elbeszélések egy projekt-eseményről, tapasztalatról vagy személyről, a projekt-team vagy részt vevő által Forrás: Project Evaluation Guide for Nonprofit Organisations, Imagine Canada, 2006

Az értékelési folyamat szervezése A programokat, projekteket az eredmények alapján, de a megvalósítás folyamatai szerint is értékelni kell Folyamatértékelés - eredményértékelés Miért? Az eredmények demonstrálják a hatásosságot, a folyamatok értékelése a hatásmechanizmus megértését segíti elő+monitoringot támogatja A döntéshozó és a projekt-menedzsment felelőssége, hogy az értékelés munkatervében mindkettő szempont kellő súllyal megjelenjen.

Az értékelési folyamat szervezése Az értékelés módszerének kiválasztása kritikus mozzanat, egy adott programot általában nem lehet randomizált, kettős vak kísérlet során értékelni Miért: drága, nem standardizálhatóak a körülmények, nem ad információt a program működéséről (pl. nincs két egyforma közösség, iskola, kórház, kommunikációs kampány stb.)