A monitoring szerepe a kutatásértékelésben Dr. Lippényi Tivadar MTA székház április 25.

| április 25. Tudomány-, technológia- és innováció-politikai stratégia A tudományos kutatás eredményei befogadásának és hasznosításának kultúrája. Minőség-, teljesítmény- és hasznosítás-vezérelt, hatékony nemzeti innovációs rendszer. Megbecsült, a tudásalapú gazdaság és társadalom igényeinek megfelelő kreatív, innovatív munkaerő. A tudás létrehozását és hasznosítását ösztönző gazdasági és jogi környezet. A globális piacon versenyképes hazai vállalkozások, termékek és szolgáltatások.

| április 25. A TTI stratégia végrehajtása Program Projekt Játékszabályok fellálítása Projektek szerzése Projekt- monitoring, menedzsment Munkaterv, stratégia tervezése Projekt végrehajtás Policy Teljesítmény szerződés Alapelv meghatározása, ellenőrzése Munkaterv, stratégia tervezése, frissítése célok Folyamatok eredmények Folyamatok, eredmények célok Forrás: Technopolis Ltd.

| április 25. Értékelés Monitoring InputOutput Eredmények Ellenőrzés Értékelés, monitoring és ellenőrzés Megvalósítás Törvényesség és szabályosság Management Döntés Hatások Forrás: Európai Bizottság

| április 25. Fogalmak Értékelés: közpénzek eredményes felhasználásának vizsgálata érdekében, a közfinanszírozású kutatás-fejlesztési és technológiai innovációs programok eredményeinek, a program végrehajtása során a rendelkezésre álló erőforrásokkal és az eredeti célokkal való összhangban állását, az eredmények gazdasági- társadalmi hasznosítását és a hasznosítás hatásait elemző tevékenység Ellenőrzés: A támogatási programoknál a közpénzek felhasználásának adminisztratív, jogi, pénzügyi szabályszerűségeit vizsgáló tevékenység. Monitoring: A program végrehajtója által működtetett, a támogatott program teljes futamideje alatt a célok elérését, a program időbeli szakmai, pénzügyi előrehaladását és megvalósulását folyamatosan vizsgáló adatgyűjtő tevékenység. Eredményeit felhasználja az ellenőrzés és az értékelés is.

| április 25. A monitoring helye a program ciklusban Szükségletek, igények feltárása Célok kialakítása Program megtervezése, kidolgozása Finanszírozás Megvalósítás Szakmai, pénzügyi ellenőrzés MONITORING Program lezárása Közbülső értékelés Visszacsatolás Előzetes értékelés Utóértékelés

| április 25. Értékelés Az értékelés átfogó és hosszabb távú kérdésekkel foglalkozik: Az intervenció megfelelő volt / más eszköz hatékonyabb lett volna a probléma kezelésére? Milyen hatásokkal rendelkezik a program az érintettek és a társadalom vonatkozásában? A hatások hosszú távon fenntarthatók? Tanuláson, új infrastruktúra vagy viselkedésmód kialakításán alapulnak? Mi történt volna, ha nem kerül sor az intervencióra? (Milyen hozzáadott értékkel rendelkezik a program?) Vannak nem várt következményei az intervenciónak? Negatívak vagy pozitívak? Tapasztalatok a jelen és jövőbeli beavatkozások fejlesztéséhez?

| április 25. A monitoring szükségessége I. Átláthatóság, elszámolási kötelezettség – visszacsatolás az adófizetők felé Policy irányvonalak feltérképezése és kialakítása A policy megvalósítás fejlesztése A projekt kockázat kezelése minőségi kontrollon és a folyamatok kodifikációján keresztül: –Megteremti a lehetőséget az alulteljesítő projektek bezárására, –a projekt élettartam alatti szükséges módosításokra, –… az előremutató projektek felkészítésére és fejlesztésére A policy megerősítése, a program célok fejlesztése és a projekt kultúra változásának elősegítése

| április 25. A monitoring szükségessége II.  Az eredmények megismertetése, bemutatása  Iránymutatás a folyamatoknak (A megfelelő szlogen az ipari szférából: „What you measure is what you get”)  Lehetőség a mentoring tevékenységre és az egyes projektek eltérő kezelésére  Management információs rendszer - mind a program management mind a policy szint számára

| április 25. Hatékony monitoring rendszer kialakítása, implementálása Programtervezéskor a monitoring és reporting aspektusok meghatározása Megtervezett, megfelelően kialakított monitoring rendszer –általában – adatgyűjtésen alapuló monitoring –egyes programok esetében kiegészítő tevékenység is szükséges Eredményes mentoring tevékenység - program management technikai és projekt menedzseri képzettséggel Hatékony program monitoring és reporting folyamattal erősíthető: –a pályázók és a program menedzserek közti kapcsolat, –a program és policy szint közötti kommunikáció.

| április 25. A stratégia végrehajtása Program Projekt Játékszabályok fellálítása Projektek szerzése Projekt- monitoring, menedzsment Munkaterv, stratégia tervezése Projekt végrehajtás Policy Teljesítmény szerződés Alapelv meghatározása, ellenőrzése Munkaterv, stratégia tervezése, frissítése célok Folyamatok eredmények Folyamatok, eredmények célok Forrás: Technopolis Ltd.

| április 25. Alapelv meghatározása, ellenőrzése Szükségletek meghatározása és elemzése A program várt eredményeinek meghatározása Javaslatok a program célokra Egyeztetés a policy portfolióval Stratégia felvázolása –Források –Tevékenységek –Logikai levezetés a programtól az eredményekig Érintettek bevonása Teljesítmény szerződés a program managerekkel A beszámolási és értékelési stratégia meghatározása

| április 25. Munkaterv és stratégia tervezés Célok egyeztetése és finomítása Stratégia részletes kialakítása –Források –Gyakorlati munkaterv –Projekten kívüli tevékenységek Program monitoring eszközök megtervezése –Mérföldkövek –Teljesítmény indikátorok –Az eredmények beszámoltatása

| április 25. „Játékszabályok” felállítása Projekt szerzés „Játékszabályok” felállítása Pénzügyi és adminisztratív szabályok felállítása A pályázói kör meghatározása Minta szerződések kialakítása, IPR szabályozás,.. Projekt szerzés A program kommunikálása a lehetséges pályázói kör felé Magas minőségű pályaművek megszerzése Kiválasztás, támogatási döntés meghozatala Teljesítmény szerződések megkötése a projekt vezetőkkel

| április 25. Monitoring és beszámoltatás Monitoring eszköztár megválasztása és implementálása: –Mérföldkövek –Teljesítmény indikátorok –Az eredmények beszámoltatása –Minőségi kontroll A projekt monitoring eredmények összesítése program monitoring szintjén

| április 25. Indikátorok I. a.) input indikátorok: a program megvalósításához szükséges pénzügyi, emberi és egyéb erőforrásokra vonatkoznak. b.) output indikátorok: a program megvalósításának folyamatát jelző mutatószámok, illetve szakma specifikus eredménymutatók, amelyek a támogatott program céljainak megvalósulását írják le. c.) eredmény indikátorok: a program megvalósított céljainak közvetlen eredményeit leíró mutatószámok, illetve szakma specifikus eredménymutatók d.) hatás indikátorok: a megvalósult programnak a gazdasági- társadalmi környezetére gyakorolt, hosszabb távú hatásait számba vevő mutatószámok.

| április 25. Indikátorok II. Az ideális indikátorokkal szembeni elvárások lehetséges fajtái: SMART RACER Specifikus (Specific)Releváns (Relevant) Mérhető (Measurable)Elfogadott (Accepted) Elérhető (Available)Hiteles (Credible) Releváns (Relevant)Egyszerű (Easy) Aktuális, időhöz kötött (Timely)Meghatározó (Robust )

| április 25. Indikátorok III. Az indikátorok megjelenése: Pályázati Stratégia – a program alapvető indikátorainak meghatározása Pályázati felhívás – részletesebb indikátor lista az útmutatóban Szerződések – indikátorok az egész támogatási időszakra vonatkozóan, konkrét célértékekkel évenkénti bontásban Beszámolók / éves beszámolók – előre jelzett indikátorok összevetve az elért eredményekkel

| április 25. Projekt és program monitoring Külső érdekInputok A projekt fejlődése Projekt eredmények Inputok A projekt fejlődése Projekt eredmények Illeszkedés a program céljaihoz Program szint Projekt szint Forrás: Technopolis Ltd.

| április 25. Köszönöm figyelmüket! Köszönet az NKTH által megbízott nemzetközi monitoring panel szakértőinek: Gilbert Fayl, Niels Busch, Erik Arnold, Ken Guy