Alkalmazott K+F és az innovációs projektek értékelési módszerei Dr. Balogh Tamás Gazdasági és Közlekedési Minisztérium MTA-GKM értékelési konferencia Budapest, április 25.

Politika, szakpolitika Statisztika, benchmarking Programok, intézkedések Értékelés, elemzés

Mi az értékelés célja? (1) A kitűzött célok és az elért eredmények összehasonlítása, A felhasznált eszközök hatékonyságának mérése, Információszerzés a TTI politika számára; A K+F rendszer iránti bizalom erősítése, demonstrálva annak eredményességét és átláthatóságát;

Mi az értékelés célja? (2) A szervezeti fejlődés és a tanulás elősegítése; Az intézményen belüli verseny objektivitásának biztosítása; A kutatási területek és az intézmények összehasonlítása, a különböző szakterületek, intézmények és programok közötti igazságos és hatékony pénzallokálás megalapozása.

A jó értékelés: figyelembe veszi a szakterület jellemzőit és céljait. adminisztratív kontroll helyett ösztönző, kutatásbarát. koncepciója konszenzuson alapul. közérthető, az állampolgár számára (is) készül. a folyamatok megértésére törekszik. gondot fordít az adott célra legjobb értékelési módszer kiválasztására. része egy folyamatos tanulási folyamatnak. [

Projekt- és program értékelési módszerek 1. Szakértői bírálat (peer review) 2. Interjús és kérdőíves módszerek 3. Félkvantitatív módszerek (bibliometria, szabadalomelemzés, tudományos és technikai indikátorok elemzése) 4. Kvantitatív módszerek (Költség-haszon elemzés, ökometriai módszerek, a gazdasági többleteredményen alapuló módszerek) 5. Esettanulmányok 6. Teljesítmény-indikátorokon alapuló elemzések 7. Portfólió-elemzési módszerek

1. A szakértői bírálat (peer review) Előnyei: Egyszerűen megszervezhető és lebonyolítható. Költségei alacsonyak. Az értékelés általában magas szakmai színvonalú. Az eredmények rendszerezhetők, ellenőrizhetők és finomíthatók Hátrányai: Túlértékelheti a tudományos minőségi szempontokat. Kevés ember véleményén alapul. Kultúra- és referenciakritérium-függő, szubjektivitásra ad módot. Csak kvalitatív eredményeket ad. Nem kedvez a nagy áttörések elismerésének. A csoporton belül gyakran a tekintélyelv uralkodik. Gyakran háttérbe szorulnak a gazdasági hasznosítás szempontjai.

2. Interjús és kérdőíves módszerek Előnyei: Nagy számú véleményt képesek figyelembe venni. A nyitott kérdések révén új, érdekes szempontok érkeznek. Alkalmasak kvantitatív jelzőszámok meghatározására. Alkalmasak az esettanulmányok eredményeinek általánosítására. Hátrányai: A kérdések strukturálása és a válaszok értelmezése torzíthat. A kvantitatív adatok nem eléggé megbízhatók: a válaszadók hajlamosak a valóságosnál pozitívabb kép kialakítására, mert tudják, hogy az értékelés eredménye kihathat saját későbbi támogatásukra.

3. Félkvantitatív módszerek Előnyei: Számszerűsíthető, átlátható és ellenőrizhető adatokat szolgáltatnak. Lehetővé teszi kutatók és kutatócsoportok normatív összehasonlítását. Más módszerekkel kombinálva hasznos indikátorokat adnak. Hátrányai: Általában egy-egy paraméterre koncentrálnak. Nem adnak választ a K+F társadalmi és gazdasági hasznosság kérdésére. A makromutatókon belül nem lehet elkülöníteni a K+F hatásait.

4. Kvantitatív módszerek Előnyeik: Logikus szerkezetű, komplex, matematikai formában kezelhető, átlátható és ellenőrizhető adatokat szolgáltatnak. Lehetővé teszik a projektek közötti összehasonlítást, és ezzel jól megalapozhatják az erőforrások felhasználásáról hozott döntéseket. Hangsúlyozzák a „value for money” elvet, tehát a K+F társadalmi hasznosságának követelményét. Hátrányaik: Korlátozottan alkalmasak a közvetett hatások figyelembe vételére. Ritkán képesek figyelembe venni a hosszabb távú hatásokat. a matematikai megjelenítése következtében megbízható hatást keltenek, miközben pontosságukat számos módszertani nehézség gátolja. Költségesek.

5. Esettanulmányokon alapuló értékelések Előnyeik: A konkrét eseteken keresztül szemléltetik a K+F és a társadalmi gazdasági hatások összefüggéseit. Segítenek a sikertényezők azonosításában. Összefüggéseket tárnak fel, ezért alkalmasak komplex folyamatok megértésére és a makroszintű politikák megalapozására. Ott is feltárják az összefüggéseket, ahol nincs előre meghatározott indikátor. Hátrányaik: A múltra vonatkoznak, folyamatban lévő ügyek vizsgálatára nem alkalmasak. Szubjektívek, függenek az értékelő személyes tapasztalataitól. Az eredményeik nem vagy nehezen általánosíthatók. Költségesek, ezért nagy számú téma vizsgálatára kevésbé alkalmasak. Szöveges jellegük miatt kevés kvantitatív eredményt adnak, ezért nehéz beépíteni ezeket a rutinjellegű monitoring-tevékenységbe.

6. Indikátorokon alapuló értékelések Előnyeik: Az indikátorok könnyen azonosíthatók, strukturálhatók és számszerűsíthetők. A folyamatban lévő programok követésére valószínűleg ez a legjobb módszer. Fegyelmezi az értékelők és az értékelést megrendelők gondolkodását azáltal, hogy előre meg kell határozniuk a célokhoz illő, mérhető indikátorokat. Az összes értékelési módszer közül a legolcsóbbak. Hátrányaik: A súlyozásban megjelenő szubjektivitás torzításokhoz vezethet. Az indikátor alapján történő mechanikus döntések során kimaradhatnak fontos kvalitatív információk. A sok kvantitatív eredmény a teljesség képzetét keltheti, miközben elsikkadhat az összefüggések, az okok megértése.. 1, 2, 3, …

7. Portfólió-elemzésen alapuló értékelés Előnyei: Áttekinthető, több dimenziós elemzéseket tesz lehetővé. Olyan többlet-információt szolgáltatnak a teljes program irányainak elemzéséhez, amelyre más módszerek nem alkalmasak. Alkalmas egész programok gyors áttekintésére, ezért menedzsment- eszközként is jól segíti a program-menedzserek és a döntéshozók munkáját. Hátrányai: Az ábrázolt dimenziók kiválasztásában megjelenő szubjektivitás torzításokhoz vezethet. A kevés indikátor alapján végzett portfólió-elemzések során kimaradhatnak fontos kvalitatív információk.

K+F értékelési kormányrendelet (a 2286/2004. [XI. 17.NKTH dolgozta ki): 198/2005. (IX. 22.) Korm. rendelet a közfinanszírozású támogatásban részesülő kutatás-fejlesztési és technológiai innovációs programok értékelése rendszeréről és tartalmi követelményeiről

A középtávú TTI stratégia a K+F értékelésről „(A Kormány) a megfelelő szakismeretre építve megvalósítja a közfinanszírozású támogatások felhasználásának rendszeres ellenőrzését és független értékelését, ezek alapján gondoskodik a hatékonyság folyamatos javításáról”. „A célkitűzések meghatározása, a programok tervezése, ellenőrzése és visszacsatolása, a minőség és a teljesítmény értékelése egyre inkább indikátorokra épül.” „Az aktív, kezdeményező állami szerepvállalás nélkülözhetetlen része – a kötelező jogi, pénzügyi és számviteli ellenőrzésen túl – a tőle független szakmai értékelés biztosítása, ami növeli a felhasználás átláthatóságát, és egyben elősegíti a nemzeti innovációs rendszer tanulását, fejlődését.”

Köszönöm megtisztelő figyelmüket!