A KÖRNYEZETI SZEMLÉLETFORMÁLÓ PROJEKTEK HATÉKONYSÁGA ÉS HATÁSA Jüttner Ádám TNS Hoffmann Kft.

megfelelő tájékoztatás, ismeretek átadása A FÉF projektek egyszerre célozták a társadalmi értékrend és a viselkedés megváltoztatását Az értékelés a projektek megvalósulását, hatásosságát és hatékonyságát vizsgálta A KEOP 6.1.0 és a 6.2.0 Fenntartható Életmód és Fogyasztás konstrukciók célja: megfelelő tájékoztatás, ismeretek átadása környezettudatosság, környezetkultúra fejlesztése (szemléletformálás) fenntartható viselkedésminták elterjesztése A célértékek elérési mutatók Hatékonyság: a projektek elérés és költségszempontú vizsgálata. Hatásosság: milyen mértékben valósult meg a szemléletformáló projektek célja, azaz a tájékoztatás, a szemléletformálás és a fenntartható viselkedésminták elterjedése. A projektek eredményességét a kiírás szerint elsődlegesen az elérési mutatókban határozták meg (célérték).

Nagyszámú projekt, jelentős abszorpció a KEOP szemléletformálást célzó prioritásában Az értékelés alapját egy adatbázis adja, mely a 2008-tól 2012 októberig tartalmazza a szerződéssel rendelkező KEOP-ból finanszírozott FÉF pályázatokat, összesen 796 projekt adatait* A szerződések szerint közel 12 milliárd forintnyi támogatási forrás kerül felhasználásra, amiből 408 kampány és 388 mintaprojekt valósul illetve valósult meg. Projektek darabszáma kistérségek szerint 2008-2012 (szerződött projektek) 0 projekt 1-2 projekt 3-5 projekt 6-10 projekt 10+ projekt Bp-i projekt csak országos kampány központja lehetett! *Az EMIR-ben megtalálható összes szerződéssel rendelkező, KEOP-ból finanszírozott FÉF projekt 2008-tól kezdve 2012. október elejéig bezárólag

A KEOP FÉF kampányok hiánypótló szerepe vitathatatlan A 408 db FÉF kampányon kívül a vizsgált időszakban egyéb, nem Uniós forrásból megvalósult fenntarthatósági témájú kampányból 193 db volt összesen. A fenntarthatóság témájának a napirenden tartása döntő részben Uniós forrásokból valósult meg. Fenntarthatósági témájú kommunikáció Nyomtatott sajtó Online (sajtó/ weboldal) Köztéri plakát TV / rádió KEOP FÉF kampány elemek (db) 339 292 174 229 Nem KEOP finanszírozású kampányok száma (db)* 136 38 28 50 *Forrás: IMEDIA, 2008-2011 Környezetvédelemmel, hulladékgazdálkodással és fenntarthatósággal kapcsolatos kampányok; többségében gazdasági szereplők, a forrásokról nincs információnk

A prioritás eredményindikátor célértékei teljesültek A MT terv adatok szerint az elérési célok minden évben teljesülnek (magasan a kitűzött célértékek felett!). A kampányok és mintaprojektek a tervezettnél szélesebb kört érnek el. OP célértékek eredetileg alulbecsültek voltak, 2012-ben OP módosítás emelte ezeket Indikátor megnevezése Indikátor mérték- egysége 2008 2009 2010 2011 KEOP Célérték MT Terv adat A kampányok elérési mutatója a tevékeny-ség típusa szerint Rövid idő / Passzív részvétel* ezer fő 7 000 30 317 14 000 77 596 21 000 645 400 35 000 425 279 Hosszú idő/ Passzív 2 000 7 892 4 000 256 129 6 000 35 877 10 000 110 222 Rövid idő/ Aktív részvétel 12 208 24 295 36 557 60 246 Hosszú idő/ Aktív részvétel 1 377 2 152 3 552 5 204 (* A passzív elérési mutatók kumulatív összegek: egy ember annyiszor szerepel a statisztikában, ahány alkalommal találkozott a „Fenntartható életmód és fogyasztás” prioritási tengely keretében támogatott bármely kommunikációs tevékenységgel) Az első pályázati kiírás óta a célértékeket feljebb vitték, mert a kiíráskoriakat alábecsülték. (A slide-on az első kiírás célértékei szerepelnek.)

Viselkedésminták elterjesztése: Eurobarometer adatok alapján össztársadalmi szinten mind az ismeret, mind a viselkedés szintjén kimutatható a változás Tudatosítás: Érezhetően nőtt a tájékozottság a környezetvédelmi kérdésekben (2007-ben 41%, 2011-ben 55% valamelyest informált a témában). Viselkedésminták elterjesztése: 2007 és 2011 között egyértelműen nőtt azok aránya, akik csökkentették az energia-fogyasztásukat (41%-ról 63%-ra) Ugyancsak nőtt azok aránya, akik saját bevallásuk szerint szelektíven gyűjtik a hulladékot (49%-ről 54%-ra), ill. csökkentették vízfogyasztásukat (29%-ről 48%-ra) Tekintve, hogy a KEOP támogatások mintegy fele 2011-ben került kihelyezésre, a 2011-es Eurobarometer eredményekhez képest az össztársadalmi hatás még kedvezőbb képet mutathat azóta.

Szemléletformáló projektek hatékonysága Az elérés költsége

A projektek hatékonysága között nagyon jelentős a különbség (MT adatok alapján) Kód Támogatott tevékenység Célcsoport átlagos elérése (fő) Egységnyi elérés költsége (Ft) KEOP-6.1.0 Szemléletformáló kampányok 3 575 497 4,8 /A helyi kampány 7 531 598,9 /B térségi kampány 7 319 819 4,7 /C országos komplex kampányok 76 242 846 1,9 KEOP-6.2.0 Fenntarthatósági mintaprojektek 382 888 38,3 helyi mintaprojektek 99 795 86,5 térségi mintaprojektek 4 863 142 22,6 Összesen 2 013 500 7,9 + üzenet a programtípusok szerint

A legmagasabb elérési arányt a térségi projekteknél tervezték TOP2 legmagasabb arányú aktív elérést elérő térség – Térségi projektek Megye / kistérség Aktív elérés aránya (aktív elérés/ megye lakossága) Projektek száma (db) Térségi kampány (KEOP 6.1.0/B) Térségi mintaprojekt (KEOP 6.2.0/B) Tolna megye: szekszárdi kistérség 95% 3 1 Hajdú-Bihar megye: hajdúszoboszlói kistérség 50% 2 TOP2 legmagasabb arányú aktív elérést elérő térség – Helyi projektek Aktív elérés aránya (aktív elérés/ kistérség lakossága) Helyi kampány (KEOP 6.1.0/A) Helyi mintaprojekt (KEOP 6.2.0/A) Csongrád megye: mórahalmi kistérség 38% 5 Somogy megye: lengyeltóti kistérség 37% 8 Készült a MT tanulmány terv adatai alapján.

JAVASLAT: Benchmark a hatékonyság elvárható mértékére Az egyes projektek értékelésénél a benchmark adatok meghatározását az adott projekttípusonként érdemes megtennünk. A főbb hatékonysági mutatókra a benchmark adatok alapján megadható egy elvárt sáv, a benchmark felett teljesítő projekt hatékonynak, a benchmark alatt teljesítő projekt vizsgálandónak minősíthető: Pl. iskolai projektek esetén projektszintű értékelés: Rövid távú aktív elérésnél a top30% 230 fő feletti elérést ért el, míg az alsó 30% kevesebb, mint 70 főt. Tehát a 0-70 fő rövid távú aktív elérés esetén a projekt vizsgálandó, 71-230 között megfelelt, 230 felett hatékony + szempont lehetne lakosságarányosan vizsgálni az elérés mutatókat (kistérségenként a lélekszám maximálja az elérést) A projektek hatékonyságát vizsgálhatjuk makroszinten a teljes program sikeressége szempontjából, de az egyes projektek értékelésénél a benchmark adatok meghatározását mikroszinten, az adott projekttípusonként érdemes megtennünk. A főbb hatékonysági mutatókra a benchmark adatok alapján megadható egy elvárt sáv, a benchmark felett teljesítő projekt hatékonynak, a benchmark alatt teljesítő projekt vizsgálandónak minősíthető: Pl. iskolai projektek esetén projektszintű értékelés: Rövid távú aktív elérésnél a top30% 230 fő feletti elérést ért el, míg az alsó 30% kevesebb, mint 70 főt. Tehát a 0-70 fő rövid távú aktív elérés esetén a projekt vizsgálandó, 71-230 között megfelelt, 230 felett hatékony. A rosszabb hatékonyság mögött rejlő okok feltárása segíthet a források hatékonyabb allokációjában.

JAVASLAT A hatékonysági mutatók alapján javasoljuk egy benchmark adatbázis kiépítését A projektek értékeléséhez objektív támpontot adna egy folyamatosan bővülő benchmark adatbázis. Ehhez a meglévő projektadatbázist kellene szisztematikusabban feltölteni tényadatokkal, azok alapján meghatározni a főbb hatékonysági mutatókat Aktív elérés /projekthelyszín lélekszáma Egységnyi elérés költsége (projekt költség/ aktív elérés) A mutatószámok segítségével be lehetne azonosítani a jó és rossz gyakorlatokat (pl. TOP10%, vagy TOP30%). Az adatbázis támpontul szolgálhat a jövőbeni pályázatok elbírálásához.

JAVASLAT: Visszajelzés a projektgazdák felé A legjobb elérési arányokat, legalacsonyabb fajlagos elérési költséggel megvalósított projektek, akár kistérségi, megyei szinten, akár projekt-típusonként rendszeresen bemutathatók lennének a projektgazdák között A jó gyakorlatok követendő példákká válhatnak, ha a projekt sikertényezői is kielemzésre kerülnek, minden projektgazda számára tanulságos lehet A jó gyakorlatok mellett a negatív példákból is érdemes levonni a megfelelő tanulságokat, meghatározhatók a „rossz gyakorlatok” is, amelyek kerülendők a jövőbeli pályázatok során. Ez elősegítheti a hatékonyabb és eredményesebb megvalósítást

Környezeti szemléletformáló projektek hatása tájékoztatás szemléletformálás viselkedésminták

A KEOP szemléletformáló projektek hatásmérése – Desk research és „tényellentétes” hatásvizsgálat Desk research: Térségi kampányok hatásosság vizsgálatára A projektgazdák által elvégzett hatásosságmérések kerültek elemzésre A helyi kampányok és mintaprojektek körében „tényellentétes” állapoton alapuló hatásvizsgálatot végeztünk: Iskolai programok (összesen 146 db, összköltségvetés 647 millió Ft) Indikátor OP szerint: aktív elérés Komposztálást népszerűsítő mintaprojektek (összesen 231 db, forrás közel 2 Mrd Ft) Indikátor OP szerint: a pályázatban vállalt tevékenységek előrehaladását igazoló output indikátorok A térségi kampányok (számukra kötelező volt hatásosságmérés elvégzése) hatásosság vizsgálata desk research módszerrel történt. Az projektgazdák által elvégzett hatásosságmérések közül tízes nagyságrendben kerültek kiválasztásra térségi projektek esettanulmányok elvégzésére a konkrét szemléletformáló hatás kimutatására. A helyi kampányok és mintaprojektek körében „tényellentétes” állapoton alapuló hatásvizsgálatot végeztünk. A projekttípusok közül a legnagyobb projektszámmal és ráfordított erőforrással rendelkezőket választottuk ki: Iskolai programok (összesen 146 db, összköltségvetés 647 millió Ft) Indikátor OP szerint: aktív elérés Komposztálást népszerűsítő mintaprojektek (összesen 231 db, forrás közel 2 Mrd Ft) Indikátor OP szerint: a pályázatban vállalt tevékenységek előrehaladását igazoló output indikátorok

Módszertan - Desk research 796 támogatott projektek hatékonysági szempontú elemzéséhez egy részletes adatbázis létrehozása történt meg. Adatok forrásai: pályázati adatlap ZPEJ Megvalósíthatósági tanulmány Kampányterv (MT-ben) médiaterv Az projektgazdák által elvégzett hatásosságmérések közül tízes nagyságrendben kerültek kiválasztásra térségi projektek esettanulmányok elvégzésére a konkrét szemléletformáló hatás kimutatására.

Módszertan – Tényellentétes hatásvizsgálatok „Tényellentétes” állapoton alapuló (kontrafaktuális) hatásvizsgálatok: Az értékeléshez kapcsolódóan elvégzésre került két szakértői kutatás is, amelynek céljául a helyi szintű kampányok, illetve mintaprojektek hatásának mérését tűztük ki. az iskolai rendezvények (teszt vs. kontrollcsoport vizsgálata) egy házi és közösségi komposztálást népszerűsítő komposztládák használatával és kommunikációjával kapcsolatos projekt esetén (teszt vs. kontrollcsoport vizsgálata).

Az iskolai rendezvények leginkább a célcsoport ismeretszintjét voltak képesek növelni Az iskolai rendezvényeknél főleg ismeretben mértünk változásokat: a diákok környezetvédelemi problémákról való tudása bővült a programban résztvevők jobban tudatában vannak az emberi cselekvések környezetkárosító hatásának a különböző környezetbarát tevékenységek közül a szelektív hulladékgyűjtésnél mutatható ki pozitív irányú viselkedésváltozás a résztvevőknél

A komposztálást népszerűsítő mintaprojekteknél a viselkedésben is egyértelmű változás volt kimutatható Komposztálást népszerűsítő mintaprojekteknek elsősorban viselkedésre való hatása mutatható ki: a résztvevők hasznosnak ítélték a komposztládához jutás lehetőségét, a projekt fogadtatása kedvező volt a programban érintett településeken magasabb a komposztálást végzők aránya a résztvevők visszajelzése szerint a komposztálás beépült a heti rutinjukba, amit a kidobott hulladék mennyiségének csökkenésében is megtapasztaltak

Hatásosságmérés jelenlegi gyakorlata a pályázók által Legtöbb esetben kérdőívvel, elsősorban papír alapú önkitöltős formátumban, illetve személyes megkérdezéssel (kérdezőbiztos segítségével) történtek a hatásosságmérések. A hatásosságmérést többségében két méréssel (jellemzően a projekt elején és végén) valósították meg a projektek lebonyolítói. A hatásosságmérés során elsősorban ismereteket, attitűdöt mértek (43%-ban), a kampányok értékelése a projektek 20%-ban történt meg. A projektek hatásosságmérését a leggyakrabban maga a pályázó végezte el (41%). 

JAVASLAT: Kötelező, sztenderd részeket tartalmazó hatásosságmérés 1. A 796-ból 387 projekt esetén volt kötelező a hatásosságmérés elvégzése, amit minden pályázó egyedileg, eltérő módszertannal és sokszor eltérő céllal végzett el, így az eredményeik egymással nem összevethetőek. Javasoljuk, hogy a jövőben hasonló programok esetén minden pályázónak legyen kötelező hatásosságmérés elkészítése: Kerüljön kialakításra egy szakmai, módszertani rész, ami minden projekt esetén sztenderd és az egyedi hatásosságmérések részét képezné. A mérés többi része a témájukban és célcsoportjukat illetően homogén programokra szabva, de a programtípuson belül egységesen kerüljön kialakításra. A hatásosságmérés egy kutatási célt jelöl: az a folyamat, mellyel megállapítható, hogy a program során megvalósult projektek milyen hatást értek el. A 796-ból 387 projekt esetén volt kötelező a hatásosságmérés elvégzése, amit minden pályázó egyedileg, eltérő módszertannal és sokszor eltérő céllal végzett el, így az eredményeik egymással nem összevethetőek. Javasoljuk, hogy a jövőben hasonló programok esetén minden pályázónak legyen kötelező hatásosságmérés elkészítése: Kerüljön kialakításra egy szakmai, módszertani rész, ami minden projekt esetén sztenderd és az egyedi hatásosságmérések részét képezné. A mérés többi része a témájukban és célcsoportjukat illetően homogén programokra szabva, de a programtípuson belül egységesen kerüljön kialakításra.

JAVASLAT: Kötelező sztenderd hatásosságmérés 2. Illeszkedjen a jelenleg alkalmazott gyakorlathoz (személyes, önkitöltős kérdőívhez optimálisan alkalmazkodó szöveghasználat, kérdőív szerkezet, sztenderd kérdéssor). Legyen kiterjeszthető valamennyi projekttípusra. Egyformán legyen alkalmazható a projekt indítása előtti, utáni és utókövetéses vizsgálat során. Adjon választ a következő három pont mindegyikére: milyen a célcsoport fenntartható életmóddal, környezettudatossággal kapcsolatos ismeretszintjének aktuális állapota milyen attitűdökkel rendelkezik a célcsoport a fenntartható életmóddal, környezettudatossággal kapcsolatban hogyan épül be ez a fajta gondolkodás a célcsoport valós mindennapi viselkedésébe

Következtetések - hatékonyság Benchmark adatbázis kialakítása segítheti a projektek elbírálását a jövőben, illetve az átlagostól hatékonyabb és kevésbé hatékonyabb projektek meghatározását. A legjobb és legrosszabb gyakorlatok bemutatásával támpontok adhatók a pályázóknak, amelyek segítségével hatékonyabbá tehetőek a projektek. Meghatározhatóak a leghatékonyabb kampány és mintaprojekt típusok, amelyek az erőforrások jobb allokációját teszik lehetővé (természetesen itt figyelembe kell venni a hatásossági célokat is!).

KEOP szemléletformáló projektek hatása Hatékonyság nem egyenlő a projektek hatásossággal. A nemzetközi szakirodalom alapján a kampányok és mintaprojektek kölcsönösen tudják támogatni egymás sikerességét: a fenntartható viselkedésminták széleskörű elterjedéséig fontos a környezeti témák napirenden tartása kampányok segítségével a mintaprojektekbe való bekapcsolódáshoz fontos a kommunikációs előkészítés, tehát az érdeklődés felkeltése és pozitív hozzáállás kialakítása Hasonló programok esetén a jelenlegi egyéni hatásosságméréseknél szükséges részben sztenderdizált mérőeszközök, illetve minőségbiztosítási szempontok kialakítása az összevethetőség és értékelhetőség miatt. Önmagában a hatékonyság nem jelenti, hogy a projektek hatásosak is, azaz változásokat indítanak be. Az elvégzett hatásosságmérési kutatásaink tanulsága szerint a projektek az ismeret bővülése mellett viselkedés szintű változásokat is elindítottak már rövid távon. A nemzetközi szakirodalom alapján a kampányok és mintaprojektek kölcsönösen tudják támogatni egymás sikerességét: a fenntartható viselkedésminták széleskörű elterjedéséig fontos a környezeti témák napirenden tartása kampányok segítségével a mintaprojektekbe való bekapcsolódáshoz fontos a kommunikációs előkészítés, tehát az érdeklődés felkeltése és pozitív hozzáállás kialakítása Továbbra is egyaránt fontos az elsődlegesen ismeretre ható kampányok és a viselkedés fókuszú mintaprojektek megtartása. Hasonló programok esetén a jelenlegi egyéni hatásosságméréseknél szükséges részben sztenderdizált mérőeszközök, illetve minőségbiztosítási szempontok kialakítása az összevethetőség és értékelhetőség miatt (részben sztenderd mérés minőségbiztosítással). A minőségbiztosítással és a FÉF projekt célokat mérő sztenderd részek segítségével egy integrált monitoring rendszer jöhetne létre, amely beépíthető a projektértékelési folyamatba.

Köszönjük a figyelmet!