„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Fehérvári Anikó: A fejlesztési programok értékelés ének lehetőségei

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Tényekre alapozott döntés Napjainkban felértékelődött a tényekre (tudományos bizonyítékokra) alapozott döntés, melynek oka a hatékonyabb elszámoltathatóság. A különböző gazdasági ágazatokban eltérő időben jelent meg az adatok felértékelődése, az oktatás nem az elsők között volt. Jellemző területei: az egészségügy, a környezetvédelem. Az elmúlt néhány évben azonban az oktatáspolitikában is kiemelt trend a tényekre alapozott döntéshozatal. (Halász Gábor: Tényekre alapozott oktatáspolitika és oktatásfejlesztés” a Pusztai Gabriella – Rébay Magdolna (szerk.): „Kié az oktatáskutatás. Tanulmányok Kozma Tamás 70. születésnapjára” c. könyvben)

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hatásvizsgálatok A hatásvizsgálat vagy programértékelés nem kutatási módszer, hanem cél, amelyben valamely társadalmi beavatkozás hatását elemzik. Tapasztalati tényeken alapuló kutatás során minősítik a beavatkozásokat, oksági kapcsolatok fennállását és azok erősségét nézik a vizsgált intézkedések és az ezt követő változások között. A hatásvizsgálat – alkalmazott kutatás. A módszer sokféle lehet (kérdőív, kísérlet stb.) Az ex-post mérés egy megvalósult szabályozás következményeit méri. Az ex-ante mérés pedig egy (még) meg nem valósított szabályozás jövőbeni következményeit becsüli fel.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Célja Az értékelések és a hatástanulmányok szerepe, hogy visszajelzést adjanak a döntéshozók és az adófizetők számára az intézkedések hasznáról és hatásaikról. A nemzetközi szervezetek (Világbank és az Európai Unió) szigorú intézkedéseket vezettek be a támogatott projektek előzetes (ex ante) és utólagos (ex post) értékelésére, megszabják az alkalmazható módszereket is. Monitoring & Evaluation: Some Tools and Method… (WB, 2004.)-> cél: a is készít majd egy ilyen füzetet

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Világbank standard módszerei Lehetséges eszközök: A logikai keretmátrix megközelítés Elméleti értékelés Felmérések Rapid értékelési módszerek Részvételi módszerek Közkiadások nyomon követésére irányuló felmérések A költség-haszon és a költség-hatékonyság elemzés Impact értékelés Minden eszközről a következőket írja le: Mik ezek Mire lehet használni Előnyei Hátrányai Költségei A feltáráshoz szükséges kompetenciák A feltáráshoz szükséges idő

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hatásvizsgálat v. programértékelés A hatásvizsgálat oksági magyarázatot ad a beavatkozások valamint azok megfigyelt vagy várható hatásai közötti kapcsolatra. A programértékelés viszont értékeket rendel e beavatkozásokhoz, minősíti azok erényeit vagy hiányosságait, egy előre megadott kritériumrendszer segítségével.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / A kutatási cél megfogalmazása Mi a kívánatos eredmény, mi a beavatkozás célja, mit tekinthetünk sikernek. A hatásvizsgálat során számba kell vennünk valamennyi lehetséges kimenetet. A környezet jellemzőinek feltárása. Költség/haszon elemzés.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hogyan csináljuk? - Kísérletek Ez a legmegbízhatóbb módszer az ok-okozati kapcsolatok igazolására Hatásvizsgálatra alkalmas kísérleti modell -> pl iskola véletlenszerű kiválasztása, az egyik a kísérleti, a másik a kontroll csoportot alkotja. A random módszer előnye, hogy kizárt a téves oksági kapcsolat megállapítása. Kísérleti idő megállapítása A vizsgálat megtervezése Beavatkozás a kísérleti csoportnál

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hogyan csináljuk? Kvázi- kísérlet Idősoros vizsgálatok: egyetlen csoporton hosszabb időtávon vizsgáljuk a hatást (adathiánynál is alkalmazzák, illetve amikor nem lehet kontroll csoportot bevonni a kutatásba) Nagymintás vizsgálatok: egyetlen csoport nagyobb elemszámban történő elemzése

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Leggyakoribb módszer A legjobb módszer a párosító módszer – elemzése -> a kettős különbség hatás: az intézkedés célcsoportjában megfigyelhető változás szignifikánsan és kedvezően különbözik a kontrollcsoportban megfigyelhető változástól

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Példa a párosítási módszerre CÉL: Gyerekházak Program hatása A mérések mellett a KÖRNYEZET elemzése is fontos, ezért a kutatók a Gyerekházak dokumentációs rendszerét is felmérték. A párosított minta lényegi eleme, hogy a programban résztvevő gyerek fejlődését olyan gyerekek fejlődéséhez hasonlítják, akik családi hátterük, óvodai környezetük és a fejlődésüket alapvetően meghatározó egyéb körülmények tekintetében hasonlóak a programban résztvevő gyerekekhez, de nem vesznek részt a programban-> kontroll csoportos minta. Surányi Éva: Biztos kezdet program hatásvizsgálata, 2010.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Példa… Párosítás: ugyanazon települések kiválasztása, óvodák kiválasztása, a kontroll minta ellenőrzése-> valóban hasonló hátterű gyerekek, családok kerültek-e kiválasztásra. A módszer hátránya: a kutatásban gyűjtött adatok nem országosan reprezentatív adatok, ezért kutatási következtetéseink csak bizonyos korlátozó feltevések mellett általánosíthatóak. Mérőeszközök kiválasztása: mik azok a fejlődési területek, amely tükrözhetik a program hatását – ez alapján négy terület került kiválasztásra- kognitív fejlődés, szociális készség, én-kép, fizikai fejlődés. A négy terület mérése mellett sor került egy háttérkérdőívre is- szülők szocio-ökonómiai státusza

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / További példák Integrációs program hatásvizsgálata (Kézdi- Surányi, Educatio 2008/4) – Párosítási módszer – Mérési eszközök: szövegértési teszt, szülői háttér kérdőív No Child Left Behind Program: 2002-ben indult a program a hátrányos helyzetű gyerekek támogatására, a cél a tanulói eredményesség és elszámoltathatóság növelése ->az iskola finanszírozását teszik függővé az iskola teljesítményétől (ennek egy része a longitudinális vizsgálat, NAEP teszt ekkel való összevetés, éves előrehaladási jelentés tanulónként, iskolai éves jelentés, tanártovábbképzés )

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Költségszámítások Költséghaszon elemzések Az iskolázottság társadalmi, egyéni megtérülési rátáinak elemzése

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Oktatáspolitikai dilemma A megbízhatóság: meg kell határozni azokat a standardokat, amelyek alapján eldönthető, hogy egy adat megbízható/hiteles-e vagy sem. Ez egy klasszikus kutatás módszertani kérdés. A tények közlése mellett kiemelten fontossá válik, hogy hogyan nyertük (milyen módszerekkel, mintán) ezeket az adatokat. A megbízhatóságot növeli a módszerek kombinációja is.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Mérés A mintaválasztás mellett legalább ugyanolyan fontos döntés, hogy mit és hogyan mérünk. Mérőeszközök kidolgozása – vizsgálati dimenziók kiválasztása kulcsfontosságú feladat, melyek azok a dimenziók, amelyek valóban jól tükrözik a program hatását (bizonyítható sikeresség, a változások fenntarthatóságának biztosítéka)

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hatások – de minek a hatása? Meg kell válaszolni azt a kérdést, hogy egyáltalán bekövetkezett-e a kívánt változás. Ha a hatás bekövetkezett, még akkor is kérdés, hogy valóban a beavatkozás hozta-e létre ezt a kedvező változást, vagy valami más. -> téves következtetés -> nem szignifikáns hatás, véletlen okozta a bekövetkezett változást vagy vizsgált okkal versengő másik ok -> nem az általunk feltételezett ok miatt következett be a változás.

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / TÁMOP OFI 6. alprojekt Az alprojekt az elmúlt évtized legfon- tosabb oktatáspolitikai programjait vizsgálja meg. Korábbi fejlesztési programok hatásvizsgálatai: -Tehetséggondozás -Felzárkóztatás -Szakiskolai Fejlesztési Programok -Pedagógus továbbképzések

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Arany János Programok Eddig több hatásvizsgálat is történt ös vizsgálat- AJTP (Fehérvári-Liskó, 2006.) Cél: a programba kerülésnél mennyire érvényesült a hátrányos helyzet szempontja Módszer: teljes körű vizsgálat (2005-ben) Iskolaigazgatói és kollégium vezetői kérdőív (23 db) Mélyinterjú a programvezetőkkel (23 db) Tanulói adatfelvétel (2003 db)

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / A hátrányos helyzet mérési dimenziói települési hátrány (kistelepülési lakóhely) családi hátrány (csonka család, nagycsalád: három vagy több gyermek) munkapiaci hátrány (a szülők alapfokú vagy annál alacsonyabb iskolai végzettsége, inaktivitása, munkanélkülisége)

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / A hátrányok megoszlása

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / A hátrányok együttes előfordulása

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hatásvizsgálat következménye A belépés szigorítása a programba Új programok indítása

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Összevetés a többi középiskolás adatával Neuwirth Gábor középiskolai vizsgálata, Összes kilencedikes tanuló lekérdezése (3776 kilencedikes osztály 95,860 diákja vett részt a kutatásban) Összehasonlításul szolgáló mutatók: lakóhely, szülők iskolázottsága, nevelési segélyben részesülők aránya Következtetés:az AJTP tanulókhoz hasonló mutatókkal a szakiskolások rendelkeznek. E program nélkül valószínű csak szakiskolákba tanulhattak volna tovább a diákok. (Fehérvári, 2008)

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / AJTP hatásvizsgálat (Expanzió) A vizsgálat célja: A program az elmúlt nyolc évben elérte-e a kitűzött céljait? A programban mi jellemző az állami források felhasználására? Módszerek : Interjú a korábbi és a mostani programvezetéssel Fókuszcsoportos interjú a kollégiumok vezetőivel Dokumentumelemzés Adatelemzés: a küldő általános iskolák térbeli és alapvető jellemzőinek elemzése, a program pénzfelhasználásának adatai (OKM által biztosított adatok alapján) Kérdőíves vizsgálat Végzett tanulók levélben történő megkeresésével 13. osztályos tanulók e –kérdőíves vizsgálata 13. osztályos tanulók körében végzett vizsgálat szociális intelligencia teszt mérés gimnáziumi tehetséggondozó tanárok körében e-kérdőívvel küldő általános iskolák vezetői és osztályfőnökei kérdőívvel középiskolák vezetői kérdőívvel történő megkeresésével

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Feltárt problémák, Tartalmi problémák (előkészítő év tananyaga, egyéni fejlesztés, nyelvtanulás) Finanszírozási problémák (normatíva felhasználása, fenntartó-iskola) Koordinációs problémák (AJP iroda, iskolák közötti kapcsolat) -> következmény tartalmi megújulás, éves monitoringok,

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Hogyan tovább? Többi alprogram hatásvizsgálata Mit is jelent a sikeres program? -> A középiskola kimeneti mutatói Diplomaszerzés A helyi értelmiség erősítése Költséghaszon számítások

„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP / Köszönöm a figyelmet!