„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Fehérvári Anikó: A fejlesztési programok értékelés ének lehetőségei.

Az előadások a következő témára: "„XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Fehérvári Anikó: A fejlesztési programok értékelés ének lehetőségei."— Előadás másolata:

1 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Fehérvári Anikó: A fejlesztési programok értékelés ének lehetőségei

2 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Tényekre alapozott döntés Napjainkban felértékelődött a tényekre (tudományos bizonyítékokra) alapozott döntés, melynek oka a hatékonyabb elszámoltathatóság. A különböző gazdasági ágazatokban eltérő időben jelent meg az adatok felértékelődése, az oktatás nem az elsők között volt. Jellemző területei: az egészségügy, a környezetvédelem. Az elmúlt néhány évben azonban az oktatáspolitikában is kiemelt trend a tényekre alapozott döntéshozatal. (Halász Gábor: Tényekre alapozott oktatáspolitika és oktatásfejlesztés” a Pusztai Gabriella – Rébay Magdolna (szerk.): „Kié az oktatáskutatás. Tanulmányok Kozma Tamás 70. születésnapjára” c. könyvben)

3 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hatásvizsgálatok A hatásvizsgálat vagy programértékelés nem kutatási módszer, hanem cél, amelyben valamely társadalmi beavatkozás hatását elemzik. Tapasztalati tényeken alapuló kutatás során minősítik a beavatkozásokat, oksági kapcsolatok fennállását és azok erősségét nézik a vizsgált intézkedések és az ezt követő változások között. A hatásvizsgálat – alkalmazott kutatás. A módszer sokféle lehet (kérdőív, kísérlet stb.) Az ex-post mérés egy megvalósult szabályozás következményeit méri. Az ex-ante mérés pedig egy (még) meg nem valósított szabályozás jövőbeni következményeit becsüli fel.

4 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Célja Az értékelések és a hatástanulmányok szerepe, hogy visszajelzést adjanak a döntéshozók és az adófizetők számára az intézkedések hasznáról és hatásaikról. A nemzetközi szervezetek (Világbank és az Európai Unió) szigorú intézkedéseket vezettek be a támogatott projektek előzetes (ex ante) és utólagos (ex post) értékelésére, megszabják az alkalmazható módszereket is. Monitoring & Evaluation: Some Tools and Method… (WB, 2004.)-> cél: a 3.1.1 is készít majd egy ilyen füzetet

5 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Világbank standard módszerei Lehetséges eszközök: A logikai keretmátrix megközelítés Elméleti értékelés Felmérések Rapid értékelési módszerek Részvételi módszerek Közkiadások nyomon követésére irányuló felmérések A költség-haszon és a költség-hatékonyság elemzés Impact értékelés Minden eszközről a következőket írja le: Mik ezek Mire lehet használni Előnyei Hátrányai Költségei A feltáráshoz szükséges kompetenciák A feltáráshoz szükséges idő

6 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hatásvizsgálat v. programértékelés A hatásvizsgálat oksági magyarázatot ad a beavatkozások valamint azok megfigyelt vagy várható hatásai közötti kapcsolatra. A programértékelés viszont értékeket rendel e beavatkozásokhoz, minősíti azok erényeit vagy hiányosságait, egy előre megadott kritériumrendszer segítségével.

7 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 A kutatási cél megfogalmazása Mi a kívánatos eredmény, mi a beavatkozás célja, mit tekinthetünk sikernek. A hatásvizsgálat során számba kell vennünk valamennyi lehetséges kimenetet. A környezet jellemzőinek feltárása. Költség/haszon elemzés.

8 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hogyan csináljuk? - Kísérletek Ez a legmegbízhatóbb módszer az ok-okozati kapcsolatok igazolására Hatásvizsgálatra alkalmas kísérleti modell -> pl. 10-10 iskola véletlenszerű kiválasztása, az egyik a kísérleti, a másik a kontroll csoportot alkotja. A random módszer előnye, hogy kizárt a téves oksági kapcsolat megállapítása. Kísérleti idő megállapítása A vizsgálat megtervezése Beavatkozás a kísérleti csoportnál

9 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hogyan csináljuk? Kvázi- kísérlet Idősoros vizsgálatok: egyetlen csoporton hosszabb időtávon vizsgáljuk a hatást (adathiánynál is alkalmazzák, illetve amikor nem lehet kontroll csoportot bevonni a kutatásba) Nagymintás vizsgálatok: egyetlen csoport nagyobb elemszámban történő elemzése

10 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Leggyakoribb módszer A legjobb módszer a párosító módszer – elemzése -> a kettős különbség hatás: az intézkedés célcsoportjában megfigyelhető változás szignifikánsan és kedvezően különbözik a kontrollcsoportban megfigyelhető változástól

11 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Példa a párosítási módszerre CÉL: Gyerekházak Program hatása A mérések mellett a KÖRNYEZET elemzése is fontos, ezért a kutatók a Gyerekházak dokumentációs rendszerét is felmérték. A párosított minta lényegi eleme, hogy a programban résztvevő gyerek fejlődését olyan gyerekek fejlődéséhez hasonlítják, akik családi hátterük, óvodai környezetük és a fejlődésüket alapvetően meghatározó egyéb körülmények tekintetében hasonlóak a programban résztvevő gyerekekhez, de nem vesznek részt a programban-> kontroll csoportos minta. Surányi Éva: Biztos kezdet program hatásvizsgálata, 2010.

12 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Példa… Párosítás: ugyanazon települések kiválasztása, óvodák kiválasztása, a kontroll minta ellenőrzése-> valóban hasonló hátterű gyerekek, családok kerültek-e kiválasztásra. A módszer hátránya: a kutatásban gyűjtött adatok nem országosan reprezentatív adatok, ezért kutatási következtetéseink csak bizonyos korlátozó feltevések mellett általánosíthatóak. Mérőeszközök kiválasztása: mik azok a fejlődési területek, amely tükrözhetik a program hatását – ez alapján négy terület került kiválasztásra- kognitív fejlődés, szociális készség, én-kép, fizikai fejlődés. A négy terület mérése mellett sor került egy háttérkérdőívre is- szülők szocio-ökonómiai státusza

13 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 További példák Integrációs program hatásvizsgálata (Kézdi- Surányi, Educatio 2008/4) – Párosítási módszer – Mérési eszközök: szövegértési teszt, szülői háttér kérdőív No Child Left Behind Program: 2002-ben indult a program a hátrányos helyzetű gyerekek támogatására, a cél a tanulói eredményesség és elszámoltathatóság növelése ->az iskola finanszírozását teszik függővé az iskola teljesítményétől (ennek egy része a longitudinális vizsgálat, NAEP teszt ekkel való összevetés, éves előrehaladási jelentés tanulónként, iskolai éves jelentés, tanártovábbképzés )

14 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Költségszámítások Költséghaszon elemzések Az iskolázottság társadalmi, egyéni megtérülési rátáinak elemzése

15 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Oktatáspolitikai dilemma A megbízhatóság: meg kell határozni azokat a standardokat, amelyek alapján eldönthető, hogy egy adat megbízható/hiteles-e vagy sem. Ez egy klasszikus kutatás módszertani kérdés. A tények közlése mellett kiemelten fontossá válik, hogy hogyan nyertük (milyen módszerekkel, mintán) ezeket az adatokat. A megbízhatóságot növeli a módszerek kombinációja is.

16 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Mérés A mintaválasztás mellett legalább ugyanolyan fontos döntés, hogy mit és hogyan mérünk. Mérőeszközök kidolgozása – vizsgálati dimenziók kiválasztása kulcsfontosságú feladat, melyek azok a dimenziók, amelyek valóban jól tükrözik a program hatását (bizonyítható sikeresség, a változások fenntarthatóságának biztosítéka)

17 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hatások – de minek a hatása? Meg kell válaszolni azt a kérdést, hogy egyáltalán bekövetkezett-e a kívánt változás. Ha a hatás bekövetkezett, még akkor is kérdés, hogy valóban a beavatkozás hozta-e létre ezt a kedvező változást, vagy valami más. -> téves következtetés -> nem szignifikáns hatás, véletlen okozta a bekövetkezett változást vagy vizsgált okkal versengő másik ok -> nem az általunk feltételezett ok miatt következett be a változás.

18 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 TÁMOP 3.1.1 OFI 6. alprojekt Az alprojekt az elmúlt évtized legfon- tosabb oktatáspolitikai programjait vizsgálja meg. Korábbi fejlesztési programok hatásvizsgálatai: -Tehetséggondozás -Felzárkóztatás -Szakiskolai Fejlesztési Programok -Pedagógus továbbképzések

19 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Arany János Programok Eddig több hatásvizsgálat is történt. 2005-ös vizsgálat- AJTP (Fehérvári-Liskó, 2006.) Cél: a programba kerülésnél mennyire érvényesült a hátrányos helyzet szempontja Módszer: teljes körű vizsgálat (2005-ben) Iskolaigazgatói és kollégium vezetői kérdőív (23 db) Mélyinterjú a programvezetőkkel (23 db) Tanulói adatfelvétel (2003 db)

20 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 A hátrányos helyzet mérési dimenziói települési hátrány (kistelepülési lakóhely) családi hátrány (csonka család, nagycsalád: három vagy több gyermek) munkapiaci hátrány (a szülők alapfokú vagy annál alacsonyabb iskolai végzettsége, inaktivitása, munkanélkülisége)

21 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 A hátrányok megoszlása

22 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 A hátrányok együttes előfordulása

23 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hatásvizsgálat következménye A belépés szigorítása a programba Új programok indítása

24 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Összevetés a többi középiskolás adatával Neuwirth Gábor középiskolai vizsgálata, 2007. Összes kilencedikes tanuló lekérdezése (3776 kilencedikes osztály 95,860 diákja vett részt a kutatásban) Összehasonlításul szolgáló mutatók: lakóhely, szülők iskolázottsága, nevelési segélyben részesülők aránya Következtetés:az AJTP tanulókhoz hasonló mutatókkal a szakiskolások rendelkeznek. E program nélkül valószínű csak szakiskolákba tanulhattak volna tovább a diákok. (Fehérvári, 2008)

25 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 AJTP hatásvizsgálat 2008- 2009 (Expanzió) A vizsgálat célja: A program az elmúlt nyolc évben elérte-e a kitűzött céljait? A programban mi jellemző az állami források felhasználására? Módszerek : Interjú a korábbi és a mostani programvezetéssel Fókuszcsoportos interjú a kollégiumok vezetőivel Dokumentumelemzés Adatelemzés: a küldő általános iskolák térbeli és alapvető jellemzőinek elemzése, a program pénzfelhasználásának adatai (OKM által biztosított adatok alapján) Kérdőíves vizsgálat Végzett tanulók levélben történő megkeresésével 13. osztályos tanulók e –kérdőíves vizsgálata 13. osztályos tanulók körében végzett vizsgálat szociális intelligencia teszt mérés gimnáziumi tehetséggondozó tanárok körében e-kérdőívvel küldő általános iskolák vezetői és osztályfőnökei kérdőívvel középiskolák vezetői kérdőívvel történő megkeresésével

26 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Feltárt problémák, 2008-2009 Tartalmi problémák (előkészítő év tananyaga, egyéni fejlesztés, nyelvtanulás) Finanszírozási problémák (normatíva felhasználása, fenntartó-iskola) Koordinációs problémák (AJP iroda, iskolák közötti kapcsolat) -> következmény tartalmi megújulás, éves monitoringok,

27 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Hogyan tovább? Többi alprogram hatásvizsgálata Mit is jelent a sikeres program? -> A középiskola kimeneti mutatói Diplomaszerzés A helyi értelmiség erősítése Költséghaszon számítások

28 „XXI. SZÁZADI KÖZOKTATÁS ( FEJLESZTÉS, KOORDINÁCIÓ )” TÁMOP-3.1.1-11/1-2012-0001 Köszönöm a figyelmet!