Intézményértékelés, hozzáadott érték

Az előadások a következő témára: "Intézményértékelés, hozzáadott érték"— Előadás másolata:

1 Intézményértékelés, hozzáadott érték
Székesfehérvár, Árendás Péter Illyés Gyula Gimnázium és KSZKI Budaörs

2 Mit értékel(j)ünk? minőség - definiálás és deklarálás (Ql.; Qt.)
a szervezet (intézmény) felelőssége eredményesség – minőség előállítási képesség (Ql.; Qt.) hatékonyság (Qt.) (eredmény/ráfordítás), (OECD, EU hatékonysági indikátorok) (Qt.) rész és/vagy egész? (a) meghatározó rendszerelem értékelése (b) a rendszer egészének értékelése Ql.: minőségi; Qt.: mennyiségi

3 Értékelési szintek nemzetközi mérések
országos kompetencia mérések – részben tisztázott funkciókkal fenntartói mérések, fenntartói értékelés intézményértékelés

4 I. Fenntartói minőségirányítási program (ÖMIP)
Az önkormányzati minőségirányítási program (ÖMIP) elemei: Fenntartói elvárások meghatározása a helyi közoktatási rendszer egészére Az intézmények fenntartói elvárásokkal kapcsolatos feladatai Törvényességi, szakmai, pénzügyi ellenőrzések rendje (helyi ellenőrzési-értékelési rendszer) Palotás Zoltán Qualy-Co

5 Palotás Zoltán Qualy-Co
Jogszabályi háttér Kt. 102.§ (2) d) pontja: A fenntartó „a minőségirányítási programban meghatározottak szerint működteti a minőségfejlesztés rendszerét, továbbá rendszeresen - ha jogszabály másképp nem rendelkezik, négyévenként legalább egy alkalommal - ellenőrzi a közoktatási intézmény gazdálkodását, működésének törvényességét, hatékonyságát, a szakmai munka eredményességét…” – minőségirányítási programot csak az önkormányzatoknak kell készíteni… Kt. 102.§ (2) g) pontja: „értékeli a nevelési-oktatási intézmény foglalkozási, illetve pedagógiai programjában meghatározott feladatok végrehajtását, a pedagógiai szakmai munka eredményességét” Palotás Zoltán Qualy-Co

6 Palotás Zoltán Qualy-Co
Jogszabályi háttér Kt § (4) bekezdés szerint a pp végrehajtását és a szakmai munka eredményességét az alábbiak alapján értékelheti: Szakértői szakvélemény Alapműveltségi és érettségi vizsga eredményei Az intézményi beszámoló Az iskolaszék véleménye Palotás Zoltán Qualy-Co

7 Palotás Zoltán Qualy-Co
Jogszabályi háttér Kt § - eljárás szabályozása A szakmai ellenőrzés megkezdése előtt legalább hét nappal az ellenőrzés vezetőjének egyeztetni kell a vezetővel és a kezdeményezővel az időtartamot a formát a módszereket az időpontot az érdekeltek véleményezési lehetőségének módját Palotás Zoltán Qualy-Co

8 Palotás Zoltán Qualy-Co
Jogszabályi háttér A szakmai ellenőrzés megállapításait a személyiségvédelemre vonatkozó jogszabályok megtartásával nyilvánosságra kell hozni. Az aki az ellenőrzés megállapításaival nem ért egyet, másik szakmai ellenőrzés keretében kérheti annak felülvizsgálatát. Szakmai ellenőrzés eredményeképpen a fenntartó felhívja az intézmény vezetőjét a szükséges intézkedések megtételére. Palotás Zoltán Qualy-Co

9 A rendszer kialakítása
Az ellenőrzési, értékelési rendszer elemei: ellenőrzési, értékelési célok kijelölése a középtávú feladatellátási célok alapján Az ellenőrzés, értékelés területeinek meghatározása Ellenőrzési, értékelési szempontok meghatározása Módszerek és eszközök meghatározása A területekhez kapcsolódó indikátorok meghatározása A keletkezett információk elrendezésére vonatkozó adatbázis kialakítása Palotás Zoltán Qualy-Co

10 Ellenőrzés, értékelés területei
Palotás Zoltán Qualy-Co

11 II. Intézmény(ön)értékelés
Rész/vagy egész értékelése?! Küldetés, alapelvek, stratégiai dokumentumok Input Az intézmény szervezet és vezetés működés szervezeti kultúra Output

12 Az intézményértékelés néhány szükséges jellemzője
A szempontok fedjék le (hézagmentesen) a teljes rendszert A lefedő kritériumok száma legyen átlátható, kezelhető (7-10) Legyenek minél kisebbek az átfedések a kritériumok között (kritériumfüggetlenség) Legyen világos, tisztázott a hatóköre, az érvényessége a következménye (település, intézmény, évfolyam, osztály, tanuló/pedagógus) Legyen megfelelő a mennyiségi és a minőségi módszerek (a mérési, értékelési kultúrától erősen függő) aránya (a kvantifikálható indikátorok kritikus tömege) A konkrét értékelés: innovációs fázisban: essen az intézmény szervezeti-mérési kultúrájának „proximális zónájába” erőgyűjtési fázisban: legyen ismert, kipróbált, rutinszerű.

13 Az „intézménybarát értékelés” néhány jellemzője
- Központi, finanszírozott program (pl. Comenius 2000; SZAK-pályázat; KMD; SZAKMA-projekt) - Kidolgozott (másolható) eljárásrend (minőségügyi vezető ill. mérési-értékelési szakértő nélkül is!) - Hiteles, hozzáférhető, részben már ismert eszközök - Intézményi szinten is átlátható, kezelhető mennyiségű adat - Jellemzően fejlesztő, támogató jelleg

14 „Rendszerbe állított” (használatba vett) lehetőségek
- Nemzeti Minőségi Díj (Közoktatás Minőségéért Díj) - Comenius 2000 II. Modell - „Saját” rendszerek Választás: A rendszer teljes lefedése, hangsúlyok A kritériumok kategorizálása mit, mennyire típusú kritériumok (mennyiségi elemzések) hogyan típusú kritériumok (minőségi elemzések) (mit típusú kritériumok – hozzáadott érték)

15 Intézmény(ön)értékelés – minőségdíj kritériumok alapján
HOGYAN, MILYEN MÓDSZEREKKEL? MIT, MENNYIRE ? Vezetés Folyama-tok szabályo-zása Erőforrások Intézményi stratégia Munkatársak irányítása Kulcs- fontosságú eredmé-nyek Munkatársak elégedettsége Partnerek elégedettsége Társadalmi hatás ADOTTSÁGOK 500 EREDMÉNYEK 500 INNOVÁCIÓ és TANULÁS

16 Intézmény(ön)értékelés – a Comenius 2000 Modell alapján
Az intézményvezetés felelőssége és elkötelezettsége (hogyan) A partnerkapcsolatok irányítása (hogyan, mit) Emberi erőforrások (hogyan, mit) Egyéb erőforrások (mit, hogyan) Az intézmény működtetése (hogyan) Biztonságos intézmény (mit, hogyan) Oktatás-nevelés (mit) Mérés, elemzés, javítás (mit, hogyan) Szervezeti kultúra, klíma területe (hogyan, mit)

17 Ellenőrzés, értékelés területei
Palotás Zoltán Qualy-Co

18 Kinek mi az érdeke? (az intézményi eredményesség és hatékonyság értékelése során)
Belső (intézményi ön-) értékelés és külső (pl. fenntartói) értékelés optimális aránya Érdekazonosság/érdekellentét: iskolahasználók – minőség fenntartó – minősítés (hatékonyság; feladatfinanszírozás) intézmény (vezetés) – (intézményi) minősítés és fejlesztés pedagógus – (egyéni) fejlesztés, támogatás (működésfinanszírozás)

19 A közös rész, amit minden érintett tudni (mérni) akar
iskolahasználók (kulcsfontosságú eredmények) fenntartó (kulcsfontosságú eredmények, hatékonyság) intézmény (kulcsfontosságú eredmények, saját hozzájárulás mértéke) INTÉZMÉNYÉRTÉKELÉS ÖNÉRTÉKELÉS HOZZÁADOTT ÉRTÉK

20 III. Pedagógusértékelés

21 Rendszerelemek eredménycentrikus - jutalmazó elem
tevékenységcentrikus - folyamatszabályozó elem szembesítő - formatív elem

22 Az egyes elemek jellemzői
eredménycentrikus - jutalmazó elem funkciója: adott, jól definiált teljesítményért - garantált jutalom (forrásigény!) erősen (konszenzussal) legitimált, „fillérre kiszámolható” taxatív célprémium rendszer rövid periódusonként (tanévenként 1-2 alkalommal), rögzített időpontokban ismétlődik szubjektív elemet nem (alig) tartalmaz

23 Az egyes elemek jellemzői
tevékenységcentrikus - folyamatszabályozó elem funkciója: az intézményi célok és az egyéni karriercélok összhangba hozása, kölcsönös erősítése, (a ped. program személyre szóló) támogatása. Nem lehet direkt anyagi következménye! Meghatározó eleme a fejlesztés, a támogatás, nem minősíti a pedagógust! erősen (konszenzussal) legitimált szempontsor és eljárásrend lehetőség szerint vezetői periódusonként (5 évenként) minden kolléga sorra kerül

24 Az egyes elemek jellemzői
szembesítő - formatív elem funkciója: szembesíteni a pedagógust egy partner véleményével (teljes egészében a partner szempontsora és eljárásrendje érvényesül) csak a toplista nyilvános, mindenki csak a saját eredményét, az átlagot, a szórást a maximumot és a minimumot látja. formálisan semmilyen következménye nincs nem deklarált rendszerelem (de nem illegitim!)

25 Eredménycentrikus - jutalmazó elem
Standard szempontok: fizetésarányos rész egységes rész beosztás-, státuszfüggő rész tanított tanulók, csoportok száma érettségi érintettség (felsőfokú) nyelvvizsgák száma versenyeredmények (megyei, országos) – taxatív rendszer

26 Eredménycentrikus - jutalmazó elem
iskolai szintű táborok, programok diákönkormányzati munka támogatása, (Egyosz-nap) Illyés Napok (tanulmányi, kulturális, sport) iskolai programokon való részvétel helyettesítések vállalása hiányzás, önigazolás

27 Tevékenységcentrikus - folyamatszabályozó elem I
Tevékenységcentrikus - folyamatszabályozó elem I. Az értékelést megelőző szakasz bevezető beszélgetés: a fejlesztés, az értékelés célja, szempontjai a tanár saját önértékelésének elkészítése, megbeszélése óralátogatások mikéntjének rögzítése további támpontok: elért eredmények, füzetek, dolgozatok, tanmenetek, óravázlatok, tanulói vélemények, kollegák véleménye, tanórán kívüli tevékenységek.

28 Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés
Kvantifikálható adatok: tanulóinak teljesítménye (tudásszint mérés) követelményrendszere és annak összhangja a pedagógiai programmal, helyi tantervvel a különböző műveleti szintek adekvát használata értékelési gyakorlata, kultúrája óravezetésének strukturált megfigyelése interakciós jellemzők rögzítése (standandizált mérőlappal)

29 Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés
Csak részben kvantifikálható adatok: egyéb iskolai tevékenységei kollegialitása követelményrendszerének illeszkedése a munkaközösség többi tagjáéhoz együttműködési képessége (kollegákkal, tanulókkal, szülőkkel, egyéb partnerekkel) tervező munkája tantervfejlesztő, tantervértékelő tevékenysége fegyelmezési stílusa, a tanulókhoz való viszonya,

30 Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés
motiváló képessége kiegyensúlyozottsága, biztonsága továbbképzési szükségletei szakmai felkészültsége értékelési képessége tanulóinak menedzselése az érték- és normaközvetítésben vállalt szerepe pályaorientációs tevékenysége törvényességi szempontok esélyegyenlőség biztosítása, diszkrimináció a munkája során

31 Tevékenységcentrikus - folyamatszabályozó elem III
Tevékenységcentrikus - folyamatszabályozó elem III. Az értékelés lezárása, utókövetés Közösen elkészített fejlesztési-cselekvési terv Utókövetés a megvalósulás mérőpontjainak rögzítése a megvalósulás értékelése  megerősítés vagy korrigálás. Hosszútávú következmény?!

32 A tanárok diákok általi értékelése szembesítő - formatív elem
A.1: Szaktárgyának ismerete, a tananyagból való felkészültsége A.2: Mennyire veszi figyelembe az egyes tanulók képességeit, igazítja az egyes diákokhoz az anyagot A.3: Mennyire érthetően adja le a tananyagot, magyaráz jól B.1:Számonkéréskor mennyire igazodik az órán leadott anyaghoz, mennyire világosak a követelményei B.2: Az általa számon kért tudás mennyire hasznosítható a későbbiekben B.3: Az általa feladott házi feladatok mennyire segítik a tananyag megismerését és megtanulását

33 A tanárok diákok általi értékelése szembesítő - formatív elem
C.1: Az óráin való részvétel során mennyire fejleszti a vitakultúrádat, mennyire segít hozzá az önálló véleményalkotáshoz és – kifejtéshez C.2: Mennyire segíti az esetleges szorongások feloldását C.3: Mennyire kezel partnerként (toleráns, segíti önbecsülésedet, odafigyel Rád, stb.) D.1: Mennyire tartod jónak óráinak hangulatát D.2: Mennyire tartod jónak fegyelmezési módszereit D.3: Mennyire tudja összehangolni, összefogni az órai munkát, az osztályt

34 Pedagógus értékelés szükséges források időtényezők anyagi
humán (értékelők) időtényezők

35 Hozzáadott érték megközelítések

36 IV. A tanulókat érő (fejlesztő) hatások
A tanulók és csoportjaik közötti különbségek okai, eredete szelekció fejlesztő hatás A tanulókat érő hatások megkülönböztetése eredet szerint (iskolai, iskolától független) tartalom szerint A tanulókat érő hatások vizsgálata tanulásszervezési egységek (mérési egységek) szerint (az a tanulásszervezési egység, amely az adott mérés szempontjából közel azonos fejlesztési hatásoknak van kitéve): iskola – iskolák közötti különbségek évfolyam – évfolyamok közötti különbségek osztály – osztályok közötti különbségek tanuló – tanulók közötti különbségek

37 A tanulócsoportok eltérő eredményeinek oka, eredete
Iskolán kívüli (iskolától független) tényezők hatása az iskola szelekciós lehetőségei és ennek következményei a szülők eltérő iskolai végzettségével kapcsolatba hozható különbségek egyéb háttérváltozókból magyarázható különbségek Egyértelműen az iskolához kapcsolható tényezők hatása

38

39 Az iskolához kapcsolható tényezők hatása; mit mérjünk?
Nagyon erősen mintafüggő (osztály, évf., iskola, település, régió, ország, nemzetközi). Mit, milyen tudásformát, tudástartalmat mérjünk? tantárgyi tudás (tantervi követelmények ill. tantárgyi tesztek) kiválasztott kompetenciák, megértési-, alkalmazási képességek gondolkodási képességek A gondolkodási-, megértési-, alkalmazási képességek valamilyen kombinációját célszerű mérni.

40 Milyen mérőeszközök állnak rendelkezésre, mivel mérjünk?
PISA 2000, 2003 (2006) mérések KÁOKSZI – OKÉV 2001, 2003 mérések JATE-SZTE mérések Egységes középiskolai felvételi vizsgák Emelt szintű érettségi vizsgák

41 A különböző szintű mérések egymásra épülése (!)
Nemzetközi mérések – országok közötti különbség Országos mérések – településtípusok, települések, fenntartók, iskolatípusok, iskolák közötti különbség Fenntartói mérések – iskolák, tagozatok, osztályok közötti különbség Intézményi mérések – évfolyamok, tagozatok, osztályok, csoportok, tanulók közötti különbség - Szükséges feltételek: felhatalmazás (mandátum), szakértelem, források, mérési-feldolgozási kapacitás - Hozzáférés, folytathatóság, felhasználhatóság, kiegészíthetőség a következő szinten

42 A pedagógiai hozzáadott érték2
Az iskola egy adott időtartam alatt mit (mennyit) ad hozzá a tanulók tudásához valamely, jól definiált területen. A tanulókról input és output adatok is rendelkezésre állnak (ugyanakkor általában nagyok az induló különbségek!) A tanulókról csak egy alkalommal felvett adatok állnak rendelkezésre, ugyanakkor elegendő információ van az iskolán kívüli tényezők hatásáról

43 Rangsorok A középiskolai munka néhány mutatója (Neuwirth Gábor munkái alapján)
a korábbról hozott, a hozzáadódó és az iskola által hozzáadott hatások bonyolult eredője a saját intézmény elhelyezése az országos, regionális, helyi rangskálán fontos háttérváltozók (régió, településtípus, fenntartó, stb.) szerinti elemzési lehetőségek stratégiai tervezéskor, trendvizsgálatok esetén kihagyhatatlan

44 Rangsorok - hozzáadott érték1,2 (fontos fázis)
Nem a kimeneti eredményekben bekövetkezett változások mértékét jellemzi! A kimeneti adatok adottak, nincs választási lehetőség. A rangsor árnyalása – kimeneti és bemeneti adatok kapcsolata kimeneti adatok: eredményességi mutatók F/L Közös írásbelik iskolai átlaga Nyelvvizsga/jelentkezők (Ny/J) OKTV (OSZTV)/ tanulók száma bemeneti adatok: szociokulturális, tanulmányi mutatók ált. isk. tanulmányi átlag szülők iskolázottsága munkanélküliségi ráta a bemeneti adatokból képzett B értéket hasonlítja össze a kimeneti adatokból képzett K értékkel (különböző képzési eljárások) - faktoranalízissel a kimeneti adatokból egy kimeneti faktort képeznek, amely a konkrét bemeneti adatok felhasználásával várható kimeneti értékeket szolgáltat. A várható és a valós kimeneti értékek eltérése – hozzáadott érték

45 Hozzáadott érték2 – tudástartalmak, a tudás különböző rétegei (JATE - SZTE)
Cél: a tudás különböző rétegei kapcsolatának, adott tudásforma fejlődésének a vizsgálata mi választunk „réteget” – mibe akarunk belemérni közvetlen indikátorok – szummatív tantárgyi értékelés (záróosztályzatok) tudásszintmérő tantárgyi tesztek megértés, alkalmazási képesség, szemlélet vizsgálata gondolkodási képességek vizsgálata induktív gondolkodás (szóanalógiák) deduktív gondolkodás (logika) korrelatív gondolkodás (valószínűségi összefüggések) kritikai gondolkodás Elméleti háttér, mérőeszközök, elemzési szempontok, módszerek

46 Hozzáadott érték – a hatások szétválasztása (JATE - SZTE)
kulcs-háttérváltozó: a szülők (az anya) iskolai végzettsége – a különbségeket magyarázó legerősebb tényező regresszió analízis: statisztikai módszerekkel meghatározható az az eredmény (várható érték), amely egy osztálytól (évfolyamtól, iskolától) valamilyen feltétel teljesülése estén (pl. a szülők valamilyen iskolai végzettsége esetén) elvárható. az eltéréseket egy idő után először értelmezni, majd magyarázni kell(ene) tudni t idő múlva ugyanolyan (ekvivalens) mérőeszközzel lehet mérni a változást

47 Országos kompetencia mérések 2001, 2003; folytatás?
KÁOKSZI 2001 (5. és 9. évf.), 2003 (6. és 10. évf.) olvasás-szövegértés matematikai műveltség, eszközhasználat 2003-tól háttérváltozók is a kompetenciák előtérbe kerülése tesztminta, javítókulcs minta a diagnosztikus értékelés elemei szempontok a tantervi követelményekhez, a tanulói értékeléshez országos összehasonlíthatóság segítség az intézményi szintű elemzések folytatására (CD) az egyéni tanulói követés nehézkessége „megágyazás” az egységes középiskolai felvételinek

48 Mihez viszonyítva – vonatkoztatási rendszer
Országosan (regionálisan, stb., a vizsgálatba bevont korosztályok és iskolatípus vonatkozásában is) reprezentatív mintán felvett induktív teszt alapján: K, f0, r, a paraméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). Az adott iskolát reprezentáló mintán felvett induktív teszt alapján: K, f0, r, a paraméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). A ténylegesen elvégzett mérések eredményeit fm(t) függvény értékei mutatják. Az iskola hatására szuperponálódó egyéb hatásokat a regresszió analízis és a faktoranalízis eszközeivel szűrjük. (a 4-8 évet átfogó szimulált fv. értékeket egy adott időpontban felvett keresztmetszeti mérésből is nyerhetjük)

49 fm(t2) fm(t1) fm(t0) t0 t1 t2 fsz(t) fm(t)

50 Hozzáadódó érték3 H(ti) = H(ti-ti-1) = fm(ti) - fm(ti-1) - fsz(ti) - fsz(ti-1) fm(t2) fm(t1) fm(t0) t0 t1 t2 fsz(t) fm(t)

51 KÖSZÖNÖM FIGYELMÜKET!