Intézményértékelés, hozzáadott érték Székesfehérvár, 2006.06.08. Árendás Péter Illyés Gyula Gimnázium és KSZKI Budaörs www.onfejlesztoiskolak.hu

Mit értékel(j)ünk? minőség - definiálás és deklarálás (Ql.; Qt.) a szervezet (intézmény) felelőssége eredményesség – minőség előállítási képesség (Ql.; Qt.) hatékonyság (Qt.) (eredmény/ráfordítás), (OECD, EU hatékonysági indikátorok) (Qt.) rész és/vagy egész? (a) meghatározó rendszerelem értékelése (b) a rendszer egészének értékelése Ql.: minőségi; Qt.: mennyiségi

Értékelési szintek nemzetközi mérések országos kompetencia mérések – részben tisztázott funkciókkal fenntartói mérések, fenntartói értékelés intézményértékelés

I. Fenntartói minőségirányítási program (ÖMIP) Az önkormányzati minőségirányítási program (ÖMIP) elemei: Fenntartói elvárások meghatározása a helyi közoktatási rendszer egészére Az intézmények fenntartói elvárásokkal kapcsolatos feladatai Törvényességi, szakmai, pénzügyi ellenőrzések rendje (helyi ellenőrzési-értékelési rendszer) Palotás Zoltán Qualy-Co

Palotás Zoltán Qualy-Co Jogszabályi háttér Kt. 102.§ (2) d) pontja: A fenntartó „a minőségirányítási programban meghatározottak szerint működteti a minőségfejlesztés rendszerét, továbbá rendszeresen - ha jogszabály másképp nem rendelkezik, négyévenként legalább egy alkalommal - ellenőrzi a közoktatási intézmény gazdálkodását, működésének törvényességét, hatékonyságát, a szakmai munka eredményességét…” – minőségirányítási programot csak az önkormányzatoknak kell készíteni… Kt. 102.§ (2) g) pontja: „értékeli a nevelési-oktatási intézmény foglalkozási, illetve pedagógiai programjában meghatározott feladatok végrehajtását, a pedagógiai szakmai munka eredményességét” Palotás Zoltán Qualy-Co

Palotás Zoltán Qualy-Co Jogszabályi háttér Kt. 104. § (4) bekezdés szerint a pp végrehajtását és a szakmai munka eredményességét az alábbiak alapján értékelheti: Szakértői szakvélemény Alapműveltségi és érettségi vizsga eredményei Az intézményi beszámoló Az iskolaszék véleménye Palotás Zoltán Qualy-Co

Palotás Zoltán Qualy-Co Jogszabályi háttér Kt. 107. § - eljárás szabályozása A szakmai ellenőrzés megkezdése előtt legalább hét nappal az ellenőrzés vezetőjének egyeztetni kell a vezetővel és a kezdeményezővel az időtartamot a formát a módszereket az időpontot az érdekeltek véleményezési lehetőségének módját Palotás Zoltán Qualy-Co

Palotás Zoltán Qualy-Co Jogszabályi háttér A szakmai ellenőrzés megállapításait a személyiségvédelemre vonatkozó jogszabályok megtartásával nyilvánosságra kell hozni. Az aki az ellenőrzés megállapításaival nem ért egyet, másik szakmai ellenőrzés keretében kérheti annak felülvizsgálatát. Szakmai ellenőrzés eredményeképpen a fenntartó felhívja az intézmény vezetőjét a szükséges intézkedések megtételére. Palotás Zoltán Qualy-Co

A rendszer kialakítása Az ellenőrzési, értékelési rendszer elemei: ellenőrzési, értékelési célok kijelölése a középtávú feladatellátási célok alapján Az ellenőrzés, értékelés területeinek meghatározása Ellenőrzési, értékelési szempontok meghatározása Módszerek és eszközök meghatározása A területekhez kapcsolódó indikátorok meghatározása A keletkezett információk elrendezésére vonatkozó adatbázis kialakítása Palotás Zoltán Qualy-Co

Ellenőrzés, értékelés területei Palotás Zoltán Qualy-Co

II. Intézmény(ön)értékelés Rész/vagy egész értékelése?! Küldetés, alapelvek, stratégiai dokumentumok Input Az intézmény szervezet és vezetés működés szervezeti kultúra Output

Az intézményértékelés néhány szükséges jellemzője A szempontok fedjék le (hézagmentesen) a teljes rendszert A lefedő kritériumok száma legyen átlátható, kezelhető (7-10) Legyenek minél kisebbek az átfedések a kritériumok között (kritériumfüggetlenség) Legyen világos, tisztázott a hatóköre, az érvényessége a következménye (település, intézmény, évfolyam, osztály, tanuló/pedagógus) Legyen megfelelő a mennyiségi és a minőségi módszerek (a mérési, értékelési kultúrától erősen függő) aránya (a kvantifikálható indikátorok kritikus tömege) A konkrét értékelés: innovációs fázisban: essen az intézmény szervezeti-mérési kultúrájának „proximális zónájába” erőgyűjtési fázisban: legyen ismert, kipróbált, rutinszerű.

Az „intézménybarát értékelés” néhány jellemzője - Központi, finanszírozott program (pl. Comenius 2000; SZAK-pályázat; KMD; SZAKMA-projekt) - Kidolgozott (másolható) eljárásrend (minőségügyi vezető ill. mérési-értékelési szakértő nélkül is!) - Hiteles, hozzáférhető, részben már ismert eszközök - Intézményi szinten is átlátható, kezelhető mennyiségű adat - Jellemzően fejlesztő, támogató jelleg

„Rendszerbe állított” (használatba vett) lehetőségek - Nemzeti Minőségi Díj (Közoktatás Minőségéért Díj) - Comenius 2000 II. Modell - „Saját” rendszerek Választás: A rendszer teljes lefedése, hangsúlyok A kritériumok kategorizálása mit, mennyire típusú kritériumok (mennyiségi elemzések) hogyan típusú kritériumok (minőségi elemzések) (mit típusú kritériumok – hozzáadott érték)

Intézmény(ön)értékelés – minőségdíj kritériumok alapján HOGYAN, MILYEN MÓDSZEREKKEL? MIT, MENNYIRE ? Vezetés Folyama-tok szabályo-zása Erőforrások Intézményi stratégia Munkatársak irányítása Kulcs- fontosságú eredmé-nyek Munkatársak elégedettsége Partnerek elégedettsége Társadalmi hatás ADOTTSÁGOK 500 EREDMÉNYEK 500 INNOVÁCIÓ és TANULÁS

Intézmény(ön)értékelés – a Comenius 2000 Modell alapján Az intézményvezetés felelőssége és elkötelezettsége (hogyan) A partnerkapcsolatok irányítása (hogyan, mit) Emberi erőforrások (hogyan, mit) Egyéb erőforrások (mit, hogyan) Az intézmény működtetése (hogyan) Biztonságos intézmény (mit, hogyan) Oktatás-nevelés (mit) Mérés, elemzés, javítás (mit, hogyan) Szervezeti kultúra, klíma területe (hogyan, mit)

Ellenőrzés, értékelés területei Palotás Zoltán Qualy-Co

Kinek mi az érdeke? (az intézményi eredményesség és hatékonyság értékelése során) Belső (intézményi ön-) értékelés és külső (pl. fenntartói) értékelés optimális aránya Érdekazonosság/érdekellentét: iskolahasználók – minőség fenntartó – minősítés (hatékonyság; feladatfinanszírozás) intézmény (vezetés) – (intézményi) minősítés és fejlesztés pedagógus – (egyéni) fejlesztés, támogatás (működésfinanszírozás)

A közös rész, amit minden érintett tudni (mérni) akar iskolahasználók (kulcsfontosságú eredmények) fenntartó (kulcsfontosságú eredmények, hatékonyság) intézmény (kulcsfontosságú eredmények, saját hozzájárulás mértéke) INTÉZMÉNYÉRTÉKELÉS ÖNÉRTÉKELÉS HOZZÁADOTT ÉRTÉK

III. Pedagógusértékelés

Rendszerelemek eredménycentrikus - jutalmazó elem tevékenységcentrikus - folyamatszabályozó elem szembesítő - formatív elem

Az egyes elemek jellemzői eredménycentrikus - jutalmazó elem funkciója: adott, jól definiált teljesítményért - garantált jutalom (forrásigény!) erősen (konszenzussal) legitimált, „fillérre kiszámolható” taxatív célprémium rendszer rövid periódusonként (tanévenként 1-2 alkalommal), rögzített időpontokban ismétlődik szubjektív elemet nem (alig) tartalmaz

Az egyes elemek jellemzői tevékenységcentrikus - folyamatszabályozó elem funkciója: az intézményi célok és az egyéni karriercélok összhangba hozása, kölcsönös erősítése, (a ped. program személyre szóló) támogatása. Nem lehet direkt anyagi következménye! Meghatározó eleme a fejlesztés, a támogatás, nem minősíti a pedagógust! erősen (konszenzussal) legitimált szempontsor és eljárásrend lehetőség szerint vezetői periódusonként (5 évenként) minden kolléga sorra kerül

Az egyes elemek jellemzői szembesítő - formatív elem funkciója: szembesíteni a pedagógust egy partner véleményével (teljes egészében a partner szempontsora és eljárásrendje érvényesül) csak a toplista nyilvános, mindenki csak a saját eredményét, az átlagot, a szórást a maximumot és a minimumot látja. formálisan semmilyen következménye nincs nem deklarált rendszerelem (de nem illegitim!)

Eredménycentrikus - jutalmazó elem Standard szempontok: fizetésarányos rész egységes rész beosztás-, státuszfüggő rész tanított tanulók, csoportok száma érettségi érintettség (felsőfokú) nyelvvizsgák száma versenyeredmények (megyei, országos) – taxatív rendszer

Eredménycentrikus - jutalmazó elem iskolai szintű táborok, programok diákönkormányzati munka támogatása, (Egyosz-nap) Illyés Napok (tanulmányi, kulturális, sport) iskolai programokon való részvétel helyettesítések vállalása hiányzás, önigazolás

Tevékenységcentrikus - folyamatszabályozó elem I Tevékenységcentrikus - folyamatszabályozó elem I. Az értékelést megelőző szakasz bevezető beszélgetés: a fejlesztés, az értékelés célja, szempontjai a tanár saját önértékelésének elkészítése, megbeszélése óralátogatások mikéntjének rögzítése további támpontok: elért eredmények, füzetek, dolgozatok, tanmenetek, óravázlatok, tanulói vélemények, kollegák véleménye, tanórán kívüli tevékenységek.

Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés Kvantifikálható adatok: tanulóinak teljesítménye (tudásszint mérés) követelményrendszere és annak összhangja a pedagógiai programmal, helyi tantervvel a különböző műveleti szintek adekvát használata értékelési gyakorlata, kultúrája óravezetésének strukturált megfigyelése interakciós jellemzők rögzítése (standandizált mérőlappal)

Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés Csak részben kvantifikálható adatok: egyéb iskolai tevékenységei kollegialitása követelményrendszerének illeszkedése a munkaközösség többi tagjáéhoz együttműködési képessége (kollegákkal, tanulókkal, szülőkkel, egyéb partnerekkel) tervező munkája tantervfejlesztő, tantervértékelő tevékenysége fegyelmezési stílusa, a tanulókhoz való viszonya,

Tevékenységcentrikus - folyamatszabályozó elem II. Az értékelés motiváló képessége kiegyensúlyozottsága, biztonsága továbbképzési szükségletei szakmai felkészültsége értékelési képessége tanulóinak menedzselése az érték- és normaközvetítésben vállalt szerepe pályaorientációs tevékenysége törvényességi szempontok esélyegyenlőség biztosítása, diszkrimináció a munkája során

Tevékenységcentrikus - folyamatszabályozó elem III Tevékenységcentrikus - folyamatszabályozó elem III. Az értékelés lezárása, utókövetés Közösen elkészített fejlesztési-cselekvési terv Utókövetés a megvalósulás mérőpontjainak rögzítése a megvalósulás értékelése  megerősítés vagy korrigálás. Hosszútávú következmény?!

A tanárok diákok általi értékelése szembesítő - formatív elem A.1: Szaktárgyának ismerete, a tananyagból való felkészültsége A.2: Mennyire veszi figyelembe az egyes tanulók képességeit, igazítja az egyes diákokhoz az anyagot A.3: Mennyire érthetően adja le a tananyagot, magyaráz jól B.1:Számonkéréskor mennyire igazodik az órán leadott anyaghoz, mennyire világosak a követelményei B.2: Az általa számon kért tudás mennyire hasznosítható a későbbiekben B.3: Az általa feladott házi feladatok mennyire segítik a tananyag megismerését és megtanulását

A tanárok diákok általi értékelése szembesítő - formatív elem C.1: Az óráin való részvétel során mennyire fejleszti a vitakultúrádat, mennyire segít hozzá az önálló véleményalkotáshoz és – kifejtéshez C.2: Mennyire segíti az esetleges szorongások feloldását C.3: Mennyire kezel partnerként (toleráns, segíti önbecsülésedet, odafigyel Rád, stb.) D.1: Mennyire tartod jónak óráinak hangulatát D.2: Mennyire tartod jónak fegyelmezési módszereit D.3: Mennyire tudja összehangolni, összefogni az órai munkát, az osztályt

Pedagógus értékelés szükséges források időtényezők anyagi humán (értékelők) időtényezők

Hozzáadott érték megközelítések

IV. A tanulókat érő (fejlesztő) hatások A tanulók és csoportjaik közötti különbségek okai, eredete szelekció fejlesztő hatás A tanulókat érő hatások megkülönböztetése eredet szerint (iskolai, iskolától független) tartalom szerint A tanulókat érő hatások vizsgálata tanulásszervezési egységek (mérési egységek) szerint (az a tanulásszervezési egység, amely az adott mérés szempontjából közel azonos fejlesztési hatásoknak van kitéve): iskola – iskolák közötti különbségek évfolyam – évfolyamok közötti különbségek osztály – osztályok közötti különbségek tanuló – tanulók közötti különbségek

A tanulócsoportok eltérő eredményeinek oka, eredete Iskolán kívüli (iskolától független) tényezők hatása az iskola szelekciós lehetőségei és ennek következményei a szülők eltérő iskolai végzettségével kapcsolatba hozható különbségek egyéb háttérváltozókból magyarázható különbségek Egyértelműen az iskolához kapcsolható tényezők hatása

Az iskolához kapcsolható tényezők hatása; mit mérjünk? Nagyon erősen mintafüggő (osztály, évf., iskola, település, régió, ország, nemzetközi). Mit, milyen tudásformát, tudástartalmat mérjünk? tantárgyi tudás (tantervi követelmények ill. tantárgyi tesztek) kiválasztott kompetenciák, megértési-, alkalmazási képességek gondolkodási képességek A gondolkodási-, megértési-, alkalmazási képességek valamilyen kombinációját célszerű mérni.

Milyen mérőeszközök állnak rendelkezésre, mivel mérjünk? PISA 2000, 2003 (2006) mérések KÁOKSZI – OKÉV 2001, 2003 mérések JATE-SZTE mérések Egységes középiskolai felvételi vizsgák Emelt szintű érettségi vizsgák

A különböző szintű mérések egymásra épülése (!) Nemzetközi mérések – országok közötti különbség Országos mérések – településtípusok, települések, fenntartók, iskolatípusok, iskolák közötti különbség Fenntartói mérések – iskolák, tagozatok, osztályok közötti különbség Intézményi mérések – évfolyamok, tagozatok, osztályok, csoportok, tanulók közötti különbség - Szükséges feltételek: felhatalmazás (mandátum), szakértelem, források, mérési-feldolgozási kapacitás - Hozzáférés, folytathatóság, felhasználhatóság, kiegészíthetőség a következő szinten

A pedagógiai hozzáadott érték2 Az iskola egy adott időtartam alatt mit (mennyit) ad hozzá a tanulók tudásához valamely, jól definiált területen. A tanulókról input és output adatok is rendelkezésre állnak (ugyanakkor általában nagyok az induló különbségek!) A tanulókról csak egy alkalommal felvett adatok állnak rendelkezésre, ugyanakkor elegendő információ van az iskolán kívüli tényezők hatásáról

Rangsorok A középiskolai munka néhány mutatója (Neuwirth Gábor munkái alapján) a korábbról hozott, a hozzáadódó és az iskola által hozzáadott hatások bonyolult eredője a saját intézmény elhelyezése az országos, regionális, helyi rangskálán fontos háttérváltozók (régió, településtípus, fenntartó, stb.) szerinti elemzési lehetőségek stratégiai tervezéskor, trendvizsgálatok esetén kihagyhatatlan

Rangsorok - hozzáadott érték1,2 (fontos fázis) Nem a kimeneti eredményekben bekövetkezett változások mértékét jellemzi! A kimeneti adatok adottak, nincs választási lehetőség. A rangsor árnyalása – kimeneti és bemeneti adatok kapcsolata kimeneti adatok: eredményességi mutatók F/L Közös írásbelik iskolai átlaga Nyelvvizsga/jelentkezők (Ny/J) OKTV (OSZTV)/ tanulók száma bemeneti adatok: szociokulturális, tanulmányi mutatók ált. isk. tanulmányi átlag szülők iskolázottsága munkanélküliségi ráta a bemeneti adatokból képzett B értéket hasonlítja össze a kimeneti adatokból képzett K értékkel (különböző képzési eljárások) - faktoranalízissel a kimeneti adatokból egy kimeneti faktort képeznek, amely a konkrét bemeneti adatok felhasználásával várható kimeneti értékeket szolgáltat. A várható és a valós kimeneti értékek eltérése – hozzáadott érték

Hozzáadott érték2 – tudástartalmak, a tudás különböző rétegei (JATE - SZTE) Cél: a tudás különböző rétegei kapcsolatának, adott tudásforma fejlődésének a vizsgálata mi választunk „réteget” – mibe akarunk belemérni közvetlen indikátorok – szummatív tantárgyi értékelés (záróosztályzatok) tudásszintmérő tantárgyi tesztek megértés, alkalmazási képesség, szemlélet vizsgálata gondolkodási képességek vizsgálata induktív gondolkodás (szóanalógiák) deduktív gondolkodás (logika) korrelatív gondolkodás (valószínűségi összefüggések) kritikai gondolkodás Elméleti háttér, mérőeszközök, elemzési szempontok, módszerek

Hozzáadott érték – a hatások szétválasztása (JATE - SZTE) kulcs-háttérváltozó: a szülők (az anya) iskolai végzettsége – a különbségeket magyarázó legerősebb tényező regresszió analízis: statisztikai módszerekkel meghatározható az az eredmény (várható érték), amely egy osztálytól (évfolyamtól, iskolától) valamilyen feltétel teljesülése estén (pl. a szülők valamilyen iskolai végzettsége esetén) elvárható. az eltéréseket egy idő után először értelmezni, majd magyarázni kell(ene) tudni t idő múlva ugyanolyan (ekvivalens) mérőeszközzel lehet mérni a változást

Országos kompetencia mérések 2001, 2003; folytatás? KÁOKSZI 2001 (5. és 9. évf.), 2003 (6. és 10. évf.) olvasás-szövegértés matematikai műveltség, eszközhasználat 2003-tól háttérváltozók is a kompetenciák előtérbe kerülése tesztminta, javítókulcs minta a diagnosztikus értékelés elemei szempontok a tantervi követelményekhez, a tanulói értékeléshez országos összehasonlíthatóság segítség az intézményi szintű elemzések folytatására (CD) az egyéni tanulói követés nehézkessége „megágyazás” az egységes középiskolai felvételinek

Mihez viszonyítva – vonatkoztatási rendszer Országosan (regionálisan, stb., a vizsgálatba bevont korosztályok és iskolatípus vonatkozásában is) reprezentatív mintán felvett induktív teszt alapján: K, f0, r, a paraméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). Az adott iskolát reprezentáló mintán felvett induktív teszt alapján: K, f0, r, a paraméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). A ténylegesen elvégzett mérések eredményeit fm(t) függvény értékei mutatják. Az iskola hatására szuperponálódó egyéb hatásokat a regresszió analízis és a faktoranalízis eszközeivel szűrjük. (a 4-8 évet átfogó szimulált fv. értékeket egy adott időpontban felvett keresztmetszeti mérésből is nyerhetjük)

fm(t2) fm(t1) fm(t0) t0 t1 t2 fsz(t) fm(t)

Hozzáadódó érték3 H(ti) = H(ti-ti-1) = fm(ti) - fm(ti-1) - fsz(ti) - fsz(ti-1) fm(t2) fm(t1) fm(t0) t0 t1 t2 fsz(t) fm(t)

KÖSZÖNÖM FIGYELMÜKET!