IMIP tájékoztató 1. A minőségirányítási folyamat 2. A kérdőívek fejlesztése 3. Pedagógus teljesítményértékelés (szempontrendszer, eljárásrend) 4. Tapasztalatok, problémák

IMIP-tapasztalatok korábbi IMIP-kérdőívek (2000?) prb: érdektelenség (szkepticizmus)  visszajelzési lassúság, változás hiánya ugyanakkor: érdeklődés döntéshozás  adatok, tények  statisztika  felmérés Jelenlegi helyzet: mindenkit személyesen (névre szólóan, elkerülhetetlenül) érint

Törvényi háttér IMIP kiegészítés: teljesítményértékelési szempontrendszer (határidő 07.03.31.) cél: a munka minőségének javítása intézményi önértékelés [sejtés:] új jövedelem-összetevők bevezetése  közalkalmazotti bértábla megszűnése (?) – mértéke, feltételrendszere nem ismert bevezetés: a 2008/2009-es tanév első napja Mj: tervezhetőség – kiszámíthatatlanság

IMIP-módosítás eddigi lépései IMIP: 2004. május 14. (31 oldal) 07.febr.21. H.V.: tájékoztató (ütemezés, forma, kérdőív-tervezetek (3-féle) ismertetése; MÉ munkacsoport megbízása; véleményezési határidő véleményezés, módosítás-kiegészítés, tantestületi elfogadás 07.ápr. 4. IMIP-kiegészítés benyújtása – elfogadása Mj: mit tartalmaz és mit nem? 07.máj.16. H.V.: szempontrendszer, eljárásrend a pedagógusok teljesítményértékeléséhez (07.okt.10. ennek módosítása) 07. okt-nov: próbamérés (pedagógus, szülő, diák)

A kérdőívek fejlesztése 07.febr.23. H.V.  ig.h., mk.v., szülők, diákok, MCs munkacsoport 07.márc.10. MCs (átdolgozás: fejlesztési elvek, más intézmények eredményei) diák, szülő hozzászólások  07.márc.27. ( tantestület (faliújság)) pedagógus hozzászólások  07.ápr.13. (mk.v., NET) 07. okt-nov.: próbamérés  ?

A kérdőívek célja Segédeszköz (kötelező; véleményező lehetőség) Hármas funkció: intézményi önértékelés minőségjavítás: iskolai klímateszt-jelleg (partnerközpontúság – diák, szülő, pedagógus – vezetés kapcsolata) pedagógusok teljesítményértékelése Mj: – keverednek a feltáró (klimatikus) és minősítő (szummatív) elemek – skatulyázási-elv: a klímateszt pl. tovább bontható (lásd ebéd), de erre a célra külön forma kell

A kérdőívek típusai Funkció (3) Darabszám, típusok: 1. Az iskolavezetés önértékelése 2. Vezetői értékelés (pedagógusról) 4. Pedagógus önértékelés 5. A pedagógus értékelése az iskolavezetés munkájáról és a szervezet működéséről 6. A szülők értékelése az iskoláról 7. A diákok értékelése az iskoláról

Kérdőív-statisztika [4] 1. (Iskolavezetés önértékelése): 4, 8, 7 Össz: 19 2. (Vezetői értékelés pedagógusról): 12, 5, 7, 4, 8, 8, 10 Össz: 54 4. (Pedagógus önértékelés): 12, 5, 7, 4, 8, 8, 10 Össz: 54 5. (Pedagógus értékelés az iskoláról (vezetés, szervezet)) 12, 7, 23, 11, 16 Össz: 69 6. (Szülői értékelés): 10, 15, 8, 10 Össz: 43 7. (Diákok értékelése) 12, 16, 11, 11 Össz: 50 Össz: 289

Formai jellemzők Rövid, 1-2 oldal terjedelem kitöltési utasítások a kérdőív elején lap tetején: skála; def: jó - rossz (5  1); def. X táblázat-jelleg, zárt végű állítások mennyiségi ismérvek [cél: átlagolás] nincs 5* (vagy 6) [ok: átlagolás] nincs 0, helyette X [ok: átlagolás] Részegységek (legalább 3 elem) önálló kiértékelhetőség blokkvégi szummázó kérdések könnyen módosítható, bővíthető

Milyen a jó kérdőív? – ellentétes szempontok rövid kérdőív, tömör és precíz kérdésfeltevések pontos, nem félreérthető kérdések minden fontos részterületet érintsenek a kérdések de ne legyen elaprózott a kérdőív és ne legyen átfedés a kérdések között (MCs szerepe!) minden kérdésben legyen világos, hogy mi a „jó” válasz (és hogy kinek a szempontjából „jó”) nyílt végű – zárt végű kérdések egészséges aránya könnyű kiértékelhetőség az eredmény visszajelzése legyen gyors

Fejlesztési elvek Ellentétes szempontok  fejlesztési elvek Fontos: rövidség, tömörség, célirányosság emberi tényezők – időigény, kapacitáshiány (szellemi-fizikai) – félreérthetőség csökkentése (eltérő gondolatkör) – kitöltési mítoszok (pl. válaszolás „kapásból”) formai, tartalmi feszültség csökkentése informatikai kezelhetőség esztétikai elvek

Példa – eredeti kérdés Kellő mennyiségű és minőségű tanulmányi segítséget kap-e gyermeke, ha erre (pl. betegség, hosszabb távollét, egy-egy anyagrészben való bizonytalanság miatt) rászorul? (5: ha minden tanárától igen, 4: egy kivételével minden tanárától igen; 40; meg kívánom nevezni a tanárt….. 3: a legtöbb tanártól igen, 2: több tanártól nem, 1: a legtöbb tanártól nem; 0: nem jellemző/nem tudom/ nem akarok válaszolni)

Példa – módosítás után 5. Igen; (teljes mértékben) igaz. 4. Igen; általában igaz, de vannak még kisebb hiányosságok. 3. Igen; igaz, de vannak még nagyobb hiányosságok. 2. Részben igaz, de súlyos hiányosságok vannak, amiket okvetlenül javítani kell. 1. Nem igaz; tapasztalatom szerint az állítás nem felel meg a valóságnak. X. Nem tudok (nincs elég ismeretem) vagy nem akarok válaszolni a kérdésre. Szükség esetén gyermekem megfelelő mértékű emberi (nem tanulmányi jellegű) segítséget kap tanáraitól.

A tartalmi feszültség csökkentése cél: kitöltési idő és energia csökkentése minimalizálandó a menü-jellegű kérdés (egy- vagy több megadható válasz prb.) állítások megfogalmazása kérdések helyett (lefedő és egymást nem átfedő válaszokkal) lehetőleg egyirányú legyen a skála [átlagolás] állandó (memorizálható) skála konvergáló (monoton) kérdések minimalizálandó az átdefiniált skála Ezeknek ára van: univerzális és egyirányú skála  alkalmanként pontatlan fogalmazás

Tartalmi javaslatok összemérhető (1) – (7) [cél: ütköztetés] alkalmanként indirekt kérdezés, ellenőrzés sportszerűségi elv (lehessen 5-öst kapni) büszkeség-faktor (iskolai jellemzők) trivialitás-faktor (az egyértelmű (pozitív) kérdések szükségessége) cél: az iskola (ill. minden pedagógus) megmutathassa magát

Pedagógusok teljesítményértékelése juttatási, bérezési elv ( igazgatói jogkör) tantestület  az értékelés kerete (forma, szempontrendszer, súlyozás) Értékelési egységek: – a pedagógus önértékelése (kérdőív) – mk.v., ig.h. értékelése (kérdőív) [korábban: „az adott pedagógusra vonatkozóan beazonosítható” elemek felhasználásával] – igazgatói értékelés (kérdőív) – megbeszélés [kimarad: „A diákok és szülők által adott intézményi értékelés esetlegesen, valamely tanár személyére vonatkozóan beazonosítható elemei”]

A mérés-értékelési folyamat (a technikai oldal) Kérdőívek kitöltése (pedagógus, mk.v., ig.h., ig.) Elektronikus rögzítés, tárolás – eredetik lefűzése; géprevitel: Excel-fájl – adatbiztonság, reprodukálhatóság, anonimitás – könnyebb kiértékelés, hibaforrások csökkentése Kiértékelés  Excel-kódtábla – statisztikai analízis  névre szóló eredmények – súlyozás alapján számított pontszám Megbeszélés, véleményezés

A mérés-értékelési folyamat (a tantestületi oldalról) Mit tartalmaz a kötelező IMIP-módosítás, és mit nem? (általában: a szükséges minimumok, részletezések nélkül) – az értékelési folyamat és eljárásrend alapelvei, területei (kérdőívek) – az értékelés szempontrendszerének alapjai (súlyozás) Amiért itt ülünk: tantestületi konszenzus eredménye I. kérdőívek (forma, tartalom) * II. az értékelési szempontrendszer alkalmazása (súlyozás) * III. a számszerűsítés módja * IV. utólagos változtatás lehetősége (forma; vezetői fék)

II. A teljesítményértékelés szempontjai (súlyozás, 07.05.16) Kulcskompetenciák a szakmai tudás szintje 20% a szakmai tudás alkalmazásának képessége 20% a szakmai tudás fejlesztésének képessége 10% az értékátadás képessége 15% megbízhatóság és felelősségvállalás 15% a komplexitás kezelése 10% a kommunikációs kapcsolatok kezelése 5% adminisztráció, szabálykövetés 5% Mj: kiegészítve a vezetők értékelésével Mj: kérdőív és szempontrendszer inkompatibilitása

III. Teljesítményértékelés – a számszerűsítés módja Pontátlag Százalék 1 – 1. 5 10% 3.6 – 3.8 60% 1.6 – 2.0 20% 3.9– 4.1 70% 2.1 – 2.5 30% 4.2 – 4.4 80% 2.6 – 3.0 40% 4.5 – 4.7 90% 3.1 – 3.5 50% 4.8 – 5.0 100% – kompetenciák: pontátlag (1 – 5)  % (0 – 100)  pontszám (0 – 20, 0 – 5 stb.)  összegzés – * átszámítási függvény + bónusz pontok (mk.v: 5, of: 10, szt: 5)  összpontszám (> 100 lehet)

IV. Változtatás Egyéni javaslat előzetes javaslat  MCs MCs véleményezi MCs szűrési jogköre végső javaslat (igen, nem, kompromisszum) Egyéni javaslatok összessége módosítások dokumentálása eredménye: kész kérdőív, ami „testület elé” bocsátható mj: folyamatos fejlesztőmunka (prb: állandó szavazás) Jogorvoslat: egyéni javaslat  testület elé kerül Vezetői változtatás igénye – pl. KT

Szubjektivitás kérdéskörök, konkrét kérdések (igazgatói váz)  juttatási elv cél: becslési (hallomási) faktor csökkentése (elfogultság, ill. előítélet); ennek módja: – az állítások többsége tényekre (statisztikára) támaszkodjon – mennyiségi (számmal jellemezhető) ismérv legyen * félreérthetőség (mint műfaji sajátosság) ** félreérthetőség (mint tartalmi idegenség)

* - ** félreérthetőség „Az iskolát a külső fórumokon megfelelően képviselem.” „Biztosítja-e az iskola a tanulók magasabb iskolafokra történő bekerülésének feltételeit (felső tagozat, gimnázium) / magasabb iskolafokon történő helytállását (alsó tagozat)?” „Csak utólag lehet megkérdezni, aminek nagy hátránya, hogy kimaradnak azok a volt fazekasos gyerekek, akik nem a Fazekasban tanulnak tovább, de más iskolákban kitűnően megállják a helyüket.”

Pedagógus önértékelés problémája hitelesség? (szerénység; intézményen belüli és kívüli relativitás) önértékelés és bérezés?  juttatási elv hitelesség javítása: 1. X kód (kihagyás); 2. ütköztetés; 3. megbeszélés; 4. írásbeli vélemény (utolsó szó joga) előny: iskolavezetés értékelésének ismerete cél: minden pedagógus megmutathassa magát (hiányérzet  visszajelzés) az önértékelés kötelezettség és lehetőség

Vezetői értékelés és hitelesség (Honnan tudja a vezető, hogy …?) (Milyen mélységben kell ismernie a vezetőnek, hogy ...? (ig.h.)) (És akkor mi van, ha …?) Mo.: mk.v., ig.h., ill. önértékelés ismerete Mo: súlyozás

Szülői és tanulói kérdőívek hitelessége reprezentatív minta nehézsége névvel vagy név nélkül? (hitelességi problémák mindkét esetben) szülők: diákszűrő a szülői értékelés előtt tanulói komolytalanság, rosszindulat (anonimitás  megbízhatatlanság) tanulói inkompetencia [ cél: kevéssé befolyásolja a pedagógusok teljesítményértékelését; „egyéni azonosítható elemek hiánya”] Mennyire fajsúlyos a (gy, sz) vélemény?

Publikusság, anonimitás Melyik kérdéscsoport eredménye, milyen szinten publikus? (pl.: próbamérés eredménye a NET-en) szülők esetében: esetleg csoportos kitöltés, összegzés diákok esetében: túl nagy a függő viszony pedagógus-kérdőív: önértékelés névvel; a géprevitel és a kiértékelés munkafolyamata azonosíthat: 3 fő) – Mo: munkamennyiség; e. sorszám-kód jelige? (1-2 fő) – esetleg elektronikus kitöltés (Excel)? (1-2 fő) anonimitás ellen szól: X kód; kevés munkakéz; bonyolultsági fok nő névvel vagy név nélkül? (hitelességi problémák mindkét esetben) kétoldali-többoldali titoktartás

Tapasztalatok Kérdőívek: folyamatos visszajelzés (OK) – MCs: köszönet; igyekszünk figyelembe venni, s visszajelezni Kérdőívek kitöltése: – diák, szülő: (OK) – pedagógusok: nagyfokú kollegalitás Adatrögzítés, statisztika, kiértékelés: (OK) Eredmények (07.12.14.): iskolavezetés, klimatikus kérdések (pedagógus, szülő, diák) * Megbeszélések tapasztalatai

* Megbeszélések tapasztalatai – Problémák, felmerülő kérdések hangulat, szituáció: munkaadó – kolléga; szakmai – intézményi sík stb. résztvevők száma előre ismert eredmény? 1- vagy 2-differencia? az utolsó szó joga (írásbeli véleményezés) változtatási lehetőség? („rendkívüli eset”) időfaktor prb. – státuszváltozás (of.); módosítás időigény (szünet? délután?)