Pedagógiai értékelés Levelező 2015. szeptember 26. Einhorn Ágnes Miskolci Egyetem BTK Tanárképző Intézet einhorn.agnes@gmail.com

Tantárgyi leírás: http://www.tanarkepzo.hu/dok_ea Tanárképző Intézet  Kurzusok és vizsgák

Tematika Az értékelés fogalma, tárgya, a mérés és az értékelés kapcsolata Az osztálytermi mérés funkciói: a szummatív, a formatív és a diagnosztikus értékelés; vizsgák és az osztálytermi mérés különbségei Fejlesztő értékelés, a fejlesztő értékelés eszközei, a portfólió típusú értékelés Fejlesztő attitűd a minősítő értékelésben: az osztályzás problémái, a szöveges értékelés gyakorlata

5. A vizsgaminőség és a feladatminőség kritériumai 6. A nyitott feladatok értékelése: az értékelési skálák használata 7. Iskolai dolgozatok készítése

A hallgató térjen ki mindenképpen a következőkre: Beadandó A hallgató elemez, kritikailag értékel egy iskolai dolgozatot bármilyen tantárgyi területhez. Az elemzés készülhet bármilyen saját készítésű vagy mástól származó feladatsorhoz, terjedelme 3-5 oldal, az elemzés elkészítéséhez használjon szakirodalmat. A hallgató térjen ki mindenképpen a következőkre: a mérés célja, a dolgozat illeszkedése a mérési célokhoz, a feladatok minősége, a dolgozat értékelési rendszere (belső pontarányok, értékelési útmutató) és ezek illeszkedése a mérési célokhoz, a dolgozat „pedagógiai üzenete” (mit közvetít a dolgozat a tanulónak). Természetesen mellékelni kell az elemzett feladatsort is. Határidő: 2015. okt. 26., leadás e-mailben (einhorn.agnes@gmail.com).

1. Az értékelés fogalma Értékelés - pedagógiai értékelés A tanár, a tanuló, a tanterv, a tanítási folyamat, a tananyag, az intézmény értékelése A mérés és az értékelés kapcsolata Ki értékel, miért, mikor? Ki használja az eredményt, mire?

Ellentmondások  Fejlesztés, motiválás Összehasonlítás, minősítés Kreativitás, produktivitás Objektivitásra törekvés Újítás, fejlődés, kultúraváltás Megőrzés

Fogalmak: Vizsga  osztálytermi mérés Formális informális mérés/ értékelés Központi  helyi mérés / értékelés Vizsga  diagnosztikus mérés Vizsga  összehasonlító mérés

Forrás: Balázsi – Horváth 2011, 333 Forrás: Balázsi – Horváth 2011, 333. (Jelentés a magyar közoktatásról 2010. )

2. Az osztálytermi mérés funkciói: a szummatív, a formatív és a diagnosztikus értékelés; vizsgák és az osztálytermi mérés különbségei

Miért íratnak a tanárok dolgozatot? Tanulói vélemények: Mert jegyet kell adni. Hogy lássák, mit tudnak a tanítványaik. Hogy a tanítványok lássák, elég jók-e. Hogy a tanulók lássák, milyenek a többiekhez képest. Büntetésből.

Mérési célok / értékelési funkciók  szummatív célok (ellenőrzés, minősítés, összehasonlítás, válogatás, osztályzás)  diagnosztikus célok (előzetes/hozott tudás felmérése, tervezés előkészítése, fejlődés regisztrálása) formatív célok (a tanuló motiválása, önállóság segítése) Scriven, 1967 alapján

Valóság  szummatív célok (ellenőrzés, minősítés, összehasonlítás, válogatás, osztályzás)  diagnosztikus célok (előzetes/hozott tudás felmérése, tervezés előkészítése, fejlődés regisztrálása) formatív célok (a tanuló motiválása, önállóság segítése)

Alapkérdések a mérés/értékelés során: MIÉRT?  MIT? HOGYAN?

Mérési cél  mérőeszköz Tartalom Nehézség Osztályzás

Mérési cél  mérőeszköz Vizsga / szummatív Mérési cél Követelmények „lefedése” Tartalom Vegyesen Nehézség Igen Osztályzás

Mérési helyzetek / osztálytermi mérés Diagnózis Hogyan dolgozzuk fel a következő anyagot (mit tudnak már / mire emlékeznek még)? Bizonytalanság Továbbmehetünk, vagy még gyakoroljunk? Motiválás „Szólalj már meg!”

Mérési cél  mérőeszköz Hogyan dolgozzuk fel a következő anyagot? Mérési cél Diagnózis Tartalom Nehézség Osztályzás

Mérési cél  mérőeszköz Hogyan dolgozzuk fel a következő anyagot? Mérési cél Diagnózis Tartalom Szükséges készségek Nehézség Differenciálásra alkalmas feladatok Osztályzás Nem

Mérési cél  mérőeszköz Hogyan dolgozzuk fel a következő anyagot? Vizsga Mérési cél Diagnózis Követelmények „lefedése” Tartalom Szükséges készségek Vegyesen Nehézség Differenciálásra alkalmas feladatok Igen Osztályzás Nem

Mérési cél  mérőeszköz „Továbbmehetünk, vagy még gyakoroljunk?” Mérési cél Bizonytalanság Tartalom Nehézség Osztályzás

Mérési cél  mérőeszköz „Továbbmehetünk, vagy még gyakoroljunk?” Mérési cél Bizonytalanság Tartalom Problematikus részek Nehézség Nehéz feladatok Osztályzás Csak a jó eredményekért

Mérési cél  mérőeszköz „Továbbmehetünk, vagy még gyakoroljunk?” Vizsga Mérési cél Bizonytalanság Követelmények „lefedése” Tartalom Problematikus részek Vegyesen Nehézség Nehéz feladatok Igen Osztályzás Csak a jó eredményekért

Mérési cél  mérőeszköz „Szólalj már meg!” Vizsga Mérési cél Motiválás Követelmények „lefedése” Tartalom Vegyesen Nehézség Igen Osztályzás

Mérési cél  mérőeszköz „Szólalj már meg!” Vizsga Mérési cél Motiválás Követelmények „lefedése” Tartalom Problémátlan, érdekes részek Vegyesen Nehézség Könnyű feladatok Igen Osztályzás Egyéni fejlődésért

Tudás-szintmérés /vizsga Célok / okok 1. Helyzetfel-mérés a munka megkezdése előtt 2. Bizonytalanság, döntés a tovább-haladásról 3. Motiváció, a félelmek leépítése 4. Tudás-szintmérés /vizsga Tartalmak Az anyag fel- dolgozásához szükséges részkészségek. Problematikus részek. Problémátlan, érdekes részek. A követelmények teljes körű „lefedése“. Feladatok nehézsége Vegyes nehézségű, differenciálásra alkalmas feladatok. Nehéz feladatok. Érdekes, motiváló, könnyű feladatok. Sokféle feladattípus, vegyes nehézség. Osztályzás Nincs osztályzás. Csak a kiváló eredményekért jár osztályzat. Az egyéni fejlődésre jár az osztályzat. Van osztályzás, következetesen, előre meghatározott módon. Forrás: Einhorn Á.: Feladatkönyv. Bp., Nemzeti Tankönyvkiadó 2012. 78.

3. Fejlesztő értékelés; a fejlesztő értékelés eszközei, a portfólió típusú értékelés „fejlesztő értékelés” – tanítási/ tanulási folyamat értelmezése Black, Paul – Wiliam, Dylan (1998): Inside the Black Box: raising standards through classroom assessment. Phi Delta Kappan, 80. 2. 139–148.

A fejlesztő értékelés jellemzői A tanulók fejlődésének támogatása. Tudatosság, önértékelés támogatása. Gyakori, a folyamatba beépített visszajelzések sora. Interaktív módszerek alkalmazása. Az eredmény viszonyítása a tanulási célokhoz, a kitűzött tanulási eredményekhez.

A cél fogalma Tanítási cél vagy tanulási cél? Cél: tanulási eredmény. Tanulási eredmény: fejlődés, változás. Az eredmény gazdagabb értelmezése: Ismeret/tudás  képesség, attitűd, autonómia… Differenciált célok? Célok  módszerek.

Fejlesztés vagy minősítés Támogatja-e a minősítés a fejlődést? Támogatja-e a minősítés a kísérletezést, a próbálkozást?  Knausz Imre (2008): Mit kezdjünk az értékeléssel? Adalékok az integrációs nevelés pedagógiájához. Budapest, Educatio. http://www.knauszi.hu/sites/default/files/knausz_ertekeles.pdf

Fejlesztő értékeléshez használható eszközök Például: Lénárd Sándor – Rapos Nóra (2006): MAGTÁR - Ötletek tanítóknak a fejlesztő értékeléshez és az adaptív tanulásszervezéshez 3. http://mag.ofi.hu/magtar-otletek

Önértékelő kártya fogalmazáshoz Szándék és megvalósulás: Világosan kifejtettem, amit szerettem volna. Logikusan írtam le gondolataimat. Munkámnak van eleje, közepe és vége. … Szavak és mondatok használata: Néhány új kifejezést is használtam. Egész mondatokat írtam. Egyeztettem az alanyt és az állítmányt. Forrás: Lénárd - Rapos 2009, 76.

Társértékelés fogalmazáshoz Az alábbi szempontokra érdemes kitérned az értékelésben! Helyesírás: nem hagyott ki betűket a szavakból, az írásjeleket jól és hiánytalanul használta, nagybetűt írt a mondat elején, nagybetűt használt a nevek elején. Mondatszerkesztés: egyeztette az alanyt és az állítmányt, … Külalak: Forrás: Lénárd - Rapos 2009, 82.

Gamification / gamifikáció Online játékok logikája az értékelésben Pontrendszer: jutalmazás, büntetés, bónuszok Akadálypálya Azonnali visszajelzés, eredménytábla Világos célok (rövid-, hosszú táv) Választási lehetőségek, egyéni stratégiák

A portfólió típusú értékelés A folyamat dokumentálása (mit tudok, mire vagyok képes?). Mit tettem eddig – hol tartok – mi van előttem? Példa: Európai nyelvtanulási napló  Falus Iván – Kimmel Magdolna: A portfólió. Budapest, Gondolat Kiadói Kör. 2003.

4. Fejlesztő attitűd a minősítő értékelésben, osztályzás, szöveges értékelés a) Viszonyítási pont az értékelésben b) A visszajelzés tanulóközpontúsága c) Az értékelési eredményekért viselt felelősség kérdése

a) Viszonyítási pont Mihez viszonyítjuk az adott teljesítményt? Tantárgyi követelményekhez (kritériumorientált). A többi tanulóhoz (normaorientált). A tanuló saját korábbi / szokásos teljesítményéhez.

Viszonyítási pont? Három témazáró dolgozat eredményei (%): 1. tanuló: 60 55 50 2. tanuló: 25 25 25 3. tanuló: 85 80 75 4. tanuló: 50 50 50 5. tanuló: 65 70 75 6. tanuló: 15 20 25 7. tanuló: 40 45 50 8. tanuló: 75 75 75 9. tanuló: 35 30 25 (Rheinberg 2001 nyomán)

A harmadik dolgozat eredménye nagyon jó: ++ rossz: - jó: + nagyon rossz: -- 1. tanuló: 60 55 50 2. tanuló: 25 25 25 3. tanuló: 85 80 75 4. tanuló: 50 50 50 5. tanuló: 65 70 75 6. tanuló: 15 20 25 7. tanuló: 40 45 50 8. tanuló: 75 75 75 9. tanuló: 35 30 25

b) Tanulóközpontú megközelítés az értékelés során Részletgazdagság  szöveges értékelés; értelmezhető részteljesítmények Érzékeny és pozitív megfogalmazások Az eddigi eredmények megerősítése és a további folyamat segítése Őszinteség

Szöveges értékelés Értékelési „szendvics”: Mi sikerült? Mi kérdéses? Hogyan tovább? (Mit kellene tenni?) (Ziebell – Schmidjell 2012)

c) Az eredményekért viselt felelősség „Peti megbukott.” „Az osztály átlaga 2,3.” Értelmezési szintek: Tanuló, tanár Szülő Iskolaigazgató Iskolafenntartó Oktatáskutató

5. A vizsgaminőség és a feladatminőség kritériumai Csapó Benő: Tudásszintmérő tesztek. In: Falus Iván (szerk.): Bevezetés a pedagógiai kutatás módszereibe. Budapest, Keraban. 1993. 277–316.

A mérés minőségének alapelvei Validitás (érvényesség)  Azt mérem, amit mérni akarok.  Azt mérem, amit mérni kell. Reliabilitás (megbízhatóság) Objektivitás

Objektivitás  érvényesség Ellentmondások Objektivitás  érvényesség Mikor született xy? Hány alcsoportja van a …? Alakítsd át a mondatot folyamatos múlt időbe! …

Érvényesség? Megbízhatóság? Nézd meg a következő képet! Mit gondolsz: mi történt korábban, és hogyan folytatódik a történet?

Feladattipológia ZÁRT feleletválasztás, igaz / hamis, hozzárendelések NYITOTT feleletválasztás, igaz / hamis, hozzárendelések kiegészítések rövid válasz szövegalkotás, rajz, komplex feladatok

A feladat pontossága: „adok” – „kapok” Forrás: Csermák Mihály (2009): Kémia 8. Budapest, Nemzeti Tankönyvkiadó. 27.

Mi a feladat mérési célja? 1. Átlátja a témához tartozó ok-okozat viszonyokat, le tudja írni a folyamatot. 2. Felismeri, és segítséggel rendszerezi a folyamat egyes lépéseit. 3. Rekonstruálja a folyamatot, ismeri az egyes fázisait.

Szempontok egy tesztfeladat elbírálásához A feladat Itemek Szöveg, ábra, kép stb. (ha van) Értékelés Mérési célhoz illeszkedés

Kérdések egy tesztfeladat elbírálásához A feladat Csak egy feladattípus van a feladaton belül? Egyértelműen kiderül a feladatmeghatározásból, hogy mi a teendője a vizsgázónak? Nem túl bonyolult a feladatmeghatározás? Van példa? Elég áttekinthető a feladat (külső szerkesztés)? Van elég hely a megoldáshoz?

Kérdések egy tesztfeladat elbírálásához Itemek Nem tér el egymástól nagyon az egyes itemek nehézsége egy feladaton belül? Függetlenek egymástól az egyes itemek? (tantárgyi különbségek!) Nincsenek átfedések az itemek között (ugyanahhoz a szövegrészhez, problémához több item)? (Szövegértés esetén:) Nincsenek a feladatban olyan itemek, amelyeket a szöveg elolvasása nélkül is meg lehet oldani? Megfelel az itemek sorrendje a szöveg gondolatmenetének? Egyenletesen oszlanak el az itemek a szövegben?

Kérdések egy tesztfeladat elbírálásához Értékelés Értékelhető a feladat eredménye? Van a feladatnak helyes és egyértelmű értékelési útmutatója? Mérési cél Van a feladatnak jól meghatározható mérési célja? Megfelel ez a mérési cél a tanítási céloknak vagy a mérési követelményeknek? Összhangban van minden egyes item ezzel a mérési céllal?  

Feladatok jellemzői Vizsgán Nincs mód rugalmasságra az értékeléskor Szabályozott, zárt feladatok Kizárják a kreativitást Kizárják a többértelműséget Egyértelmű, unalmas helyzetek és szövegek Nincs mód a differenciálásra Nem igazodik a tanítási folyamathoz  osztálytermi mérés?

Teszteredmények értékelése A feladat eredménye információt hordoz: a tanuló tudásáról / képességéről ÉS a feladat, a teszt minőségéről.

7. A nyitott feladatok értékelése: az értékelési skálák használata Kreatív, komplex, nyitott feladatok értékelése:  holisztikus/globális értékelés  analitikus értékelés  értékelési skálák

A nyelvi minőség szintjei a középszintű magyar nyelv is irodalom érettségi vizsgához készült értékelési útmutatóban Nyelvi norma, hangnem, stílus Mondat- és szövegalkotás Szókincs 20-15 pont - Egészében megfelel a témának, a helyzetnek; az esetleges személyes véleménynyilvánításnak. - Témának megfelelő változatosságú. - Gördülékeny, élvezetes, választékos. - Szabatos, árnyalt, választékos. - Szakkifejezések helyes használata. 14-9 - Lényegében megfelel a témának, a helyzetnek. - Nem elég változatos. - Helyenkénti nyelvi-nyelvtani hibák (pl. egyeztetés, vonzat). - Olykor a köznyelvitől eltérő (pl. szleng). 8-1 - Csak részben felel meg a témának, a helyzetnek. - Színtelen, igénytelen (pl. egyszerű mondatok túlsúlya). - Dagályos. - Gyakori a nyelvi-nyelvtani hiba. - Szegényes. - Tartalmi jellegű szótévesztés. Forrás: Magyar nyelv és irodalom. 2010, 10

8. Iskolai dolgozatok készítése Alapkérdések a mérés/értékelés során: MIÉRT?  MIT? HOGYAN?

Iskolai dolgozatok készítése Mérés célja (miért?)  Tanulási célok + tananyag elemzése Mérési célok rögzítése (mit?) Feladatlap tervezete Feladatok és értékelési rendszer elkészítése (hogyan?)

Iskolai dolgozatok készítése Mérés célja (miért?)  Tanulási célok + tananyag elemzése Mérési célok rögzítése (mit?) Feladatlap tervezete Feladatok és értékelési rendszer elkészítése (hogyan?)

Fejlesztési célok jegyzéke idegen nyelvből – modell Az adott tanítási szakaszban a következő fejlesztési célok voltak érvényesek: Szövegfajta, stratégia, kommunikációs szándék Olvasás: Szabadidővel kapcsolatos leíró szöveg fő információinak megértése. A szöveg tartalmi szerkezetének felismerése. Hobbik leírásának részletes megértése. Hallás: A szabadidőben végzett munkákról szóló beszámoló részletes megértése. Írás: Beszámoló írása a csoport szabadidős tevékenységérő. Személyes levélben beszámoló írása saját hobbiról. Beszéd: Vágyak, szándékok kifejezése. Szabadidő eltöltéséről rövid információk átadása. Interjúkészítés szabadidőről, érdeklődés más hobbija iránt. Téma/szókincs Szabadidős tevékenységekhez tartozó tevékenységek, kellékek, helyek nevének ismerete. Szerkezetek Feltételes mód, függő kérdések használata. Egyéb Felismerik, hogy a másik kultúrában nagy hagyománya van az önkéntes tevékenységeknek.

Iskolai dolgozatok készítése Mérés célja (miért?)  Tanulási célok + tananyag elemzése Mérési célok rögzítése (mit?) Feladatlap tervezete Feladatok és értékelési rendszer elkészítése (hogyan?)

Egy anyanyelvi feladatlap tervezete – modell 1. rész: Szövegértési feladatsor Tartalom: kb. x hosszúságú, y témájú leíró szöveg alapos értése. Idő: 20 perc. Értékelés: 30%. Mérési cél: Ismerje…, tudja… legyen képes… 2. rész: Feladatlap a romantika témájához Tartalom: jellemzők, adatok, szerzők, tények ismerete. Értékelés: 40%. 3. rész: Nyelvhelyességi feladatsor Tartalom: mondatszerkezetek.

TANÍTÁSI FOLYAMAT ? OSZTÁLYTERMI MÉRÉS VIZSGA

TANÍTÁSI FOLYAMAT  OSZTÁLYTERMI MÉRÉS VIZSGA

Tanulóközpontú, tevékenységalapú megközelítés A tanulás aktív, konstruktív folyamat  problémamegoldás, rutin, rutinelhagyás. A tanulás a tanulóban létrejövő folyamat  autonómia, reflektivitás, felelősségvállalás. A tanulás szociális folyamat  kommunikáció, együttműködés, empátia. A tanulás a valósághoz kapcsolódó folyamat motiváció, problémamegoldás.

Tanulóközpontú, tevékenység alapú megközelítés Aktivitás, autonómia, kooperativitás, autenticitás. + Cél: az egyéni fejlődés támogatása. A tanuló szükségleteiből való kiindulás. Alap: a tanulók különbözők.  Értékelés?

Pedagógiai kultúraváltás Tanárközpontú, ismeretalapú megközelítés  Tanulóközpontú, kompetencia alapú, tevékenységalapú megközelítés

Pedagógiai kultúraváltás az értékelésben Fejlesztés helyett hibáztatás  Hibáztatás helyett fejlesztés?

Felhasznált irodalom Balázsi Ildikó – Horváth Zsuzsanna (2011): A közoktatás minősége és eredményessége. In: In: Balázs Éva – Kocsis Mihály – Vágó Irén (szerk.): Jelentés a magyar közoktatásról 2010. Budapest, Oktatáskutató és Fejlesztő Intézet. 325 – 362. Csermák Mihály (2009): Kémia 8. Budapest, Nemzeti Tankönyvkiadó. Einhorn Ágnes (2012): Feladatkönyv. Budapest, Nemzeti Tankönyvkiadó. Lénárd Sándor – Rapos Nóra (2009): Fejlesztő értékelés. Budapest, Gondolat Kiadó. Magyar nyelv és irodalom. Középszintű írásbeli érettségi vizsga. Javítási-értékelési útmutató. 2010. október 18. Rheinberg, Falko: Leistungsbeurteilung im Schulalltag: Wozu vergleicht man was womit? In: F.E. Weinert (Hrsg.). Leistungsmessung in Schulen. Weinheim, Belz. 2001 Scriven, M. (1967): The Methodology of Evaluation. In: R. W. Tyler, R. M. Gagne, & M. Scriven (Eds.), Perspectives of Curriculum Evaluation, 39-83. Chicago, IL: Rand McNally Ziebell, Barbara – Schmidjell, Annegret (2012): Unterrichtsbeobachtung und kollegiale Beratung. Neu. Berlin etc., Langenscheidt. [Fernstudieneinheit 32.]