PEDAGÓGIAI ÉRTÉKELÉS Fejes József Balázs Diagnosztikus mérések fejlesztése Oktatáselméleti Kutatócsoport SZTE Oktatáselméleti Kutatócsoport 1

Mire használható a megszerzett tudás? Néhány példa: Cél: diagnosztikus tudásszintmérő teszt és dokumentációjának önálló elkészítése Mire használható a megszerzett tudás? Néhány példa: „Pontosabb” feladatok készítése a tanulók tudásának megismeréséhez (pl. dolgozat) Megfelelő feladatgyűjtemények, feladatok kiválasztása „Külső mérések” értelmezése (pl. érettségi) Szemlélet értékelési szituációkhoz

Problémák az osztályzással kapcsolatban (Csapó, 1998) Feladat: definíció értékelése Elemezzük milyen jegyeket kaptak a gyermekek a tanároktól és ezeket összehasonlítjuk a teszteken elért eredményekkel (Csapó, 1998): különböző iskolákban különböző normák szerint osztályoznak: az egyik helyen jobb, máshol gyengébb tudásra lehet ugyanazt a jegyet megkapni a tanárok által adott jegyek a saját normájukon belül is bizonytalanok: az egyes osztályokon belül sem állnak arányban a jegyek a gyermekek tudásával

Problémák az osztályzással kapcsolatban (Csapó, 1998) a gyermekek egyes tantárgyakkal kapcsolatos énképét sokkal szorosabban határozza meg az érdemjegy mint a valódi tudást jobban megmutató teszteredmény (a tanulók nem tudják melyik tárgyban tehetségesek és melyikben tehetségtelenek, melyik tárgy irányában érdemes továbbtanulniuk, szakmát választaniuk) a hetedikes 2,5-ös tanulmányi átlagnál rosszabbul teljesítők 13%-a a biológia, 23%-a a kémia, 14%-a a fizika és 4%-a a matematika teszten jobb eredményt ért el, mint a hetedikesek átlaga (alacsony a szülők iskolai végzettsége, rossz magatartás jegy) irodalomjegy központi szerepe: a fizikajegy 30%-át magyarázza az irodalomjegy, 11%-át a fizikateszt Ellenérvek?

A pedagógiai értékelés fogalma, funkciói és típusai Az előadás céljai: A diákok legyenek képesek az értékelés fogalmát kibővítve értelmezni, az egyes értékelési funkciókat és típusokat egymástól elkülönítve értelmezni. Mozduljanak el a tapasztalati szintű értékelés-felfogástól, és legyenek képesek az értékelési kérdéseket összefüggésekben kezelni. Ismerjék fel a rendszerszemlélet fontosságát és tudják értelmezni saját tanári szerepüket. Az előadás első felében szeretnék párhuzamot vonni a diákok megtapasztalt értékelés-fogalmával és az ötvenes-hatvanas évek hazai pedagógiai értékelés értelmezésével. Legelőször arra kérem őket, hogy határozzák meg maguktól a saját iskolai tapasztalataik alapján, hogy mit értenek értékelésen és milyen funkciókat, eszközöket rendelnének ehhez. Kérem, hogy alkossanak az előadás elején egy saját definíciót és határozzák meg, milyen értékelési funkciót rendelnének hozzá. Feltételezem, hogy főleg a tanulóra irányuló tevékenységként értelmezik ezt a fogalmat, és funkciójában az osztályozást, a minősítést említik. Ez lehet a kiindulási alap, amelyet felkarolva célom ezen értékelés-értelmezés differenciáltabbá tétele, ahogyan a nemzetközi és hazai értékelési irodalomban is megtörtént. A előadásban a saját definíciójukra reflektálva célom a pedagógiai értékelés különböző fogalomértelmezésének, funkcióinak bemutatása. Ezen kívül pedig annak illusztrálása, hogy milyen hangsúlyeltolódások alakultak ki az értékelés funkcióiban, hogyan bővült az értékelés tárgya, milyen típusai terjedtek el a tanítási-tanulási folyamatban és milyen mérésmetodikai kérdések vetődnek fel az értékelés kapcsán.

A pedagógiai értékelés fogalma A pedagógiai értékelés során visszajelentéseket szervezünk a tanulóban kialakult változásokból kiindulva - a célrendszerről - a tanítás-tanulás folyamatáról - a környezetről és - a tanulóról annak érdekében, hogy a tanítás-tanulás rendszerét javíthassuk (Báthory, 2000).

Az értékelés mint rendszerszabályzó elem (példák?) Nemzetközi vizsgálatok Országos felmérések Intézmény értékelése Osztály értékelése Itt előre szeretnék utalni a további pedagógiai értékelési előadásokra. Tanítási-tanulási folyamat értékelése Tanuló értékelése

Diagnosztikus tudásszintmérő teszt

A pedagógiai értékelés funkciói (Scriven, 1967) Pl. iskolaérettségi Pl. próbaérettségi Pl. érettségi Tanulási feladat Diagnosztikus értékelés Formatív értékelés Szummatív értékelés a tanulás kezdetén a tanulás folyamatában a tanulás végén Helyzetfeltárás Fejlesztés Minősítés Az egyes értékelési funkciókat egy tantárgy egy témakörének tanulásán keresztül szeretném bemutatni. Párhuzamot szeretnék vonni a kurzuson lévő értékelési módok között (óra elei felmérés, visszajelzések az előadáson, vizsga). A tanuló előzetes tudásának feltárá-sa a tanár tájéko-zódása céljából A tanulási hibák, nehézségek diffe-renciált feltárása, javítása céljából Az elért tudásálla-pot rögzítése a célokhoz való viszonyítás céljából

A pedagógiai értékelés funkciói és a tananyag lefedettsége Teljes Nem teljes Elm.: teljes Gyak.: nem teljes Tanulási feladat Diagnosztikus értékelés Formatív értékelés Szummatív értékelés a tanulás kezdetén a tanulás folyamatában a tanulás végén Helyzetfeltárás Fejlesztés Minősítés Az egyes értékelési funkciókat egy tantárgy egy témakörének tanulásán keresztül szeretném bemutatni. Párhuzamot szeretnék vonni a kurzuson lévő értékelési módok között (óra elei felmérés, visszajelzések az előadáson, vizsga). A tanuló előzetes tudásának feltárá-sa a tanár tájéko-zódása céljából A tanulási hibák, nehézségek diffe-renciált feltárása, javítása céljából Az elért tudásálla-pot rögzítése a célokhoz való viszonyítás céljából

A diagnosztikus értékelés továbbfejlesztése (Vidákovich, 1990)

Diagnosztikus tudásszintmérő teszt

Az oktatás területén alkalmazott leggyakoribb mérőeszközök Attitűdök mérésére alkalmas kérdőívek pl. tantárgyi attitűd (Likert-skála) Képességvizsgáló tesztek pl. szövegértés Tudásszintmérő tesztek pl. kresz (ismeret jellegű tudás mérésére: fogalmak, tények, definíciók, szabályok, törvényszerűségek, elméletek) attitűdök, képességek, ismeretek = ?

Egy tudásszintmérő teszt elemzése

Egy tudásszintmérő teszt elemzése A tesztek formai jellemzői Az egyes feladatokat keretbe foglaljuk. A feladatok három részből állnak: instrukciós részből, információs részből és válaszadós részből. A három résznek ez az ajánlott sorrendje. A feladat itemeinek értékelésére szolgáló kódkockákat betűzni szokás, és a betűzés kisbetűvel történik. A kódkockában feltűntetett kisbetűk feleljenek meg a javítókulcs ugyanezen betűvel jelölt megoldásainak. A feladatban alkalmazott egyéb betűjeleket, például amelyekből választani lehet, nagybetűvel jelöljük. Kisbetű csak azokat az elemeket jelöli, ahol valamiféle pontot lehet kapni.

Egy tudásszintmérő teszt elemzése A tesztek felépítése A teszt önálló, de összetartozó feladatokból álló egysége. Teszt Szubteszt A legkisebb önállóan értékelhető egység, nem bontható további részteljesítményre, kétféleképpen minősíthetjük (0,1) Feladat Item Item: a teszt legkisebb önállóan értékelhető eleme. (helyes és helytelen válasz: 1 és 0 pont, ezek súlyozhatók is). Összpont/nyerspont: a halyesn megoldott itemek száma. Tesztfeladat: egy gondolatmenettel megoldható, összetartozó itemek együttese. Szubteszt: a teszt valamely egységként kezelhető része. Itemek, feladatok tartalmilag elkülöníthető csoportja. Teszt: olyan mérőeszköz, amely a mérendő tulajdonságokat egy skálán méri. Mit tükröz az öszpontszám, a tesztben mért érték? Mért érték: tesztben mért értéket befolyásolja a tanuló tudásszintje, valódi értéke. A mért érték azonban sok esetben nem egyezik meg a valódi értékkel, hiszen a mérést sok tényező befolyásolja. A tanuló részéről lehet, hogy ráhibázik a helyes megoldásra, vagy figyelmetlen; a javító következetlen a javítás során; a teszt nem megfelelően mér, mert vannak itemek, amelyek összefüggnek. Gyakorlati kérdés: az általunk készített teszt mennyire jól méri azt, aminek mérésére kidolgoztuk. Disztraktor: a helyes megoldás vagy megoldások mellett megadott válaszlehetőségek

Egy tudásszintmérő teszt elemzése A feladatírás tartalmi szabályai A feladat szövege legyen az életkornak és a felkészültségnek megfelelő. Javasolt a rövid mondatok alkalmazása. Javasolt a tagadó mondatok kerülése. A feladat meghatározása ne legyen semmiképpen sugalmazó és ne tartalmazza a megoldást és annak egyik részletét. A szöveg ne legyen diszkriminatív, ne tartalmazzon olyan utalásokat, olyan helyzeteket, amelyek bizonyos csoportok számára taszítóak vagy éppen különlegesen vonzóak.

Egy tudásszintmérő teszt elemzése A feladatírás tartalmi szabályai A zárt feladatoknál legyen az instrukciós rész teljes mondat vagy mondatok, maga az utasítás pedig kérdés vagy felszólítás. A feleletválasztó feladatokban a disztraktorok legyenek formailag és tartalmilag is egyenértékűek, ami azt jelenti, hogy hasonló hosszúságú, hasonló stílusú lehetőségeket írjunk, és aki nem tudja a helyes választ, annak legyen hasonló válaszértékű mindegyik. Ne lógjon ki egyik se semmilyen szempontból, formailag sem, vagy azért mert nagyon valószínűtlen.

Egy tudásszintmérő teszt elemzése A javítókulcs A teszthez készült javítókulcsban minden feladat minden iteménél határozta meg, hogy milyen feltételek mellett fogadható el a válasz. Minden információt szerepeltessen a javítókulcsban, ami az adott feladat javítását egyértelművé teszi. Ügyeljen arra, hogy az itemeket kisbetűkkel jelölje, és ezek feleljenek meg a javítókulcs ugyanezen betűvel jelölt megoldásainak.

Mérésmetodológiai követelmények A klasszikus tesztelmélet alapegyenlete: M = V + H Mért érték = Valós érték + Hiba Miből adódhat a hiba? Milyen tényezők akadályozhatják, hogy pontos mérést végezzünk a tanulók tudását illetően? Pl. IQ tesztek pontozása Állandó ponthatárok?

Mérésmetodológiai követelmények A tesztek jóságmutatói Objektivitás (tárgyszerűség): mennyire független a teszteredmény Reliabilitás (megbízhatóság): mennyire jól/pontosan mér a teszt Validitás (érvényesség): azt méri-e a teszt, aminek mérésére felhasználjuk Az utóbbi két jóságmutató lehet, hogy nem különül most még el, de célunk, hogy elkülönüljön.

Mérésmetodológiai követelmények Objektivitás (tárgyszerűség): azt fejezi ki, hogy a teszttel végzett mérés eredményét mennyiben befolyásolják a konkrét helyzethez kötődő körülmények. Adatfelvételi objektivitás: az eredmény független az adatfelvevő személytől (pl. tanulói kérdésekre válasz a teszt közben, nincs leírva a számológép használatának engedélyezése, pedagógus érdekeltsége) Értékelési objektivitás: az eredmény független a javítást végző személytől (bárki javíthatja, mindenki ugyanarra az eredményre jut)

Mérésmetodológiai követelmények Reliabilitás (megbízhatóság): azt fejezi ki, hogy a teszt mennyire jól méri azt, amit mér. Értéke: 0 < reliabilitás < 1 Értéke függ: A csoporttól, mivel a számításnál a szórást felhasználjuk. Az itemek számától, az összefüggő itemek számától (25-60) Mutatója: Cronbach-alfa

Mérésmetodológiai követelmények Reliabilitás-mutató osztályozása Pl. kompetenciamérés Tudásszintmérő Képességvizsgáló Kiváló 0,95 0,90 Jó 0,85 Közepes 0,80 Elfogadható 0,75

Mérésmetodológiai követelmények Validitás (érvényesség): azt fejezi ki, hogy a teszt valóban azt méri-e, aminek a mérésére felhasználjuk. Nincsenek számszerű mutatói A reliabilitás és a validitás kapcsolata: 0 < validitás < reliabilitás < 1 A teszt mérhet pontosan, de nem azt méri, amit szeretnénk (magas reliabilitás). Ha a teszt nem mér pontosan, akkor nem azt méri, amit szeretnénk (alacsony reliabilitás).

Jóságmutatók mindennapi értékelési szituációkban

A tudásszintmérő tesztek validitása KÜLSŐ TUDÁS Célok, követelmények, Tananyag Az összehasonlítás csak akkor végezhető el pontosan, ha a teszt pontosan tükrözi a célokat, követelményeket, tananyagot (valid). Tanítás-tanulás Tesztkészítés Kiindulás: A célokban, követelményekben a tananyagban rögzített külső tudásból a tanítás-tanulás során a tanuló belső tudása jön létre. Fontos, hogy a nyíl nem a tanítási-tanulási folyamat egyoldalúságára utal, hanem a leképezésre. A tudásszintmérő teszteléssel azt akarjuk mérni, hogy ez a leképezési folyamat megfelelően ment-e végbe, a tanulóban kialakult-e a belső tudás, amely szerkezetét, összefüggéseit tekintve megfelel-e a rögzített külső tudásnak. Ezt azonban közvetlen módon nem tehetjük meg, szükség van a tesztre. A tesztkészítés a tanítás-tanulási folyamataival analóg folyamat: a célokat, a követelményeket, a tananyagot le kell képezni, de rögzített formában. A teszt készítése során el kell érni azt, hogy a teszt leképezze a célok, a követelmények és a tananyag rendszerét. A tesztelés során pedig összehasonlítjuk a tanuló tudását a tananyaggal. Ez azonban csak akkor végezhető el hitelesen, ha a teszttel célóban azt lehet vizsgálni, hogy milyen belső tudás jött létre, illetve, hogy ez a belső tudás megfelel-e a célokna, követelményeknek, ha a tesztünk pontosan a célok, követelmények, illetve a tananyag alapján készült. Tekintsünk egy példát! Az informatikaoktatás során az egy fontos cél, hogy a diákok ismerjék a számítógép felépítését, az input és output perifériákat, tudják a hardver és szoftver tulajdonságait. Ezen kívül pedig, hogy tudják használni a számítógép elemeit, az egeret, a billentyűzetet és a monitort, tudjanak harderver-eszközöket kezelni és szoftverekkel bánni. Célunk az, hogy felmérjük ezeket az elemeket. Tesztkészítés menete, rossz ez a validitás. Tesztelés A TANULÓ TUDÁSA TESZT Forrás: Csapó, 2004. 289. o.

A klasszikus tesztelmélet problémái: Itemfüggőség: az itemek elhelyezkedése a tesztben nem azonos lépésközű, az itemek nehézség szerint nem alkotnak intervallum-skálát (pl. egy 50 pontos tesztnél el lehet érni 32, 33, 34 pontot, aztán 37-et) összefüggő itemek: egy azonos tudáselemre vonatkoznak, vagy együtt tudják megoldani a tanulók vagy egyiket sem az itemek egymást támogatják, segítik (ld. például az informatika feladatlap 2.és 3. feladatában: monitor és egér) - különböző nehézségű itemek - összefüggő itemek kiszűrése

A klasszikus tesztelmélet problémái: Csoportfüggőség: az adott csoport összetételétől nagyban függ a teszt működése (homogén vagy heterogén csoport) – érdemes kipróbálni több osztályban Vagyis az értékelést befolyásolja a csoportátlag (norma- és kritériumorientált értékelés)

Egy példa: Értelmezze a következő kijelentést! Klári az olvasásteszten 40 pontot ért el , míg Liza 17 pontot. A csoport átlagteljesítménye 20 pont volt. Mennyire fejlett Klári és Liza olvasási készsége?

Normaorientált értékelés Kritériumorientált értékelés Az értékelés viszonyítási alapja Normaorientált értékelés Közepesen nehéz feladatok írása. A csoportátlag megálla-pítása, normál eloszlás létrehozása. Hol helyezkedik el a tanuló az átlaghoz viszonyítva. Kritériumorientált értékelés Tartalmi-strukturális elemzés, követelményszintek meg-határozása és annak megfelelő feladatok írása A tanuló teljesítményének megállapítása és a követel-ményekhez való viszonyítása Hol helyezkedik el a tanuló a kritériumhoz viszonyítva, mennyit kell fejlődnie, hogy a kritériumot elérje. A kétféle értékelés megismerése után a hallgatók szavaznak arról, hogy a beugrók értékelése norma- vagy kritériumorientált szemlélettel történjen-e. Ezután ebben a konkrét esetben vizsgáljuk meg a két értékelési forma előnyeit és hátrányait.

csoportfüggőség

A tudásszintmérő tesztek szerkesztése és használata

A tananyagelemzés fázisai, tennivalói 1. Az ismeretek számbavétele Tematikus egységek azonosítása Fogalmak kigyűjtése Tények kigyűjtése 2. Tananyagstruktúra létrehozása Hierarchikus fa-struktúra

A tananyagelemzés fázisai, tennivalói 3. Funkcionális elemzés (cél: fogalmak, tények szűrése) Fontosság szerint Nagyon fontos – fontos – kevéssé fontos Elsajátítási szintek szerint Ráismerés Átalakítás Felidézés Kivitelezés Értelmezés Magyarázat

A tananyagelemzés fázisai, tennivalói 4. A mérendő tudásstruktúra felírása

5. A tudásszintmérés értékelési kritériumainak megválasztása Alkalmazási kritériumok Ráismerés Felidézés Átalakítás Kivitelezés Értelmezés Magyarázat Válaszadás megadott elemekkel Válaszadás önállóan alkotott elemekkel Más típusú információ létrehozása Új információ létrehozása Fogalom jelentésének, szabály működésének szemléltetése Fogalom jelentésének, szabály működésének részletes kifejtése R: Milyen eszközt lát a kezemben? A) tollat, B) krétát, c) pálcát. F: Rajzoljon le egy krétát! Á: Egy diagramm leírása Ki: Számolási feladat É: Írj példát egyenes vonalú egyenletes mozgásra! M: Miért repeszti meg a jég a sziklát?

6. Feladattipológia A feladatok csoportosítása A válaszok meghatározottsága alapján: zárt és nyílt A válaszok megadása alapján: feleletválasztó és feleletalkotó

Feladatok elemzése Nagy, 1993. 25-49. o.

A feladat leírása A feladat megoldásához használja „Az alkalmazási kritérium követelményszintjei, feladatmegoldó tevékenységei és feladattípusai” c. táblázatot! Határozza meg a feladatok követelményszintjét! Határozza meg a feladatok típusát és azon belül a feladatmegoldó tevékenységet!

Ráismerés, Zárt végű /Alternatív választás

Ráismerés, Zárt végű / Feleletválasztás Elterelő válaszok / Disztraktorok Helyes válasz

Ráismerés, Zárt végű / Feleletválasztás 9. feladat:

Ráismerés, Zárt végű / Szelektálás 5. feladat:

Ráismerés, Zárt végű / illesztés 2. feladat:

Ráismerés, Zárt végű / illesztés 2. feladat: Mi az alábbi országok fővárosa? Betűjelekkel válaszolj! A) B) C) D) E) ...... ….. ..……..

Ráismerés, Zárt végű / illesztés A két halmaz elemszáma ne legyen azonos.

Ráismerés, Zárt végű / csoportosítás

Ráismerés, Zárt végű / relációválasztás 7. feladat:

Ráismerés, Zárt végű / sorbarendezés 8. feladat:

Felidézés Nyílt végű / Kiegészítés (formula – szöveg) / Rövid válasz

Felidézés, Nyílt végű / Teljes válasz (kép + szöveg) / Hosszú válasz 18. feladat:

Átalakítás (felidézés), Nyílt végű / formula – szöveg / rövid válasz

Kivitelezés, Nyílt végű / Kiegészítés (kép – kép) / Rövid válasz

Kivitelezés, Nyílt végű / Teljes válasz (formula) / Hosszú válasz

Kivitelezés, Nyílt végű / Teljes válasz (formula) / Hosszú válasz

37a: Felidézés, Nyílt végű / Teljes válasz (szöveg) / hosszú válasz; 37b: Értelmezés (felidézés), Nyílt végű /Teljes válasz (szöveg) / Rövid válasz

a-e: Kivitelezés, Nyílt végű / Teljes válasz (formula) / hosszú válasz; f-g: Felidézés, Nyílt végű / Teljes válasz (szöveg) / Rövid válasz

Magyarázat (felidézés), Nyílt végű / Teljes válasz (szöveg) / hosszú válasz

A kurzusteljesítéshez szükséges feladat megbeszélése Segédanyag, sablonfájl Gyakorlás az informatika teszten