Mérés a pedagógiában, tesztelmélet alapjai Szabó Árpád, Orosz Ildikó.

Az előadások a következő témára: "Mérés a pedagógiában, tesztelmélet alapjai Szabó Árpád, Orosz Ildikó."— Előadás másolata:

1 Mérés a pedagógiában, tesztelmélet alapjai Szabó Árpád, Orosz Ildikó

2 A tanítás- tanulás rendszerelméletű modellje

3 Az értékelés rendszerelméletű összefüggései

4 Az ellenőrzés- értékelés tanár-diák viszonya

5 Tyler értékelési modellje (Wolf, 1985) Az oktatás három alapvető eleme A célok ( a tanulóktól elvárt viselkedések és teljesítmények), amelyeket a tanulóknak a nevelési-oktatási programon keresztül kell elérniük A tanulók tanulási tapasztalatai, amelyek egyéni vagy csoportos tanulási/tanulói tevékenységből származhatnak Az értékelés, amelynek során megállapítják, hogy a tanulók elérték-e a kitűzött célokat

6 Mérés  Sokkal pontosabb az értékelésnél  Úgy végezzük, hogy a mérőeszközön rögzített skálát, hozzámérjük egy megvizsgálandó tulajdonsághoz  Nehéz mérni a tanulók érzelmi viszonyulását, könnyebb a kognitív és mozgásos tanulásának eredményét  Tipikus eszköz a teszt a megvizsgálandó tulajdonságot úgy mérjük, hogy feladathelyzetbe hozzuk a tanulót és e feladatok megoldása alapján értékeljük a megvizsgálandó tulajdonságot  A klasszikus tesztelméletben statisztikai előmunkálatok alapján mércét állapítanak meg, amelyhez azután viszonyítani lehet a tanuló teljesítményét

7 A tesztek típusai  Tudásmérő  Intelligencia  Kognitív kompetenciát mérő  Képességeket mérő  Személyiséget, vagy annak egyes komponenseit feltáró (A tanítók által összeállított feladatsorok inkább a becslés szintjén maradnak)

8 Mérés-metodológiai követelmények  objektivitás (tárgyilagos, szubjektivitástól mentes legyen)  érvényesség vagy validitás (azt mérjük-e az értékelés során, amit mérni akarunk)  megbízhatóság, vagy reliabilitás (egy tulajdonság ismételt mérése ugyanazt az eredményt adja)

9 Az érvényességnek és a megbízhatóságnak különböző szintjei vannak

10 A minősítés két plusz szempontja  megfelelő differenciáló képesség ( az egymástól különböző tudáshoz különböző mérőszámokat kell rendelni)  Egységes eljárások biztosítása (az értékeléskor minden résztvevő számára minimalizálni a külső változók hatását)

11 Külső és belső értékelés Értékelők személye alapján  Belső, ha olyanok végzik, akik részt vettek a folyamatban  Külső, ha azok végzik, akik nem vettek részt az oktatásban Az értékelés célja szerint  Belső, ha a „rendszer” saját céljai szerint végezzük az értékelést  Külső, ha az adott pedagógiai rendszernél magasabb „felsőbb” rendszer elvárásai szerint oldják meg az értékelést

12 Belső és külső értékelés között konfliktus van, de oldható, ha az iskoláktól független vizsgarendszer lép e helyükbe Iskolaértékelések: külső és belső kombinációi

13 Az értékelők  Kialakítani saját értékelő szerepfelfogást  Értékpreferencia kialakítása  Hosszabb, soha le nem zárható feladat  Változik a funkciótól és tárgyától (ellenőr stb.  Összeütközhet a bíró, tanácsadó, segítő szerep  Alapfeltétel az értékelők felelősségének és döntési jogkörének meghatározása

14 Tudásszintmérő tesztek  A pszichológiai tesztek a személyiség legkülönbözőbb vonásainak vizsgálatára szolgálhatnak. Használatuk, eredményeik értelmezése sajátos felkészültséget igényel, az általuk nyert adatok bizonyos esetben az orvosi titokhoz hasonló védelmet élveznek.  A pedagógiai tesztek (figyelem-teszt, képesség- tesztek) átmenetet képeznek a pszichológiai és a pedagógiai tesztek között  A tudásszintmérő tesztek az iskolai munka rutinszerűen használt munkaeszközei.

15 A tudásszint tesztek lehetnek  Standartizáltak (Hivatalos tesztkészítők által kidolgozott, kipróbált mérőeszközök)  Teacher-made (Tanárok által készítettek)

16 A tesztek lehetnek  Tulajdonság (adottság, aptitude) tesztek (jövőbe tekintő, előrejelző, prediktív funkciójuk van, mi várható a tanulótól)  Teljesítmény – (achievement) tesztek (a múltban elsajátított tudást mérik, feladatlap, mérőlap)

17 A teszt  A teszt kisebb, önállóan értékelhető egységekből állnak.  Ez lehet egy szubteszt (rész-teszt), amit tekinthetünk önálló kis teszteknek is.  A tesztek feladatokból állnak.  A feladatok legkisebb, önállóan értékelhető részeit itemnek nevezzük.  Az itemeket már csak kétféle képen értelmezhetjük: 1 - a tanuló megoldotta, az item megoldása jó, 0 - a tanuló nem oldotta meg, az item megoldása nem jó.  Az itemeket súlyozhatjuk.  A tesztek összpontszámát az itemekre kapott pontok összege adja.

18 A klasszikus tesztelmélet alapegyenlete M = V + H  V – a teszt valódi értéke, amit mérni szeretnénk, annak a meghatározott értéke  H – fel kell tételeznünk, hogy tesztünk bizonyos hibával készült, ami a valódi értéket felfelé, vagy lefelé eltérítheti

19 A klasszikus tesztelmélet feltételezései:  A hiba várható értéke nulla, a sokféle hiba statisztikusan kiegyenlíti egymást  A tesztünk annál jobban, méri a mérni kívánt tulajdonságot, minél jobban összefügg a valódi érték a mért értékkel ( minél jobban korrelál M és V)  Ezt a tulajdonságát, a teszt megbízhatóságának, reliabilitásnak nevezzük  A mért érték és a valódi érték közötti összefüggés, melynek koefficiens r (Rtt az r négyzetével egyenlő)  Minden tesztben a valódi érték mellet valamilyen hibát is mérünk

20 Valószínűségi tesztelméletek (Probalisztikus tesztelméletek ) Alapgondolatuk Ha különböző tudásszintű tanulókat veszünk, akkor annál nagyobb annak a valószínűsége, hogy az adott itemet a tanuló jól fogja megoldani, minél nagyobb a tanulónak a tudásszintje, így az item tulajdonságait jól kifejezi az itemhez rendezhető valószínűségeloszlás

21 A tesztek jóságmutatói  Objektivitás  Reliabilitás (Megbízhatóság)  Validitás (Érvényesség )

22 Objektivitás  A teszttel végzett mérés eredménye független attól, ki végzi a teszttel a mérést, mindenkinek azonos eredményt kell kapnia a teszttel.  Az eredményeket csakis a vizsgált személy tulajdonságai határozzák meg, független attól, hogy ki használja, értékeli ki végzi el a vele kapcsolatos számításokat.

23 Az objektivitás formái Az adatfelvételi objektivitás A tesztfelvétel független az adatfelvevő személytől. Adatfelvétel az a folyamat, amikor a teszttel az adatokat összegyűjtjük, tehát amikor a tesztet a vizsgált tanulók megoldják. Egyértelműen előírni a tesztet megoldató pedagógus feladatait. Független szakértőt lehet felkérni a teszt megíratására. Értékelési objektivitás A teszt értékelése objektív, ha az eredmény független attól, hogy a tesztek javítását, kódolását, azaz értékelését ki végzi. Akkor lehetséges, ha a teszt értékelése teljesen egyértelmű, olyan szigorúan szabályozott, hogy ezeket a szabályokat követve, bárki ugyanarra az eredményre jutna. Objektívek a felelt választós tesztek. Biztosítani kell a feleletalkotó tesztek objektivitását Ugyanazon teszteket más pedagógussal ellenőriztetni Az interpretációs objektivitás A tesztek eredményeit hogyan hasznosítjuk, abból milyen következtetéseket vonunk le. A probléma főleg tudományos kutatásoknál merül fel.

24 Az adatfelvételi objektivitás  A tesztfelvétel független az adatfelvevő személytől  Adatfelvétel az a folyamat, amikor a teszttel az adatokat összegyűjtjük, tehát amikor a tesztet a vizsgált tanulók megoldják  Egyértelműen előírni a tesztet megoldató pedagógus feladatait. Független szakértőt lehet felkérni a teszt megíratására

25 Értékelési objektivitás A teszt értékelése objektív, ha az eredmény független attól, hogy a tesztek javítását, kódolását, azaz értékelését ki végzi. (Akkor lehetséges, ha a teszt értékelése teljesen egyértelmű, olyan szigorúan szabályozott, hogy ezeket a szabályokat követve, bárki ugyanarra az eredményre jutna. Objektívek a felelt választós tesztek.) Tesztkészítési feladat  Biztosítani kell a feleletalkotó tesztek objektivitását  Ugyanazon teszteket más pedagógussal ellenőriztetni

26 Az interpretációs objektivitás  A tesztek eredményeit hogyan hasznosítjuk, abból milyen következtetéseket vonunk le.  A probléma főleg tudományos kutatásoknál merül fel.

27 Reliabilitás (Megbízhatóság) A reliabilitási számítás egyik alapgondolata  A teszt olyan feladatokból áll, amely mindegyike ugyanazt a tulajdonságot méri.  Ha a teszt jól mér, akkor azt várhatjuk, hogy az egyes feladatok megoldása között magas korrelációt kapunk.  Ha a teszt nem megbízható, például véletlenszerűen is meglehet oldani, akkor az egyes feladatok eredményei között, az egyes feladatok megoldásának jósága között semmiféle összefüggés nem lesz.

28 Példa  Vegyünk egy 10-15 itemű tesztet.  Osszuk két részre a kérdéseket.  Képzeletbeli páros és páratlan félteszt.  Adjuk össze külön a páros, és külön a páratlan számú itemek eredményeit, és számítsuk ki a korrelációt az így kapott két félteszt között.  Töltsük ki s félteszteket véletlenszerűen, ekkor a két félteszt között semmiféle összefüggés nem lesz, mert a két félteszt eredményeit csak a tanulók tudása kapcsolhatja össze, vagyis akik jól oldják meg a teszt egyik felét feltehetően jól oldják meg a másikat is.

29 Validitás (Érvényesség)  A teszt érvényességét jelenti.  A teszttel azt mérjük, amit mérni akarunk. Példa  Ha szöveges feladatok eredményei szorosabban korrelálnak az olvasás teszt eredményeivel, mint a matematikaival, akkor a szövege bonyolult és a szövegértést méri.

30 Normaorientált tesztelés Ha minden egyes megvizsgált személyt a populáció jellemzőihez viszonyítunk, vagyis a populáció normáihoz viszonyítunk, ezt a viszonyítási eljárást normaorientált, normavonatkozó viszonyításnak nevezzük

31 Kritériumorintált tesztelés  A tanulók tudását egy külső, előre rögzített meghatározott kritériumhoz viszonyítjuk  Feltehető, hogy ilyen külső krtiériumot meg lehet adni, amit a vizsgálandó tulajdonság 100%-nak tekintünk

32 Feladatírás A tesztkészítési technikák középpontja, alapja a tananyag megfelelő elemzése. Csak a tananyag elemzése, szerkezetének pontos feltárása révén készíthetünk megfelelő teszteket, vagyis csak így érhetjük el azt, hogy tesztünk pontosan leképezze a tananyagot.

33 A tananyag elemzése, a felmérendő tudás kategorizálása Taxonómiai rendszer Bloom értékelési taxonómiájukat a személyiség három nagy területére, a kognitív, az affektív, és a pszichomotoros szférára dolgozták ki.

34 A kognitív taxonometria rendszerezte a tudásra vonatkozó elemeit, melyek között hierarchikus elemeket állapított meg: 1. ismeret 2. megértés 3. alkalmazás 4. analízis 5. szintézis 6. értékelés

35 A tanulók által elsajátított tudás: Ismeret-jellegű  Rövidebb időszakasz eredményeiről ad képet.  Az ismeret-jellegű tudást, annak elemeit a maguk konkrét formájában tehetjük a tesztelés tárgyává. Képesség-jellegű  Készségek, jártasságok, általános képességek.  Az oktatási folyamat hosszabb szakasza van jelen.  A képesség-jellegű tudást a működés felől, a szerkezet felől közelíthetjük meg.  Például az olvasási készséget többféle tartalmon is vizsgálhatjuk, többféle szöveget olvastathatunk.

36 Feladattípusok 1.Feleletválasztó 2.Feleletalkotó

37 Feleletválasztó feladatok A tanuló kész előre megadott válaszok közül választja ki a megfelelőt ( helyeset, jót, igazat stb.), ész azt valamilyen módon megjelöli Az ismeret-tudás mérésére alkalmas Típusai  alternatív választás  többszörös választás  Egy jó válasz  Több jó válasz  A legjobb válasz kiválasztása  A rossz válaszok kiválasztása  Válaszok illesztése  Egy az egyhez hozzárendelés  Egy a többhöz hozzárendelés ( osztályozás )

38 Feleletalkotó feladatok  kiegészítés  egy kihagyott fogalom  több kihagyott fogalom  rövid válasz  válasz tulajdonnévvel  válasz számmal  válasz egyéb szóval  hosszú válasz  válasz egy mondattal (defínició)  válasz felsorolással  esszé típusú válasz

39 Képesség-jellegű tudás mérésére alkalmas feladatok  27 + 16 = 48 - …. = 18  Két mutató  A képességek (készségek, jártasságok) működésének sebessége  Hibátlansága  A sebességet általában az időegység alatt megoldott feladatelemek számával jellemezzük.  A hibátlansági arányt jellemezhetjük például azzal, hogy a jól megoldott feladfatelemek számát az összes megoldott feladatelem számának százalékában fejezzük ki.  A készségek és képességek esetében mind a sebesség, mind a minőség ( hibátlansági arány) tekintetében használhatjuk külső viszonyítási pontként (kritériumként) a felnőtt szakember mutatóit..  Egyes mérések speciális megoldásokat igényelnek.

40 Tesztszerkesztés  A teszt megoldója pontosan tudja, hogy mit kell tennie, milyen módon kell a feladatot megoldania, a kérdést megválaszolnia  Helyes, ha a nyelvtani forma kérdő mondat, és pontosan kifejezi, hogy eldöntendő, vagy kiegészítendő kérdésről van szó  Ha válaszalternatívákat adunk pontosan meg kell határozni, hogy mi a teendő, egy vagy több jó válasz van, a jót kell bekarikázni, vagy a rosszat áthúzni., vagy a jók bekarikázást és egyidejűleg a rosszak áthúzását. ( például így eldönthetjük hogy hozzá sem kezdett a munkához)  A tesztekhez javítókulcsot kell készíteni, ami leírja a javítás módját és megadja a jó megoldásokat  A feladatok mellet feltüntetni az elérhető pontszámokat.  Kódkockák  Értékelési útmutató  Pontozás, súlyozás  Ha az itemek legkisebb értéke 1, a legmagasabb súlya se legyen 5-nél nagyobb

41 Szóbeli vizsga értékelése (35 p. esetén) 1.A felelet tartalmi összetétele, felépítésének szerkezete (10 pont). Ezen belül A témakörbe illő definíció megtalálása1 pont A témakörbe illő tétel megtalálása1 pont Logikus felépítés, szerkesztettség, tartalmi gazdagság - 4 pont A felelet matematikai tartalmi helyessége 4 pont 2. A feleletben szereplő, a témához illő definíció helyes kimondása2 pont 3. A feleletben szereplő, a témához illő tétel helyes kimondása és bizonyítása (6 pont). Ezen belül A Tétel helyes kimondása 2 pont A tétel helyes bizonyítása4 pont

42 4. A kitűzött feladat helyes megoldása (8 pont) Ha a feladatot csak a vizsgáztató segítségével tudja elkezdeni, akkor maximum 5 pont adható 5. Alkalmazások ismertetése (4 pont) Egy odaillő alkalmazás megemlítése 1 pont Ennek részletes kifejtése vagy további 2-3 lényegesen eltérő alkalmazás említése3 pont

43 Matematikai nyelvhasználat, kommunikációs készség - (5 pont) Ezen belül Matematikai nyelvhasználat2 pont Önálló, folyamatos előadásmód2 pont Kommunikáció1 pont 1 pont akkor is jár, ha a jelölt önálló felelete után nem volt szükség kérdésre

44 Köszönöm a figyelmet Orosz Ildikó