dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK Moodle tesztek elemzési lehetőségei Beépített statisztikai elemző szolgáltatások bemutatása dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK

A teszt beállítása és a kérdések kiválasztása Az e-learning kurzusok fontos és nélkülözhetetlen eleme a teszt Moodle tesztek beállítási lehetőségei: Egy/több próbálkozás (többféle pontozási módszer: legmagasabb, átlag, első, utolsó) Fix kérdések/kérdésbankból véletlenszerűen válogatott kérdések Befejezetlen próbálkozások mentése/figyelmen kívül hagyása Hallgatói ellenőrzési lehetőségek (csak pontszám, saját válasz, hibás válasz jelölése, helyes válasz)

A teszteredmények (tanári) nézetei Pontok (pontozói jelentés) Válaszok Statisztika

Statisztika Teszt adatai Tesztszerkezet elemzése Kérdéshelyzetek statisztikája -Teszt adatai: az egész tesztre számított mutatók, a tanulók tudásáról viselkedéséről és a teszt összeállításáról (egészéről) ad információt -Tesztszerkezet elemzése: az egyes tesztkérdésekről ad információt (kérdésenkénti statisztikák) -Kérdéshelyzetek statisztikája: a fentiekből 2 mutató ábrája A számítás alapja beállítható! Az első kettő 1-1 táblázat, a harmadik egy ábra. Az első 2 etölthető 5-féle állományként.

1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba leíró

1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Középértékek Elhelyezkedést mérnek

1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Szóródást/ Tömörülést/ Változékonyságot mér

1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Szimmetriát / Aszimmetriát mér

1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba A görbe csúcsának hegyességét/ A görbe meredekségét méri

A teszteredmények %-ban A példa tesztünk Gyakorlóteszt, több próbálkozás engedélyezett A legmagasabb pontot kapja meg a hallgató 19 fix kérdés tartalmaz (mindenkinek ugyanazt) Próbálkozás után helyes választ is mutat A teszteredmények %-ban

Átlagosan 2,7 próbálkozás/fő első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 498 tanuló próbálkozott, összes 1362, így átlagosan 2,7 próbálkozás/fő volt

A tanulók fele ennél több pontot ért el 50-75% között “jó” A tanulók fele ennél több pontot ért el első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Javultak az eredmények az első és utolsó között. Nem mindenkinél az utolsó próbálkozás a legsikeresebb. Utolsó próbálkozásra már a tanulók legalább fele elérte a 100%-os pontszámot (medián). Moodle szerint: 50-75% között jó az átlag, ha kívül esik ezen, akkor érdemes változtatni (többszörös próbálkozás esetén magasabb!)

Felkészültség nagyon különböző, de Minél kisebb, annál inkább összezsúfolódnak az eredmények az átlag körül. 12-18% között „optimális” első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Ennek oka lehet, hogy egy gyakorlótesztet rákészülés nélkül is kitöltenek a tanulók, nincs tétje. Felkészültség nagyon különböző, de az eredmények javulásával a pontszámok szóródása csökkent, az átlagot egyre biztosabban hozta a csoport.

-: a tömeg jobb az átlagnál +: a tömeg rosszabb az átlagnál 0: szimmetrikus -: a tömeg jobb az átlagnál +: a tömeg rosszabb az átlagnál Ha 1-nél nagyobb abszolútértékű: nincs megfelelő megkülönböztetés a “tömegen belül” első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Elsőre - aszimmetria: a tanulók nagyobb része ért el az átlagnál jobb pontot. Erősödött: Egyre kevésbé tudta megkülönböztetni az átlagnál jobb tanulókat a teszt. Már elsőre is túl erős: felkészült hallgatók, könnyű teszt, Erősödik: oka lehet, h segíti őket a többszöri próbalehetőség és a látható helyes mo-k

0: norm. eloszlásnak megfelelő -: laposabb +: csúcsosabb 0-1 között “optimális” 1-nél nagyobb: a teszt nem tudja jól megkülönböztetni az átlagosakat a szélsőségesektől első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Elsőre: megfelelő, enyhe pozitív csúcsosság

Belső konzisztencia együtthatója <64% nem elfogadható >70% elfogadható >90% megbízható első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% A teszt megbízható Cronbach-alfa A teszt megbízhatósága: konzisztensen méri-e, amit mérni szeretnénk. Ha túl alacsony, akkor a teszt nem jó. Bizonyos kérdések nem elég jók a különböző képeségű diákok megkülönböztetésére, vagy eltérő minőségben tesztelnek. 70% fölött elfogadható 90% fölött megbízható

Belső konzisztencia együtthatója A pontszámok szóródásának véletlentől függő hányada. 50% felett nem kielégítő. első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% A pontszámok szóródásának 18,87%-a véletlen, a maradék 81,13% pedig a tanulók különböző tudásából ered

Belső konzisztencia együtthatója A bizonytalansagot méri az egyes tanulói pontokban. 8% már általában egy jegy különbséget jelent, efölött a tanulók egy része már rosszul osztályozott lesz. első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% Egy 80%-ot elérő tanuló tényleges tudása nagy valószínűséggel 73,68% és 86,32 % között van.

2. Tesztszerkezet elemzése leadott (befejezett) próbálkozásokból számított statisztikák tanulónkénti, össz. pontszámok (%) alapján a teszt egyes kérdéseire külön-külön

A tanulók átlag pontszáma a ‘p’ pozíciójú kérdésnél az itt elérhető pontok %-ban. < 5 nagyon nehéz /rossz 6-10 nagyon nehéz 11-20 nehéz 21-34 kicsit nehéz 35-64 átlagos 65-80 elég könnyű 81-89 könnyű 90-94 nagyon könnyű 95-100 kivételesen könnyű Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% A következő mutatók random kérdéseknél érdekesek inkább: ekkor a p pozíciójú kérdés mindenkinél más-más!

A tanulók pontszámainak szórása a ‘p’ pozíciójú kérdésnél az itt elérhető pontok %-ban. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Ha az eszk. mutató nagyon magas, vagy alacsony, akkor nem lehet nagy. Viszont az eszk. mutató megfelelő értéke nem biztosítja sd alacsony értékét!

Csak választásos kérdéseknél értelmezhető. 40% fölött nem kielégítő. A ‘p’ pozíciójú kérdésre járó pont hány %-a várható véletlenszerű X-elés esetén. Csak választásos kérdéseknél értelmezhető. 40% fölött nem kielégítő. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Itt: egyszeres választás, 4 válaszlehetőséggel. Ha pl. számos a kérdés, akkor 0. Mellőzni kell az I/H kérdéseket!

A kérdésen elérhető pontszám hány százaléka az összpontszámnak. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Itt: 19 kérdés, mind egyforma pontos.

Ideális esetben közel annyi mint a tervezett súly. A teszteredmények szóródásának hány százaláka származik ebből a kérdésből. Ideális esetben közel annyi mint a tervezett súly. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% 1. és 5. kérdésnek nincs akkora szerepe a pontok szóródásában, mint amekkorát terveztek.

Értelmezése nehézkes, mert maximuma nem mindig 100%. A kérdésen elért pontszám és a többi kérdésen elért pontszám korrelációja, %-ban kifejezve. Megmutatja, hogy mennyire hatékonyan tudja a kérdés megkülönböztetni a jobb és a gyengébb diákokat. Értelmezése nehézkes, mert maximuma nem mindig 100%. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% 50 - Nagyon jó megkülönböztetés 30 - 49 Megfelelő megkülönböztetés 20 - 29 Gyenge megkülönböztetés 0 - 19 Nagyon gyenge megkülönböztetés -Az adott kérdés esetén jobban teljesítők a teszt többi részén is jobban teljesítenek-e? -Ha igen (magas), akkor a kérdéssel jól elkülöníthetők a jobb illetve gyengébb diákok.

Megmutatja, hogy a kérdés nehézségéhez képest mennyire jó a diszkriminációs indexe (beszorítva 0 és 100% közé). 50% alatt: kérdés nem olyan hatékony a megkülönböztetésben, mint amennyire lehet. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% A nagyon könnyű vagy nagyon nehéz kérdések nem különböztethetik meg a különböző képességű diákokat, mivel a legtöbbjük ugyanazt a pontszámot kapja e kérdésben. A legjobb megkülönböztetéshezhet 30% -tól 70% -ig terjedő létesítménymutatóra van szükség (bár ilyen érték nem garantálja a magas diszkriminációs indexet).

3. Kérdéshelyzetek statisztikája Az eszközmutató és a diszkriminációs hatékonyság kérdésenkénti oszlopdiagramja

Minden kérdés átlagos, vagy könnyű, mind hatékonyan megkülönböztet. Kérdés nehézsége Kérdés megkülönböztető képessége Minden kérdés átlagos, vagy könnyű, mind hatékonyan megkülönböztet. A nagyon könnyű (nagyon nehéz) kérdések nem különböztetik meg a különböző képességű diákokat A legjobb megkülönböztetés 30-70%-os Eszközmutató esetén.

tnagy.judit@gmail.com molnar.tamas@metk.unideb.hu Köszönjük a figyelmet! tnagy.judit@gmail.com molnar.tamas@metk.unideb.hu