dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK

Az előadások a következő témára: "dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK"— Előadás másolata:

1 dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK
Moodle tesztek elemzési lehetőségei Beépített statisztikai elemző szolgáltatások bemutatása dr. T. Nagy Judit - dr. Molnár Tamás Edutus - DE, METK

2 A teszt beállítása és a kérdések kiválasztása
Az e-learning kurzusok fontos és nélkülözhetetlen eleme a teszt Moodle tesztek beállítási lehetőségei: Egy/több próbálkozás (többféle pontozási módszer: legmagasabb, átlag, első, utolsó) Fix kérdések/kérdésbankból véletlenszerűen válogatott kérdések Befejezetlen próbálkozások mentése/figyelmen kívül hagyása Hallgatói ellenőrzési lehetőségek (csak pontszám, saját válasz, hibás válasz jelölése, helyes válasz)

3 A teszteredmények (tanári) nézetei
Pontok (pontozói jelentés) Válaszok Statisztika

4 Statisztika Teszt adatai Tesztszerkezet elemzése
Kérdéshelyzetek statisztikája -Teszt adatai: az egész tesztre számított mutatók, a tanulók tudásáról viselkedéséről és a teszt összeállításáról (egészéről) ad információt -Tesztszerkezet elemzése: az egyes tesztkérdésekről ad információt (kérdésenkénti statisztikák) -Kérdéshelyzetek statisztikája: a fentiekből 2 mutató ábrája A számítás alapja beállítható! Az első kettő 1-1 táblázat, a harmadik egy ábra. Az első 2 etölthető 5-féle állományként.

5 1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján
Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba leíró

6 1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján
Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Középértékek Elhelyezkedést mérnek

7 1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján
Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Szóródást/ Tömörülést/ Változékonyságot mér

8 1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján
Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba Szimmetriát / Aszimmetriát mér

9 1. Teszt adatai Tanulónkénti, össz. pontszámok (%) alapján
Leadott (befejezett) próbálkozásokból számított statisztikák: Próbálkozások száma Átlag Medián Szórás Aszimmetria Csúcsosság Cronbach-alfa Hibaarány Standard hiba A görbe csúcsának hegyességét/ A görbe meredekségét méri

10 A teszteredmények %-ban
A példa tesztünk Gyakorlóteszt, több próbálkozás engedélyezett A legmagasabb pontot kapja meg a hallgató 19 fix kérdés tartalmaz (mindenkinek ugyanazt) Próbálkozás után helyes választ is mutat A teszteredmények %-ban

11 Átlagosan 2,7 próbálkozás/fő
első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 498 tanuló próbálkozott, összes 1362, így átlagosan 2,7 próbálkozás/fő volt

12 A tanulók fele ennél több pontot ért el
50-75% között “jó” A tanulók fele ennél több pontot ért el első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Javultak az eredmények az első és utolsó között. Nem mindenkinél az utolsó próbálkozás a legsikeresebb. Utolsó próbálkozásra már a tanulók legalább fele elérte a 100%-os pontszámot (medián). Moodle szerint: 50-75% között jó az átlag, ha kívül esik ezen, akkor érdemes változtatni (többszörös próbálkozás esetén magasabb!)

13 Felkészültség nagyon különböző, de
Minél kisebb, annál inkább összezsúfolódnak az eredmények az átlag körül. 12-18% között „optimális” első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Ennek oka lehet, hogy egy gyakorlótesztet rákészülés nélkül is kitöltenek a tanulók, nincs tétje. Felkészültség nagyon különböző, de az eredmények javulásával a pontszámok szóródása csökkent, az átlagot egyre biztosabban hozta a csoport.

14 -: a tömeg jobb az átlagnál +: a tömeg rosszabb az átlagnál
0: szimmetrikus -: a tömeg jobb az átlagnál +: a tömeg rosszabb az átlagnál Ha 1-nél nagyobb abszolútértékű: nincs megfelelő megkülönböztetés a “tömegen belül” első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Elsőre - aszimmetria: a tanulók nagyobb része ért el az átlagnál jobb pontot. Erősödött: Egyre kevésbé tudta megkülönböztetni az átlagnál jobb tanulókat a teszt. Már elsőre is túl erős: felkészült hallgatók, könnyű teszt, Erősödik: oka lehet, h segíti őket a többszöri próbalehetőség és a látható helyes mo-k

15 0: norm. eloszlásnak megfelelő -: laposabb +: csúcsosabb
0-1 között “optimális” 1-nél nagyobb: a teszt nem tudja jól megkülönböztetni az átlagosakat a szélsőségesektől első utolsó összes legjobb Próbálkozások száma 498 1362 Átlag 74,15% 90,25% 86,24% 93,91% Medián pont 84,21% 100,00% Szórás 33,49% 24,53% 27,36% 18,31% Pontszámeloszláshoz tartozó aszimmetria -1,4882 -3,1319 -2,5076 -4,3227 Pontszámeloszláshoz tartozó csúcsosság 0,7177 8,5477 5,0316 18,7112 Elsőre: megfelelő, enyhe pozitív csúcsosság

16 Belső konzisztencia együtthatója
<64% nem elfogadható >70% elfogadható >90% megbízható első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% A teszt megbízható Cronbach-alfa A teszt megbízhatósága: konzisztensen méri-e, amit mérni szeretnénk. Ha túl alacsony, akkor a teszt nem jó. Bizonyos kérdések nem elég jók a különböző képeségű diákok megkülönböztetésére, vagy eltérő minőségben tesztelnek. 70% fölött elfogadható 90% fölött megbízható

17 Belső konzisztencia együtthatója
A pontszámok szóródásának véletlentől függő hányada. 50% felett nem kielégítő. első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% A pontszámok szóródásának 18,87%-a véletlen, a maradék 81,13% pedig a tanulók különböző tudásából ered

18 Belső konzisztencia együtthatója
A bizonytalansagot méri az egyes tanulói pontokban. 8% már általában egy jegy különbséget jelent, efölött a tanulók egy része már rosszul osztályozott lesz. első Belső konzisztencia együtthatója 96,44% Hibaarány 18,87% Standard hiba 6,32% Egy 80%-ot elérő tanuló tényleges tudása nagy valószínűséggel 73,68% és 86,32 % között van.

19 2. Tesztszerkezet elemzése
leadott (befejezett) próbálkozásokból számított statisztikák tanulónkénti, össz. pontszámok (%) alapján a teszt egyes kérdéseire külön-külön

20 A tanulók átlag pontszáma a ‘p’ pozíciójú kérdésnél az itt elérhető pontok %-ban.
< 5 nagyon nehéz /rossz 6-10 nagyon nehéz 11-20 nehéz 21-34 kicsit nehéz 35-64 átlagos 65-80 elég könnyű 81-89 könnyű 90-94 nagyon könnyű 95-100 kivételesen könnyű Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% A következő mutatók random kérdéseknél érdekesek inkább: ekkor a p pozíciójú kérdés mindenkinél más-más!

21 A tanulók pontszámainak szórása a ‘p’ pozíciójú kérdésnél az itt elérhető pontok %-ban.
Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Ha az eszk. mutató nagyon magas, vagy alacsony, akkor nem lehet nagy. Viszont az eszk. mutató megfelelő értéke nem biztosítja sd alacsony értékét!

22 Csak választásos kérdéseknél értelmezhető. 40% fölött nem kielégítő.
A ‘p’ pozíciójú kérdésre járó pont hány %-a várható véletlenszerű X-elés esetén. Csak választásos kérdéseknél értelmezhető. 40% fölött nem kielégítő. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Itt: egyszeres választás, 4 válaszlehetőséggel. Ha pl. számos a kérdés, akkor 0. Mellőzni kell az I/H kérdéseket!

23 A kérdésen elérhető pontszám hány százaléka az összpontszámnak.
Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékonyság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% Itt: 19 kérdés, mind egyforma pontos.

24 Ideális esetben közel annyi mint a tervezett súly.
A teszteredmények szóródásának hány százaláka származik ebből a kérdésből. Ideális esetben közel annyi mint a tervezett súly. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% 1. és 5. kérdésnek nincs akkora szerepe a pontok szóródásában, mint amekkorát terveztek.

25 Értelmezése nehézkes, mert maximuma nem mindig 100%.
A kérdésen elért pontszám és a többi kérdésen elért pontszám korrelációja, %-ban kifejezve. Megmutatja, hogy mennyire hatékonyan tudja a kérdés megkülönböztetni a jobb és a gyengébb diákokat. Értelmezése nehézkes, mert maximuma nem mindig 100%. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% 50 - Nagyon jó megkülönböztetés Megfelelő megkülönböztetés Gyenge megkülönböztetés 0 - 19 Nagyon gyenge megkülönböztetés -Az adott kérdés esetén jobban teljesítők a teszt többi részén is jobban teljesítenek-e? -Ha igen (magas), akkor a kérdéssel jól elkülöníthetők a jobb illetve gyengébb diákok.

26 Megmutatja, hogy a kérdés nehézségéhez képest mennyire jó a diszkriminációs indexe (beszorítva 0 és 100% közé). 50% alatt: kérdés nem olyan hatékony a megkülönböztetésben, mint amennyire lehet. Kérdés-szám Eszköz-mutató Szórás Véletlen találgatás pontszáma Tervezett súly Tényleges súly Diszkrimi-nációs index Diszkrimi-nációs hatékony-ság 1 84,14% 36,57% 25,00% 5,26% 4,99% 80,13% 85,57% 2 72,89% 44,50% 5,11% 67,01% 80,10% 3 62,25% 48,53% 60,33% 82,04% 4 81,53% 38,85% 5,28% 85,14% 91,85% 5 60,44% 48,95% 56,39% 77,93% A nagyon könnyű vagy nagyon nehéz kérdések nem különböztethetik meg a különböző képességű diákokat, mivel a legtöbbjük ugyanazt a pontszámot kapja e kérdésben. A legjobb megkülönböztetéshezhet 30% -tól 70% -ig terjedő létesítménymutatóra van szükség (bár ilyen érték nem garantálja a magas diszkriminációs indexet).

27 3. Kérdéshelyzetek statisztikája
Az eszközmutató és a diszkriminációs hatékonyság kérdésenkénti oszlopdiagramja

28 Minden kérdés átlagos, vagy könnyű, mind hatékonyan megkülönböztet.
Kérdés nehézsége Kérdés megkülönböztető képessége Minden kérdés átlagos, vagy könnyű, mind hatékonyan megkülönböztet. A nagyon könnyű (nagyon nehéz) kérdések nem különböztetik meg a különböző képességű diákokat A legjobb megkülönböztetés 30-70%-os Eszközmutató esetén.

29 tnagy.judit@gmail.com molnar.tamas@metk.unideb.hu
Köszönjük a figyelmet!