Kérdések 1. Miért kell olyan sokat várni az eredményekre a mérés után?

Az előadások a következő témára: "Kérdések 1. Miért kell olyan sokat várni az eredményekre a mérés után?"— Előadás másolata:

1 A mérések folyamata, határidők, mérési azonosító, tanulói kérdőívek és az új skála

2 Kérdések 1. Miért kell olyan sokat várni az eredményekre a mérés után?
2. Hogyan készül a tanulói képességpont és miért nem lehet az iskolában kiszámolni? 3. Kellenek nekünk a Tanulói kérdőívek?

3 1. kérdés: Miért kell olyan sokat várni az eredményekre a mérés után?
Nézzük meg, mi minden kell egy kompetenciaméréshez!

4 Egy OKM mérés előkészítésének, lebonyolításának és feldolgozásának fázisai
A kompetenciamérés adatfelvétele május utolsó szerdáján Az N. évben A főmérés előkészítése A főmérés és az adatok feldolgozása Az adatfájlok és elemzések elkészítése N+1. évben Az adatfájlok és elemzések elkészítése, visszajelzés A mérés gondozása Az N-1. évben Feladatírás Próbamérés előkészítése Próbamérés és a próbamérés adatainak feldolgozása A főmérés előkészítése Az N-2. évben Feladatírás Az N. évi kompetenciamérés jan. febr. márc. ápr. máj. jún. júl. aug. szept. okt. nov. dec. Alapdokumentum: tartalmi keretek

5 Egy OKM mérés előkészítésének, lebonyolításának és feldolgozásának fázisai
Az N-2. évben Feladatírás Az N-1. évben Feladatírás Próbamérés előkészítése Próbamérés és a próbamérés adatainak feldolgozása Főmérés előkészítése Az N. évben A főmérés előkészítése A főmérés és az adatok feldolgozása Adatfájlok és elemzések elkészítése N+1. évben Adatfájlok és elemzések elkészítése, visszajelzés A mérés gondozása Az N. évi kompetenciamérés jan. febr. márc. ápr. máj. jún. júl. aug. szept. okt. nov. dec. A kompetenciamérés adatfelvétele május utolsó szerdáján

6 Az előkészületekről… Feladatírás (javítás, szerkesztés, lektorálás) folyamatosan Tesztfüzetek összeállítása, a próbamérés előkészítés április Próbamérés (következő évi főmérésé!) OKM főmérés előtti három hét Visszaérkező anyagok ellenőrzése, kódolás és rögzítés, adattisztítás június-szeptember A próbamérés adatainak feldolgozása, statisztikai paraméterek kiszámítása szeptember-október Iskolai adatok begyűjtése december közepe

7 Az előkészületekről… A főmérés feladatainak kiválasztása, véleményeztetése szakmai lektorokkal december vége A tesztfüzetek összeállítása, szerkesztése, nyelvi lektorálása, nyomdai példányok leadása január vége Háttérkérdőívek aktualizálása január/március vége Adminisztráció, minőségbiztosítás előkészítése május közepe Csomagolás, felmérési anyag kiszállítása május közepe

8 A főmérés és az adatok feldolgozása
Főmérés lebonyolítása és ellenőrzése május utolsó szerdája Mérés utáni iskolai adminisztráció (gyors javítás) mérés után pár nap Felmérési anyagok visszaszállítása, kicsomagolás június végéig Kódolás augusztus első hetéig 6 hét, 300 kódoló, tesztfüzet, 15 millió feladat Adatrögzítés (100 millió karakter) augusztus végéig Adattisztítás szeptember A furcsa adatokkal rendelkező osztályok vizsgálata szeptember A főmérés végleges adatfájljainak előállítása október-november FIT-jelentésekhez, Tanulói jelentésekhez és a FIT elemző szoftverhez szükséges adatok előkészítése november-december

9 Az adatfájlok és elemzések elkészítése, visszajelzés
FIT-jelentések (~4 ezer telephely), Tanulói jelentések és a FIT elemző szoftver fejlesztése (új elemek, javítások) nov.-január FIT-jelentések pdf-jeinek előállítása és feltöltése a honlapra január-február Adatok feltöltése a Tanulói jelentésekhez és a FIT elemző szoftverbe február Feladatok és jellemzőik kötetek elkészítése január-február Országos jelentés elkészítése január-február FIT-jelentések és a Tanulói jelentések megjelenése, FIT elemző szoftverben az új eredmények elérhetővé tétele február 28.

10 Furcsa adat?

11 2. kérdés: Hogyan készül a tanulói képességpont és miért nem lehet az iskolában kiszámolni?

12 A tanuló képességpontja
Nem összpontszám! Nem százalékos megoldottság! Valószínűségelméleti modellből származó paraméter!

13 Egypontos feladat megoldási valószínűsége - nehézsége
Minél jobb képességű a tanuló, annál nagyobb valószínűséggel ér el 1 pontot. Egy nagyobb meredekségű feladat 0,5 0,23 1373 A 0,5-ös valószínűségnél van az 1 pontos feladat nehézségi paramétere. Ebben a pontban értelmezzük a meredekséget is.

14 A 2012. évi 8. évfolyamos matematika teszten elért 60%-os eredménnyel…
…különböző képességpontokat kaphatnak a tanulók. 1743 1725 1733 1740 1754 1763 1720 1730 1740 1760 1750 A matematika képességskála A képességpont attól is függ, hogy HOGYAN érte el a 60%-ot, MELYIK feladatokat oldotta meg! Nehezebb feladatokért magasabb képességpont jár.

15 A skála rögzítése (2008-ban) Évfolyamfüggetlen és mérési évtől független skála
Bármely évekből és évfolyamokról vett két képességpontot össze lehet hasonlítani a közös skálán! Közössé váltak a képességszintek meghatározásai is. Az évfolyamok összekötését a közös feladatok biztosítják, a mérési évek összekötését pedig a CORE teszt, ami: titkos, változatlan reprezentatív mintába válogatott osztályok írják meg. A közös skála és a mérési azonosító segítségével nyomon követhető a tanulók fejlődése négy éven át! A mérési azonosító 2008-as bevezetése után 2012-ben lett először teljes az adatsor az akkori 10. évfolyamosokra.

16 A skála rögzítése Évfolyamtól és mérési évtől független skála

17 Kellenek nekünk a Tanulói kérdőívek?
3. kérdés: Kellenek nekünk a Tanulói kérdőívek?

18 Mi a Tanulói kérdőív célja?
Olyan háttér-információk gyűjtése, amelyek segítik a teszteken elért eredmények értelmezését, árnyalását. Legfontosabb hozadékuk a jelentések szempontjából a hátránykompenzáló hatás számításának lehetősége, ami egy fontos önértékelési szempont. (CSH-index) A komplex modellben más adatokat is figyelembe veszünk, így az azonosított hatásoktól független képességfejlődést vizsgálhatjuk tanulói szintre lebontva. Időről időre felül kell vizsgálni, hogy mely tényezők hatnak a leginkább, ezért a többi kérdés is fontos, hogy szükség esetén bevonhassunk új adatokat. A kutatásokban is értékesek a begyűjtött információk.

19 Kiknek van CSH-indexe? A tanulók 80%-ának (súlyozás nélkül 73%)
A telephelyek 64%-ának Miért nincs CSH-indexe a telephelynek? Arány Kevesebb, mint 10 tanulónak van CSH-indexe 17,5% Kevesebb, mint a tanulók 2/3-a rendelkezik CSH-indexszel ,1% A CSH-indexszel rendelkező tanulók eredménye jelentősen eltér az összes tanuló eredményétől 0,2%

20 A tanuló becsült eredménye A tanuló tényleges eredménye
A komplex modell A két érték különbsége a modellben figyelembe vett tényezőktől független része az eredménynek. A tanuló korábbi eredménye Az iskola típusa és a településtípus A kulturális háttér (könyvek száma) A tanuló becsült eredménye A tanuló tényleges eredménye A vele egy osztályban és telephelyen tanulók szüleinek végzettsége Nem A család anyagi helyzete (vagyontárgyak száma) A szülők iskolai végzettsége A vele egy osztályban és telephelyen tanulók korábbi eredménye

21 A tényleges eredmény jobb, mint a modell alapján becsült.
A komplex modell A tényleges eredmény jobb, mint a modell alapján becsült. A tényleges eredmény gyengébb, mint a modell alapján becsült.