1 A III. országos kompetenciamérés (2004) Eredmények értékelése, elemzése.

Az előadások a következő témára: "1 A III. országos kompetenciamérés (2004) Eredmények értékelése, elemzése."— Előadás másolata:

1 1 A III. országos kompetenciamérés (2004) Eredmények értékelése, elemzése

2 2 A beszámoló célja Felkérés Visszajelzési időpont csúszása Pedagógiai szempontok (szervezés, lebonyolítás, értékelés, visszajelzés) Gyakorlati tájékoztatás (tapasztalatcsere más iskolákkal; szaktanácsadás) (Tanulók tájékoztatása?)

3 3 Korábbi mérések Nemzetközi teljesítménymérések -IEA mérései -OECD Felnőtt Írásbeliség Vizsgálata (‘98) -„Magyarország felnőtt lakosságának több mint kétharmada nem rendelkezik a mindennapi életben elvárható és szükséges írásbeli képességek minimumával sem” -OECD PISA 2000 Hazai monitorvizsgálatok Előző országos kompetenciamérések

4 4 Szervezési előzmények Törvényi háttér Körülmények (szakmai háttér, szellemi kapacitás, anyagi források biztosítása) Megelőző próbamérés (tartalmi pontosítás, kódkönyv javítása) Iskolai körülmények (iskolai terhek) Kollegalitás

5 5 A III. mérés jellemzői 2003-04-es tanév 6., 8., 10. évfolyamai -minden tanuló érintett -évfolyamonként 20 kiválasztott fő -egyenletesen minden teljesítményszintről -tanulói, iskolai háttér kérdőívek Standardizálás: 500 pont, a szórás 100 Objektivitás (felkészítés, ellenőrzés, titkosság, szakmai érdek, anonimitás)

6 6 A III. mérés feldolgozása Lemezes adatállományok; kibontás után: -általános beszámoló (100 oldal) -össz: 2·3 = 6 jelentés az évfolyamokról A beszámoló minősítése Néhány példa kompetenciameres2004.pdf

7 7 Néhány statisztikai adat 3834 iskola Ugyanennyi iskolai kérdőív Felmérésben részt vett tanulók: 6.o: 119 238, 8.o: 113 154, 10.o: 111 061 fő Kiértékelt füzetek száma: 6.o: 53 850, 8.o: 54 449, 10.o: 29 816 fő Ugyanennyi tanulói kérdőív

8 8 Olvasás-szövegértés 6.o. * Eredmény: 655 Teljesítménymérő: 6 / 3004 (Bp. 5 / 327) Eloszlás: azonos szint OLV6.PDF (első eloszlás-grafikon)OLV6.PDF

9 9

10 10 Olvasás-szövegértés 8.o.* Eredmény: 660 Teljesítménymérő: 12 / 3071 (Bp. 6 / 348) Eloszlás: kissé szórt (2 leszakadt tanuló) OLV8.PDF (első eloszlás-grafikon)OLV8.PDF

11 11

12 12 Olvasás-szövegértés 10.o.* Eredmény: 672 Teljesítménymérő: 1 / 1525 (G. 0 / 532) Eloszlás: zömmel azonos szint (1 leszakadt tanuló) OLV10G~1.PDF (első eloszlás-grafikon)OLV10G~1.PDF

13 13

14 14 O-sz. iskolai vertikumban E: 655 (6. o.)  660 (8. o.)  672 (10. o.) T: 6 (6. o.)  12 (8. o.)  1 (10. o.) E: Szignifikáns javulás: 8.o.  10.o. T: Hatévfolyamos gimnáziumok (8.o.: kis visszaesés)

15 15 O-sz. időbeli összehasonlítás 6.o. E: 644 (2003)  655 (2004) 10.o. E: 652(2003)  672 (2004) Mindkét esetben javultak az eredmények.

16 16 Matematika 6.o. * Eredmény: 641 Teljesítménymérő: 26 / 2984 (Bp. 9 / 323) Eloszlás: szórt (kettészakadt mezőny) MAT6.PDF (első eloszlás-grafikon)MAT6.PDF

17 17

18 18 Matematika 8.o.* Eredmény: 707 Teljesítménymérő: 3 / 3080 (Bp. 2 / 352) Eloszlás: nagyon szórt (kiváló és gyenge produkció is akadt) MAT8.PDF (első eloszlás-grafikon)MAT8.PDF

19 19

20 20 Matematika 10.o.* Eredmény: 732 Teljesítménymérő: 0 / 1526 (G. 0 / 532) Eloszlás: egységesen jó dolgozatok MAT10G~1.PDF (első eloszlás-grafikon)MAT10G~1.PDF

21 21

22 22 Mat. iskolai vertikumban E: 641 (6. o.)  707 (8. o.)  732 (10. o.) T: 26 (6. o.)  3 (8. o.)  0 (10. o.) E: Szignifikáns javulás: 6.o.  8.o.  10.o. T: Ok lehet: 6. és 8. évi felvételi szelekció; de: nem természetes a 0 érték (a, b, c, d osztályok sajátosságai !!!)

23 23 Mat. időbeli összehasonlítás 6.o. E: 658 (2003)  641 (2004) 10.o. E: 700 (2003)  732 (2004) 6.o: kisebb romlás; 10.o: javulás (!!)

24 24 Hozott Érték Index (HEI) * Oktatás hatékonyságának mérése? (többezer éves probléma) Háttérváltozók: -szülők iskolai végzettsége, -otthoni könyvek száma, -saját könyvek száma, -számítógép a családban, -autó a családban.

25 25 HEI származtatása Háttérváltozók segítségével megállapítható a diákok családi háttere és tanulási indíttatása Feltevés: a háttérváltozóktól lineárisan függ a tanulói teljesítmény A háttérváltozók értékeit súlyozzák, cél: a tanulói teljesítmény és a súlyozott értékek közötti kapcsolat a lehető legjobban lineárisan közelíthető legyen

26 26 HEI definíciója A többváltozós lineáris regresszióval kapott jelzőszámot standardizálják (átlaga 0, szórása 1) Def: ez a relatív jelzőszám a HEI mutató (tehát egy szám kb. –2 és 2 között) Mj: szülők végzettsége: 45 %, otthoni könyvek: 30 %, saját könyvek: 10 %, számítógép: 10 %, gépkocsi: 5 %

27 27 HEI példák Konkrétan: kompetenciameres2004.pdfkompetenciameres2004.pdf -72. o: háttérváltozók hatása -79. o: linearitás -96. o: számszerűsítés

28 28

29 29

30 30

31 31

32 32

33 33

34 34 Hozzáadott Pedagógiai Érték (HPÉ) A HEI alapján megállapítható a tanulóktól elvárható átlagos teljesítmény Def.: HPÉ = a tanulók tényleges és elvárható teljesítményének különbsége Tul.: -a HPÉ kb. – 200 és 200 közötti szám; -méri a hozzáadott pedagógiai munkát, -jellemzi az iskolát (pl. felszereltség), -s közvetetten a fenntartót is.

35 35 A modell érvényességi köre A modell érvényességi köre vitatható. Néhány probléma: -A háttérváltozóktól valóban lineárisan függ-e a tanulói teljesítmény; illetve -csak a vizsgált változóktól függ-e; -mintavételi és mérési hibák szerepe (speciálisan: adatfelvétel szubjektivitása)

36 36 HEI és HPÉ – olvasás-szöv.* 6.évf. HÉI 1,41 (2003)  1,10 (2004) HPÉ 76,7 (2003)  80,2 (2004) Várható - valós eredmény: 575 – 655 8.évf. HÉI 1,1* (2004), HPÉ 107 Várható-valós eredmény: 554 – 660 10.évf. HÉI 1,30 (2003)  1,22 (2004) HPÉ 79,8 (2003)  83,5 (2004) Várható - valós eredmény: 589 – 672

37 37 HEI és HPÉ – matematika* 6.évf. HÉI 1,41 (2003)  1,10 (2004) HPÉ 88,3 (2003)  70,7 (2004) Várható - valós eredmény: 571 – 641 8.évf. HÉI 1,1* (2004), HPÉ 152 Várható-valós eredmény: 555 – 707 10.évf. HÉI 1,30 (2003)  1,22 (2004) HPÉ 133 (2003)  144 (2004) Várható - valós eredmény: 587 – 732

38 38 HEI, HPÉ értékek elemzése Konkrét példák: OLV6.PDF stb.OLV6.PDF HEI: 1,10; 1,1*; 1,22  jól szituált szülők Jobb HEI indexű iskolák száma (becslés): 6.o: 40-50; 8.o: 60-70; 10.o: 30-40 Ue. számolással: -1,1  86,4%  (2984 – 3004)  406-409 -1,1*  86,4%  (3076)  418 -1,22  88,9%  (1525)  169

39 39 HEI, HPÉ érdekességek HEI: életkorral nő; időben csökken 6-8. évf: a nálunk eredményesebben szereplő iskolák HEI indexe általában nagyobb (kivétel: 6.o. matematika) 6. és 8. évfolyamon mindkét tantárgyból a legszűkebb élmezőnybe még –1, –1,5 értékű HEI mutató körül is kerültek be iskolák (OLV8.PDF)OLV8.PDF

40 40 A középiskolai munka mutatói A könyv jellemzői

41 41 Statisztikák 725 iskola - 232 gimnázium, - 335 szakközépiskola, - 158 vegyes középiskola 273 különböző szempont szerinti eredményességi mutatók közlése

42 42 Hozzáadott érték sorrendek 1.2.3.4.5.6. Fazekas M.11412256929 Piarista G.3621111 Apáczai Cs.8810017692628 Radnóti M. G. Szent István791051311278 Révai M. G.8410614693155

43 43 A hozzáadott érték számításának paraméterei Bemeneti adatok: – az általános iskolai osztályzatok átlaga; – a szülők iskolaévei; – a szülők munkanélküliségi aránya. Eredményességi mutatók: – az F/L felvételi arány; – az Ny/J nyelvvizsgaarány; – az írásbeli felvételi dolgozatok ÍÁ átlaga.

44 44 Mutatók a Fazekasban 1. Bemenő adatok: Az általános iskolai osztályzatok átlaga (Fazekas: 4,80 ; mutató: 6-7.) A szülők iskolaévei (Fazekas: 15,94; mutató: 11.) A szülők munkanélküliségi aránya (Fazekas: 3,4 %; mutató: 20 – 24.)

45 45 Mutatók a Fazekasban 2. Kimenő (eredményességi) mutatók: Az F/L felvételi arány (Fazekas: 96,3 %; mutató: 1.) A nyelvvizsgaarány (Fazekas: 104,1 %; mutató: 5.) Az írásbeli felvételi dolgozatok átlaga (Fazekas: 11,0 pont; mutató: 2.)

46 46 A hozzáadott érték számításának módszerei 1. 1. módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - H1 = (B1 + B2 + B3)/3 – (K1 + K2 + K3)/3. (Fazekas: 5,7.)

47 47 A hozzáadott érték számításának módszerei 2. 2. módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - Sorba rendezés: B i a (B1 + B2 + B3)/3, K i a (K1 + K2 + K3)/3 alapján. - H2 = B i – K i (Fazekas: 0.)

48 48 A hozzáadott érték számításának módszerei 3. 3. módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - A bemeneti adatok szerinti helyezési átlag és a kimeneti adatok szerinti helyezési átlag százalékos viszonya: - H3 = B á /K á *100 = (Fazekas: 383 %.)

49 49 A hozzáadott érték számításának módszerei 4. 4. módszer: - Mind a hat mutató esetén egyenletes eloszlásban 7 csoportba rendezzük az iskolákat, ez alapján minden mutatóhoz 1 - 7 közötti jelzőszámot rendelünk. (1 a legjobb.) - A bemeneti a. jelzőszámai: b1, b2, b3. - A kimeneti a. jelzőszámai: k1, k2, k3. - H4 = (b1 + b2 + b3)/3 – (k1 + k2 + k3)/3.

50 50 Érvényességi kör problémái Munkanélküliségi arány mint paraméter (Ellenőrizhetőség, jelentés, anyagi javak) Mj: szakközépiskolák Helyezési szám alapú összehasonlítás teljesítménymérés helyett Holtversenyt kezelő stratégia Erős bemeneti adatokkal rend. iskolák számára kedvezőtlenek a számítási módszerek (eredményességi korlát)