1 A III. országos kompetenciamérés (2004) Eredmények értékelése, elemzése

2 A beszámoló célja Felkérés Visszajelzési időpont csúszása Pedagógiai szempontok (szervezés, lebonyolítás, értékelés, visszajelzés) Gyakorlati tájékoztatás (tapasztalatcsere más iskolákkal; szaktanácsadás) (Tanulók tájékoztatása?)

3 Korábbi mérések Nemzetközi teljesítménymérések -IEA mérései -OECD Felnőtt Írásbeliség Vizsgálata (‘98) -„Magyarország felnőtt lakosságának több mint kétharmada nem rendelkezik a mindennapi életben elvárható és szükséges írásbeli képességek minimumával sem” -OECD PISA 2000 Hazai monitorvizsgálatok Előző országos kompetenciamérések

4 Szervezési előzmények Törvényi háttér Körülmények (szakmai háttér, szellemi kapacitás, anyagi források biztosítása) Megelőző próbamérés (tartalmi pontosítás, kódkönyv javítása) Iskolai körülmények (iskolai terhek) Kollegalitás

5 A III. mérés jellemzői es tanév 6., 8., 10. évfolyamai -minden tanuló érintett -évfolyamonként 20 kiválasztott fő -egyenletesen minden teljesítményszintről -tanulói, iskolai háttér kérdőívek Standardizálás: 500 pont, a szórás 100 Objektivitás (felkészítés, ellenőrzés, titkosság, szakmai érdek, anonimitás)

6 A III. mérés feldolgozása Lemezes adatállományok; kibontás után: -általános beszámoló (100 oldal) -össz: 2·3 = 6 jelentés az évfolyamokról A beszámoló minősítése Néhány példa kompetenciameres2004.pdf

7 Néhány statisztikai adat 3834 iskola Ugyanennyi iskolai kérdőív Felmérésben részt vett tanulók: 6.o: , 8.o: , 10.o: fő Kiértékelt füzetek száma: 6.o: , 8.o: , 10.o: fő Ugyanennyi tanulói kérdőív

8 Olvasás-szövegértés 6.o. * Eredmény: 655 Teljesítménymérő: 6 / 3004 (Bp. 5 / 327) Eloszlás: azonos szint OLV6.PDF (első eloszlás-grafikon)OLV6.PDF

9

10 Olvasás-szövegértés 8.o.* Eredmény: 660 Teljesítménymérő: 12 / 3071 (Bp. 6 / 348) Eloszlás: kissé szórt (2 leszakadt tanuló) OLV8.PDF (első eloszlás-grafikon)OLV8.PDF

11

12 Olvasás-szövegértés 10.o.* Eredmény: 672 Teljesítménymérő: 1 / 1525 (G. 0 / 532) Eloszlás: zömmel azonos szint (1 leszakadt tanuló) OLV10G~1.PDF (első eloszlás-grafikon)OLV10G~1.PDF

13

14 O-sz. iskolai vertikumban E: 655 (6. o.)  660 (8. o.)  672 (10. o.) T: 6 (6. o.)  12 (8. o.)  1 (10. o.) E: Szignifikáns javulás: 8.o.  10.o. T: Hatévfolyamos gimnáziumok (8.o.: kis visszaesés)

15 O-sz. időbeli összehasonlítás 6.o. E: 644 (2003)  655 (2004) 10.o. E: 652(2003)  672 (2004) Mindkét esetben javultak az eredmények.

16 Matematika 6.o. * Eredmény: 641 Teljesítménymérő: 26 / 2984 (Bp. 9 / 323) Eloszlás: szórt (kettészakadt mezőny) MAT6.PDF (első eloszlás-grafikon)MAT6.PDF

17

18 Matematika 8.o.* Eredmény: 707 Teljesítménymérő: 3 / 3080 (Bp. 2 / 352) Eloszlás: nagyon szórt (kiváló és gyenge produkció is akadt) MAT8.PDF (első eloszlás-grafikon)MAT8.PDF

19

20 Matematika 10.o.* Eredmény: 732 Teljesítménymérő: 0 / 1526 (G. 0 / 532) Eloszlás: egységesen jó dolgozatok MAT10G~1.PDF (első eloszlás-grafikon)MAT10G~1.PDF

21

22 Mat. iskolai vertikumban E: 641 (6. o.)  707 (8. o.)  732 (10. o.) T: 26 (6. o.)  3 (8. o.)  0 (10. o.) E: Szignifikáns javulás: 6.o.  8.o.  10.o. T: Ok lehet: 6. és 8. évi felvételi szelekció; de: nem természetes a 0 érték (a, b, c, d osztályok sajátosságai !!!)

23 Mat. időbeli összehasonlítás 6.o. E: 658 (2003)  641 (2004) 10.o. E: 700 (2003)  732 (2004) 6.o: kisebb romlás; 10.o: javulás (!!)

24 Hozott Érték Index (HEI) * Oktatás hatékonyságának mérése? (többezer éves probléma) Háttérváltozók: -szülők iskolai végzettsége, -otthoni könyvek száma, -saját könyvek száma, -számítógép a családban, -autó a családban.

25 HEI származtatása Háttérváltozók segítségével megállapítható a diákok családi háttere és tanulási indíttatása Feltevés: a háttérváltozóktól lineárisan függ a tanulói teljesítmény A háttérváltozók értékeit súlyozzák, cél: a tanulói teljesítmény és a súlyozott értékek közötti kapcsolat a lehető legjobban lineárisan közelíthető legyen

26 HEI definíciója A többváltozós lineáris regresszióval kapott jelzőszámot standardizálják (átlaga 0, szórása 1) Def: ez a relatív jelzőszám a HEI mutató (tehát egy szám kb. –2 és 2 között) Mj: szülők végzettsége: 45 %, otthoni könyvek: 30 %, saját könyvek: 10 %, számítógép: 10 %, gépkocsi: 5 %

27 HEI példák Konkrétan: kompetenciameres2004.pdfkompetenciameres2004.pdf -72. o: háttérváltozók hatása -79. o: linearitás -96. o: számszerűsítés

28

29

30

31

32

33

34 Hozzáadott Pedagógiai Érték (HPÉ) A HEI alapján megállapítható a tanulóktól elvárható átlagos teljesítmény Def.: HPÉ = a tanulók tényleges és elvárható teljesítményének különbsége Tul.: -a HPÉ kb. – 200 és 200 közötti szám; -méri a hozzáadott pedagógiai munkát, -jellemzi az iskolát (pl. felszereltség), -s közvetetten a fenntartót is.

35 A modell érvényességi köre A modell érvényességi köre vitatható. Néhány probléma: -A háttérváltozóktól valóban lineárisan függ-e a tanulói teljesítmény; illetve -csak a vizsgált változóktól függ-e; -mintavételi és mérési hibák szerepe (speciálisan: adatfelvétel szubjektivitása)

36 HEI és HPÉ – olvasás-szöv.* 6.évf. HÉI 1,41 (2003)  1,10 (2004) HPÉ 76,7 (2003)  80,2 (2004) Várható - valós eredmény: 575 – évf. HÉI 1,1* (2004), HPÉ 107 Várható-valós eredmény: 554 – évf. HÉI 1,30 (2003)  1,22 (2004) HPÉ 79,8 (2003)  83,5 (2004) Várható - valós eredmény: 589 – 672

37 HEI és HPÉ – matematika* 6.évf. HÉI 1,41 (2003)  1,10 (2004) HPÉ 88,3 (2003)  70,7 (2004) Várható - valós eredmény: 571 – évf. HÉI 1,1* (2004), HPÉ 152 Várható-valós eredmény: 555 – évf. HÉI 1,30 (2003)  1,22 (2004) HPÉ 133 (2003)  144 (2004) Várható - valós eredmény: 587 – 732

38 HEI, HPÉ értékek elemzése Konkrét példák: OLV6.PDF stb.OLV6.PDF HEI: 1,10; 1,1*; 1,22  jól szituált szülők Jobb HEI indexű iskolák száma (becslés): 6.o: 40-50; 8.o: 60-70; 10.o: Ue. számolással: -1,1  86,4%  (2984 – 3004)  ,1*  86,4%  (3076)  ,22  88,9%  (1525)  169

39 HEI, HPÉ érdekességek HEI: életkorral nő; időben csökken 6-8. évf: a nálunk eredményesebben szereplő iskolák HEI indexe általában nagyobb (kivétel: 6.o. matematika) 6. és 8. évfolyamon mindkét tantárgyból a legszűkebb élmezőnybe még –1, –1,5 értékű HEI mutató körül is kerültek be iskolák (OLV8.PDF)OLV8.PDF

40 A középiskolai munka mutatói A könyv jellemzői

41 Statisztikák 725 iskola gimnázium, szakközépiskola, vegyes középiskola 273 különböző szempont szerinti eredményességi mutatók közlése

42 Hozzáadott érték sorrendek Fazekas M Piarista G Apáczai Cs Radnóti M. G. Szent István Révai M. G

43 A hozzáadott érték számításának paraméterei Bemeneti adatok: – az általános iskolai osztályzatok átlaga; – a szülők iskolaévei; – a szülők munkanélküliségi aránya. Eredményességi mutatók: – az F/L felvételi arány; – az Ny/J nyelvvizsgaarány; – az írásbeli felvételi dolgozatok ÍÁ átlaga.

44 Mutatók a Fazekasban 1. Bemenő adatok: Az általános iskolai osztályzatok átlaga (Fazekas: 4,80 ; mutató: 6-7.) A szülők iskolaévei (Fazekas: 15,94; mutató: 11.) A szülők munkanélküliségi aránya (Fazekas: 3,4 %; mutató: 20 – 24.)

45 Mutatók a Fazekasban 2. Kimenő (eredményességi) mutatók: Az F/L felvételi arány (Fazekas: 96,3 %; mutató: 1.) A nyelvvizsgaarány (Fazekas: 104,1 %; mutató: 5.) Az írásbeli felvételi dolgozatok átlaga (Fazekas: 11,0 pont; mutató: 2.)

46 A hozzáadott érték számításának módszerei módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - H1 = (B1 + B2 + B3)/3 – (K1 + K2 + K3)/3. (Fazekas: 5,7.)

47 A hozzáadott érték számításának módszerei módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - Sorba rendezés: B i a (B1 + B2 + B3)/3, K i a (K1 + K2 + K3)/3 alapján. - H2 = B i – K i (Fazekas: 0.)

48 A hozzáadott érték számításának módszerei módszer: - A bemeneti adatok szerinti helyezési számok: B1, B2, B3. - A kimeneti adatok szerinti helyezési számok: K1, K2, K3. - A bemeneti adatok szerinti helyezési átlag és a kimeneti adatok szerinti helyezési átlag százalékos viszonya: - H3 = B á /K á *100 = (Fazekas: 383 %.)

49 A hozzáadott érték számításának módszerei módszer: - Mind a hat mutató esetén egyenletes eloszlásban 7 csoportba rendezzük az iskolákat, ez alapján minden mutatóhoz közötti jelzőszámot rendelünk. (1 a legjobb.) - A bemeneti a. jelzőszámai: b1, b2, b3. - A kimeneti a. jelzőszámai: k1, k2, k3. - H4 = (b1 + b2 + b3)/3 – (k1 + k2 + k3)/3.

50 Érvényességi kör problémái Munkanélküliségi arány mint paraméter (Ellenőrizhetőség, jelentés, anyagi javak) Mj: szakközépiskolák Helyezési szám alapú összehasonlítás teljesítménymérés helyett Holtversenyt kezelő stratégia Erős bemeneti adatokkal rend. iskolák számára kedvezőtlenek a számítási módszerek (eredményességi korlát)