Nemzetközi vizsgálatok

Az előadások a következő témára: "Nemzetközi vizsgálatok"— Előadás másolata:

1 Nemzetközi vizsgálatok

2 IEA UNESCO javaslatára jött létre 1961-ben
International Association for the Evaluation of Educational Achievement Oktatási-nevelési eredmények nemzetközi értékelésének társasága UNESCO javaslatára jött létre 1961-ben Létrejöttének fő oka: szputynyik-sokk Cél: oktatási rendszerek vizsgálata Mérései: 1964: első felmérés 1970: természettudományok mérése (FISS) és tanulás környezeti feltételei (tanteremkutatások) (24 ország) 1980: II. Nemzetközi matematikai Vizsgálat (SIMS) 1983: II. természettudományok mérése (SISS) 1991: olvasás vizsgálat (alapműveltség nemzetközi éve) 1995: III. természettudományok mérése (TIMSS) (már 45 ország) 1999: III. Nemzetközi Mat. és term.tud. Vizsgálat ismétlés(TIMSS-R) 2003: III. Nemzetközi Mat. és term.tud. Vizsgálat trendkövetés (TIMSS-T) Mo: 1968-ban csatlakozik

3 Kutatási körülmények Nagy létszámú minta
Több korosztály (főleg alapfokú) Figyelembe vették a különbségeket: Lányok-fiúk között Települések szerint Teljesítmény- tanulási idő érdeklődés család szocioökonómiai státusza

4 TIMSS Célja, a 4. és 8. évfolyamon tanuló diákok
Trends in International Mathematics and Science Study (Nemzetközi Matematika- és Természettudományi Vizsgálat) Célja, a 4. és 8. évfolyamon tanuló diákok matematika és természettudományi ismereteit vizsgálja, illetve ezzel összefüggésben képet adjon az iskolai és otthoni tanítási-tanulási szokásokról.

5 Matematika 2007-ben 59 ország vett részt
Magyarországon diák töltötte ki (2007-ben) 4. évfolyamon 179, 8.éven 215 kérdést kellett kitölteniük, melyre 2*36, ill. 2*45 percük volt +háttérkérdőívek

6 Eredmények Magyarország (1995, 2003, 2007):
Szignifikánsan csökken az eredmény De még így kimagaslóak az eredmények: 8. évfolyamon a 6.helyen vagyunk, 4.évfolyamon is az átlag felett (15. helyezés)

7 Természettudomány Elő világ, fizika világ, földtudomány
174, ill. 214 kérdés Kimagaslóan jó eredmények, nemcsak a térségben, de a kontinenst tekintve is. 4. év: 9. helyezés (4 távol-keleti ország, Oroszo., Letto., Angol, USA után) 8.év: 6. hely (távol-keletiek, Anglia után) 4. éven folyamatos javulás 1995-höz képest! 508, 530, 536 pont 8.év: 537, 552 (1999), 543, 539 Feladatok:

8 PISA Programme for International Student Assessment nemzetközi tanulói tudásszintmérő program OECD kezdeményezése (Gazdasági Együttműködési és Fejlesztési Szervezet ) Cél: mérni, felkészítik-e az iskolák a gyerekeket a 21. sz. kihívásaira Újdonsága: nem lexikális tudást mér 3 évenként ismétlik Minta: 15 éves gyerekek Nagysága

9 Alapelv a PISA-vizsgálat nem nemzetek versenye, hanem egy olyan eszköz, amelynek segítségével a résztvevő országok oktatáspolitikusai időről időre képet kaphatnak közoktatásuk állapotáról, gyengeségeiről és erősségeiről, illetve arról, hogy az eredmények kapcsán vagy attól függetlenül bevezetett változtatások hogyan érhetők tetten az eredményekben.

10 PISA Minden vizsgálat olvasás + matematika + természettudományi felmérést tartalmaz, De minden felmérést másra hegyeznek ki 2000: olvasás 2003: matematika 2006: természettudományi

11 Felügyelet OECD Titkársága, székhelye Párizs. Főbb irányvonalait
a tagországok küldöttei és megfigyelői szabják meg. Minden országban egy központ felel a megvalósításért. Magyarországon: az OH Közoktatási Mérési és Értékelési Osztálya. A felmérés 4 x félórás tesztből áll perces háttérkérdőív kitöltéséből. Az eredményeket, értékeléseket a mérést követő évben teszik közzé.

12 Közoktatási Mérési és Értékelési Osztály véleménye
A magyar diákok jóval az átlag alatt teljesítettek szövegértésből, és csak kevéssel jobban matematikából és a természettudományokból is. A diákok negyede-ötöde egyáltalán nem érti, amit olvas.

13 A felmérés Tartalmi kerete Szövegértés
„… az írott szövegek megértése, felhasználása és az ezekre való reflektálás annak érdekében, hogy az egyén elérje céljait, fejlessze tudását és képességeit, és hatékonyan részt vegyen a mindennapi életben.” A szöveg formája: A szövegértési művelet típusa: A szöveg célja, a feladat kontextusa: Folyamatos Nem folyamatos Információ-visszakeresés Értelmezés Reflektálás Személyes Közösségi Munka és tanulás Példafeladatok:

14 A felmérés Tartalmi kerete Matematikai eszköztudás
„…olyan gondolkodásmód, amely hozzásegíti a diákokat a matematikailag leírható mindennapi problémák megértéséhez, modellezéséhez és megoldásához.” A feladat tartalmi kategóriája: A feladat készségosztálya: A feladat kontextusa: Mennyiség Változások és relációk Tér és alakzat Bizonytalanság Reproduktív Integratív Kreatív Személyes Közösségi, társadalmi Tudományos

15 Példafeladatok a matematika területéről (Valutaárfolyam)
A szingapúri Mei-Ling cserediákként három hónapra Dél-Afrikába készül. Szingapúri dollárt (SGD) kellett dél-afrikai randra (ZAR) váltania. 1. kérdés Mei-Ling megtudta, hogy a szingarpúri dollár és a dél-afrikai rand közötti átváltási arány a következő: 1 SGD = 4,2 ZAR Mei-Ling 3000 szingarpúri dollárt váltott dél-afrikai randra ezen a valutaárfolyamon. Mennyi pénzt kapott Mei-Ling dél-afrikai randban? Válasz: ZAR (mértékegység nem szükséges) Tartalmi terület: mennyiség Műveleti csoport: reproduktív Kontextus: közösségi Feladatforma: rövid válasz 2. kérdés Amikor Mei-Ling 3 hónap után visszatért Szingapúrba, még maradt ZAR-ja. Ezt visszaváltotta szingarpúri dollárra és észrevette, hogy a valutaárfolyam megváltozott: 1 SGD = 4,0 ZAR Mennyi pénzt kapott Mei-Ling szingarpúri dollárban? Válasz: 975 SGD (mértékegység nem szükséges) Tartalmi terület: mennyiség Műveleti csoport: reproduktív Kontextus: közösségi Feladatforma: rövid válasz

16 Példafeladatok a matematika területéről Betörések
Egy tévériporter az alábbi diagramot mutatva a következőket mondta: „A diagram szerint a betörések száma óriásit nőtt 1999-ben 1998-hoz képest.” Tartalmi terület: bizonytalanság Műveleti csoport: integratív Kontextus: személyes Feladatforma: nyílt végű Mit gondolsz, helyesen értelmezte a riporter a diagramot? Válaszodat indokold is meg! Értékelés: 2 pont - „Nem, nem értelmezte helyesen”, Rámutat, hogy a diagramnak csak egy kis része látható, VAGY hogy az arányos ill. százalékos növekedés nem nagy, VAGY hogy tendenciára vonatkozó adatokra volna szükség. 1 pont – „Nem, nem értelmezte helyesen”, de hiányoznak a magyarázat részletei. (pl. a betörések száma közti különbséggel foglalkozik, és nem veti ezt össze a betörések teljes számával )

17 A felmérés Tartalmi kerete Természettudományos eszköztudás
“…az a képesség, amely segítségével természettudományos ismeretekből tényeken alapuló következtetéseket vagyunk képesek levonni annak érdekében, hogy megértsük a természetet, és döntéseket hozhassunk a világról és mindazokról a változásokról, amelyeket az emberi tevékenység a világban okoz.” A feladat tartalmi kategóriája: tudásterületek és a természettudományok ismerete A gondolkodási művelet típusa: A feladat kontextusa: Fizikai rendszerek Élő rendszerek A Föld és a világegyetem rendszerei Természettudományos kutatás Természettudományos magyarázatok A természet- és műszaki tudományok a társadalomban Természettudományos problémák felismerése Természettudományos jelenségek leírása, magyarázata és előrejelzése Következtetések levonása természettudományos bizonyítékok felhasználása alapján Személyes Társadalmi Globális

18 Szövegértés eredmények Az országok teljesítmény-eloszlása a képességskálán
Konfidencia szint = megbízhatósági szint Intervallum hány % os valószínűséggel tartalmazza a jellemzőt? Adott: az intervallum és a konfidencia szint (valószínűség)  = szignifikancia szint / mindig a hibalehetőség valószínűsége (pl. nem tartalmazza) (1 - ) = konfidencia szint Az átlag körüli 95%-os konfidencia-intervallum A populáció 90%-át tartalmazó intervallum

19 Képességszintek Kutatások is bizonyították, hogy az átlagosnál egyszórásnyival magasabb képzettségű emberek hatása a gazdasági növekedésre hatszor akkora, mint azoké, akiknek a képzettsége egyszórásnyival az átlag alatt van

20 Képességszintek Egy ország átlageredményéből nem tudjuk meghatározni, mekkora a legjobban teljesítők aránya az adott országban. Például, 2006-ban Korea 522 pontos átlageredménye az egyik legjobb természettudományi eredmény, míg az Egyesült Államok 489 pontos teljesítménye gyengébb az OECD-országok átlagánál. Mindezek ellenére a 6. képességszintbe a diákok ugyanakkora hányada tartozik az Egyesült Államokban, mint Koreában.

21 1. képességszint (358-420 pont alatt)
Az 1. szinten teljesítő diákok képesek arra, hogy olyan ismerős helyzetekre, összefüggésekre vonatkozó kérdéseket válaszoljanak meg amelyek megfogalmazása könnyen érthető, és a válaszhoz szükséges információk rendelkezésükre állnak. Közvetlen utasításokat követve rutinszerű eljárásokat tudnak alkalmazni egyértelmű helyzetekben. Képesek olyan egyértelmű lépések megtételére, amelyek nyilvánvalóan következnek a feladat kontextusából.

22 2. képességszint (420–482 pont között)
A 2. szinten teljesítő diákok képesek a feladathelyzetből közvetlenül megérthető szituációk átlátására és értelmezésére. Képesek arra, hogy egyetlen forrásból megszerezzék a szükséges információkat, és egyetlen reprezentációt alkalmazzanak. Ezen a szinten a diákok egyszerű algoritmusokat, képleteket, eljárásokat és szokványos megoldási technikákat vesznek igénybe. Képesek egyszerűen érvelni és szó szerint értelmezni eredményeiket.

23 3. képességszint (482–544 pont között)
A 3. szinten teljesítő diákok képesek egyértelműen leírt eljárások elvégzésére, amelyek szekvenciális döntési pontokat is magukban foglalhatnak. Egyszerű problémamegoldó stratégiákat tudnak kiválasztani és alkalmazni. Ezen a szinten a diákok különböző információforrásokon alapuló reprezentációkat értelmeznek és alkalmaznak, majd ezek alapján érveket fogalmaznak meg. Képesek arra, hogy röviden leírják értelmezésüket, eredményeiket és gondolatmenetüket.

24 4. képességszint (544–606 pont között)
A 4. szinten teljesítő diákok hatékonyan tudnak alkalmazni konkrét szituációkat egyértelműen leíró modelleket, amelyek megalkotása szükségessé teheti a modellek alkalmazhatósági feltételeinek meghatározását. Képesek arra, hogy kiválasszanak és egyesítsenek különböző, akár szimbolikus reprezentációkat, és közvetlenül összekapcsolják azokat a valóságos szituációk különböző aspektusaival. Ezen a szinten a diákok képesek rugalmasan érvelni és korlátozott mértékben értelmezni szituációkat. Pontosan meg tudják fogalmazni a probléma értelmezésén és az elvégzett lépéseken alapuló magyarázataikat és érveiket.

25 5. képességszint (606–668 pont között)
Az 5. szinten teljesítő diákok képesek arra, hogy egy összetett problémára modellt alkossanak, majd azt úgy alkalmazzák, hogy meghatározzák a modell alkalmazhatóságának feltételeit. A modellekhez kapcsolódó összetett problémák lehetséges megoldási módjait képesek kiválasztani, összehasonlítani és értékelni. A diákok követni tudják a kiválasztott megoldási stratégiát, és ehhez felhasználják széles körű és magas szintű gondolkodási és érvelési képességeiket, készségeiket, a megfelelő reprezentációkat, szimbolikus és formális leírásokat és a szituáció értelmezését. Reflektálnak az elvégzett lépésekre, és meg tudják fogalmazni értelmezésüket és gondolatmenetüket.

26 6. képességszint (668 pont felett)
A 6. szinten teljesítő tanulók képesek összetett problémák vizsgálatából és modellezéséből kapott információk értelmezésére, általánosítására és felhasználására. Képesek a különböző információforrásokat és reprezentációkat összekapcsolni és egymásnak megfeleltetni. Ezen a szinten a diákok fejlett matematikai gondolkodásra és érvelésre képesek. Ötleteiket és meglátásaikat arra használják, hogy a szimbolikus és formális matematikai műveletek és kapcsolatok magas szintű alkalmazásával újszerű szituációk megoldására új megoldási módokat és stratégiákat alkossanak. Pontosan meg tudják fogalmazni lépéseiket, az eredményeikkel és azok értelmezésével kapcsolatos gondolataikat, továbbá az eredményeket az eredeti probléma szempontjából tudják vizsgálni, értelmezni.

27 A szövegértési szintek és az egyes szinteken lévő tanulók képessége
10% (4,9) 5. szint 22% (17,6) 4. szint 29% (30,2) 3. szint 22% (26,7) 2. szint 12% (14,4) 1. szint OECD átlag 6% (6,1) 1. szint alatt

28 Magyarország esetében
5. szint: diákok 4,9 %-a 4. szint: diákok 17,6 %-a 3. szint: diákok 30,2 %-a 2. szint: diákok 26,7 %-a 1. szint: a diákok 14,4-a 1. szint alatt: a diákok 6,1 %-a

29 Szövegértés eredmények Az egyes képességszinteken teljesítő diákok aránya
1.szint alatt

30 Matematika eredmények Az országok teljesítmény-eloszlása a képességskálán
Az átlag körüli 95%-os konfidencia-intervallum A populáció 90%-át tartalmazó intervallum

31 A matematika szintek és az egyes szinteken lévő tanulók képessége
4% (2,5) 6. szint 10% (8,2) 5. szint 18% (18,2) 4. szint 22% (24,3) 3. szint 21% (23,8) 2. szint 15% (15,2) 1. szint 11% (7,8) OECD 1. szint alatt

32 Matematika eredmények Az egyes képességszinteken teljesítő diákok aránya
1.szint alatt

33 Iskolatípusokként

34 Iskolatípusokként

35 Eredmények 2003 41 ország vett részt. Magyarország eredménye:
az olvasási, szövegértési képességek: 25. problémamegoldó képességek: az alkalmazott matematikai tudás: 25. természettudományos ismeretek alkalmazásánál: 17.

36

37 2006 51 ország vett részt

38 2006

39 Magyar természettudomány-oktatás
kevesebb aggodalomra ad okot, mint a szövegértésé és a matematikáé. A leszakadók aránya viszonylag alacsony (15%, szemben a szövegértéssel és a matematikával, ahol meghaladja a 20%-ot), és a lemaradó diákok teljesítménye is jobb, mint a legtöbb ország hasonló helyzetben lévő diákjaié, egy részük felzárkóztatása tehát nem reménytelen. Az országok egy másik csoportjában, ahová Franciaország, Ausztria, Csehország, az Egyesült Államok és Belgium tartozik, a jobb átlageredmény ellenére több diákot fenyeget a leszakadás veszélye. Igaz, ezekben az országokban a kiemelkedő eredményt elért diákok aránya is magasabb, így a társadalom és a gazdaság szélesebb szakemberbázisra támaszkodhat majd

40 .

41 Jövedelemhez viszonyított eredmény
A pontokra illesztett egyenes alatt található országok rosszabb, a felette elhelyezkedők jobb eredményt értek el, mint ahogyan az a gazdasági mutatóik alapján várható volt. Magyarország mindkét esetben az egyenes felett látható. De nem a magyar oktatási rendszer hasznosítja annyira jól az állami ráfordításokat, Hanem Magyarországon annyira alacsony a két vizsgált gazdasági mutató értéke az OECD-országok többségéhez képest, hogy ahhoz viszonyítva a magyar oktatás színvonala törvényszerűen magasabb.

42 Az egy főre jutó nemzeti jövedelem függvényében OECD-országok természettudományi eredményeit.

43 egy diákra eső ráfordítás függvényében

44 Anyagi ráfordítás - konklúzió
a viszonylag alacsony oktatási ráfordítás és a közoktatás gyengébb teljesítménye között nincs feltétlenül ok-okozati kapcsolat. Az oktatási ráfordítás a jó tanulói teljesítmények elengedhetetlen feltétele ugyan, de önmagában nem garantálja a magas színvonalú közoktatást

45 PIRLS vizsgálat 4. osztályosok olvasását méri
Progress for International Reading Literacy Study Nemzetközi Felmérés a Tanulói Olvasásteljesítmény Követéséért A vizsgálat célja a 9 és 10 évesek olvasás- szövegértési képességének, illetve az otthoni és az iskolai olvasás-tanulási szokásaik vizsgálata.  4. osztályosok olvasását méri „4. osztály az olvasástanítás kritikus pontja, ugyanis eddig a gyerekek olvasni tanultak, ezután annak érdekében olvasnak, hogy tanuljanak.”

46 Története Előzménye: ben az IEA Reading Literacy Study elnevezésű vizsgálata 32 résztvevőnek (Magyarország is) 2001-ben volt az ismételése az IEA 1991-es szövegértési vizsgálatnak, amelyben országunk szintén részt vett. Ez a felmérés volt az ún. PIRLS-Trend – vizsgálat (Trends in Children’s Reading Literacy Achievement ). 2006-ban már 45 ország részvételével zajlott

47 Eredmények A 2001-s vizsgálat eredményeként számítottak egy nemzetközi átlagot (500 pont) Magyaroszág: 543 pont 2006-ban is maradt az 500 pont, de ez már nem nemzetközi átlag, viszont alkalmas a fejlődés mérésére. Magyarország eredménye kimagasló (551 pont), csak 4 ország teljesített jobban, 11 ország hasonlóan, 30 gyengébben Javult az eredmény 2001-hez viszonyítva (16.oldal) Javulás: 18.oldal Oroszországban oktatási reformot hajtottak végre, a korábbi 3 éves alsófokú képzést 4 évre emelték, 6 éves beiskolázást 7 évre, így az ált. iskolában töltött évek 10,3 évről 10,8 évre nőtt. Ez magyarazza a hatalmas fejlődést. A lányok minden országban jobban olvasnak mint a fiúk.

48 Felmérés Felmérés 2 x 40 perc
–n elérhetőek a korábbi feladatlapok ( újra már nem fogják felhasználni őket) Az IEA-PIRLS háttér-információkat is gyűjt: A tanulók, szüleik, a mintába bekerült osztály tanítója és az iskolaigazgató is kap egy kérdőívet.

49 Feladatok Feladatai: jellemző a változatos feladatforma,
különböző gondolkodási műveletek végrehajtására ösztönzőek, különböző olvasási célú szövegek: irodalmi élményszerzésre, információszerzésre és felhasználásra íródott szövegek.

50 Gondolati műveletek konkrét információk felismerése és visszakeresése
egyenes következtetések levonása, ok-okozati összefüggések felismerése adatok, gondolatok értelmezése, összefoglalása, a szöveg átfogó üzenetének, témájának megállapítása a szöveg nyelvi, tartalmi és szerkesztésbeli elemeinek megállapítása, információk értékelése, a történetben szereplő esemény valószínűségének felismerése

51 Érdekességek A lányok minden országban jobban olvasnak mint a fiúk.
Magyarországon a diákok lényegesen jobban teljesítenek az élményszerző szöveg megértésében, mint információszerző szövegek megértésében. 2001-hez képest mindkét területen javult a helyzet, de csak az élményszerzőn szignifikánsan.

52 PIRLS kontra PISA PIRLS szövegértés meghatározása:
„Olyan nyelvi alakok megértésének és használatának a képessége, amelyeket a társadalom megkíván, és amelyeknek az egyén jelentőséget tulajdonít. A fiatal olvasók sokféle szövegből képesek jelentést alkotni. Olvasnak, hogy tanuljanak, hogy részt vegyenek az olvasók közösségeiben, az iskolában, a hétköznapokban, valamint olvasnak pusztán kedvtelésből.”

53 PIRLS kontra PISA PISA szövegértés meghatározása:
„ Írott szövegek megértése, felhasználása és az ezekre való reflektálás annak érdekében, hogy ezáltal az egyén elérje céljait, fejlessze tudását és képességeit, és hatékonyan részt vegyen a mindennapi életben.”

54 OKOK A magyar nyelv és irodalom oktatásának nem elsődleges célja a szövegértés fejlesztése az irodalomoktatás főleg az élményszerző szövegek értését erősíti ezért a tudományos szövegek megértése nem fejlődik más országok ütemében a szövegértés fejlesztése egyik tantárgynak sem része tantervi kettősség: 4. osztályig fejlesztés felsőbb évfolyamokon tananyagtanítás sem kedvez a PISA eredményeknek

55 Hazai vizsgálatok Az első nagyszabású olvasásvizsgálat:
1962 Központi Statisztikai Hivatal felmérése Ki-mit olvas kérdésre összpontosítva Országos Közoktatási Intézet Értékelési és Érettségi Vizsgaközpont 1986 óta Monitor vizsgálatok

56 Monitor kutatások Reprezentatív
Általános iskolák esetén településtípus szerint Középiskoláknál iskolatípusonként 4., 6., 8., 10., 12. évfolyamon

57 Monitor kutatások Országos szintű tanulói teljesítménymérés
olvasás-szövegértés, matematikai és számítástechnikai-informatikai terén Az országos felmérés célja: az oktatáspolitika és a szakma számára empirikus adatokon alapuló információ álljon rendelkezésre. 1986, 1991, 1993, majd 2 évente Utoljára 2005-ben volt ilyen típusú mérés.

58 Példa az eredményekből
Az ismétlődő feladatokat sikeresen megoldó nyolcadik osztályos tanulók arányának változása az 1991-es és az 1995-ös Monitor vizsgálatokban (a változás mértéke %-ban) Olvasás Matematika Budapest –9,25 –2,39 Megyei jogú városok –9,93 –0,92 Egyéb városok –11,91 –4,95 Községek –13,07 –4,52 Országos átlag –11,98 –3,24

59 Példa az eredményekből
A Monitor vizsgálat hídfeladatait sikeresen megoldók százalékos arányának változása településtpusonként 1995 és 1997 között Olvasás Matematika 4. 8. 10. 12. évf. évfolyam Budapest 7,38 0,69 –3,84 7 –1,69 4,13 –3,03 –0,42 Megyeszékhely 5,81 1,29 –7,13 4,03 –6,18 1,59 –1,60 –4,27 Egyéb város 2,13 –1,56 –5,24 2,64 –7,54 –1,14 –3,74 –4,3 Község 5,65 –1,36 – –4,96 –0,72 Országos átlag 5,1 0,25 –5,7 4,59 –5,46 0,23 –2,82 –3,05

60 A tanulók teljesítménye (1999)
Szövegértés Teljes populáció Főváros Köszségek összes dokumentum elbeszélő magyarázó Átlag 55,7% 50,1% 59,0% 60,3% 65,9% 67,1% 43,4% 51,6% 52,9%                 Számítástechnika Összpont Hardver Szoftver Fogalmak Egyéb elmélet 61,1% 62,2%  61,0% 60,7% 

61 Számítástechnika

62 Matematika

63 Természettudomány