Tájékoztató a TDK- eredményességi mutatóiról Dombi József Egyetemi tanár 2012, Győr.

Az előadások a következő témára: "Tájékoztató a TDK- eredményességi mutatóiról Dombi József Egyetemi tanár 2012, Győr."— Előadás másolata:

1 Tájékoztató a TDK- eredményességi mutatóiról Dombi József Egyetemi tanár 2012, Győr

2 TDK és OTDK Kétszintű verseny Intézményenként TDK, 3 helyi forduló OTDK kétévente OTDK XXXI. megmérettetés, 62 év 2012, Győr

3 Díjak Első, második, harmadik helyezés Pro Scientia Aranyérem Minőségbiztosított tudományos fórum – A díjak száma korlátozott – OTDT felügyeli (országosan elismert szakemberek) Verseny – Hallgatók értékelése (explicit eredmény) – Intézmények értékelése (implicit eredmény) 2012, Győr

4 Rangsorolás Rangsorolások hatása a rangsoroltakra – Versenyt indukál – Alá- és fölérendeltséget határoz meg – Érzelmi hatás (büszkeség és csalódás) – Teljesítmény ösztönzés Rangsorolások társadalmi igénye – Több szempont redukálása – Döntések egyszerűsítése – Szakemberek részvétele (átvállalják a felelősséget) – Objektivitást sugall 2012, Győr

5 Rangsorok negatív hatásai – Sokszínűség egydimenzióssá redukálása – Rangsorok változékonyak – A rangsorok a valóságot torzítják – Érzéketlenek az értékelések különbségére 2012, Győr

6 Rangsorok negatív hatásai – Rangsorok visszahatnak a rangsoroltakra – Rosszul konstruált rangsorok torzítják a résztvevők attitűdjeit, a rangsorkészítés fő szempontjaihoz igazítják tevékenységüket – Szubjektív szempontok érvényesülhetnek 2012, Győr

7 Negatív hatások kiküszöbölése Negatív hatás kiküszöbölése ―Objektumok kategorizálása, csoportosítása ―Rangsorok helyett csoportok sorrendje Sokszínűség megtartása: több rangsor alkalmazásával Mutatók alkalmazása 2012, Győr

8 Rangsorok elvi háttere Az értékelők és értékeltek függetlensége. Az értékelés szempontjai előre meghatározottak. Az értékelés elemeinek egymáshoz való relatív fontossága előre meghatározott. Az értékelés elkészítésének eljárása előre meghatározott. 2012, Győr

9 Rangsorok elvi háttere Az értékelés elméleti szempontból megalapozott, azaz a matematikai konzisztencia-feltételeknek eleget tesz. A rangsor gyakorlati szempontból ellenőrzött, azaz a rangsorban előbb lévők idővel bizonyítják megelőlegezett értékelésüket. A rangsor stabil az értékelésben, azaz az értékelési szempontok alapján való kis változásra érzéketlen. A rangsor időben stabil, azaz az értékelési sorrendek az időben lassan változnak. 2012, Győr

10 Rangsorok és a felsőoktatás A továbbtanulási döntéseket befolyásolja Hallgatók és szülők Intézményi támogatásra hatással van A felsőoktatási intézmény értékelésének egydimenziós projekciója Rangsorok helyett minősítések 2012, Győr

11 Rangsorok alapjai Oktatási tevékenység Tudományos tevékenység Egyéb szempontok a felsőoktatási intézmény választásához – Infrastruktúra (épületek, eszközállomány, könyvtár, informatikai háttér) – Szociális ellátottság (kollégiumok, diákélet) 2012, Győr

12 Oktatás és tudomány Tudományos teljesítmény kap hangsúlyt Következmény: az egyetem „tudásgyárrá” válik, oktatás másodlagos Oktatási teljesítmény kap hangsúlyt Következmény: a tudomány fejlődésétől elmarad, esetleg több évtizedes, elavult tudást ad át 2012, Győr

13 Rangsorok hatása Pozitív visszacsatolást generál (önbeteljesítő prófécia) Egy jó intézménybe jobb képességű diákok jelentkeznek, és az intézmény jobbá válik A pozitív visszacsatolás előnyös, mert az intézményi evolúciót erősíti A pozitív visszacsatolás hátrányos, mert az intézmények létrejöttét gátolja 2012, Győr

14 Intézményt minősítő mérőszámok A TDK sikere abban rejlik, hogy az intézményektől függetlenül méri a diákok teljesítményét! Amennyiben a TDK alapján készült intézményi rangsor állami támogatások direkt meghatározója, az intézmények az objektív ítélkezés helyett saját érdekeiket veszik figyelembe, az értékelés szubjektívvá válhat 2012, Győr

15 Az OTDK, mint intézményi mérőszám Az intézményi rangsor tudományos és oktatói teljesítményt vesz figyelembe Az OTDK eredmény mindkettő tevékenységet méri 2012, Győr

16 Adatelemzés Három OTDK forduló adatbázisa (karonként) – Intézményi résztvevők száma – Első helyezettek száma – Második helyezettek száma – Harmadik helyezettek száma – Pro Scientia díjazottak száma Intézmények létszámadatbázisa (karonként) 175 kar szerepel 2012, Győr

17 Résztvevők száma 1. Résztvevők számának figyelembe vétele az értékelést torzítja A részvevők száma 98%-os korrelációt mutat a helyezésekkel Nem szükséges figyelembe venni a résztvevők számát! 2012, Győr

18 Résztvevők száma 2. Átlagosan a pontok 2/3-át a hallgatói részvételre adott pontok adják 2012, Győr a korábbi javaslat alapján # : hallgatói létszámra kapott pontszám aránya az összpontszámon belül egy-egy intézményre, például minimum 30.77%, maximum 100% adódott a jelenlétből (tehát volt olyan intézmény, amely csak a hallgatói jelenlétre kapott pontot)

19 Résztvevők száma 3. 19 intézmény kapott pontot csak hallgatói részvételre, ez ~10% 60 intézmény legfeljebb 3 eredménypontot ért el, ez ~1/3 82 intézmény legfeljebb 6 eredménypontot ért el, ez ~50% 2012, Győr A korrelálatlan komponenseknek kell a döntésben szerepet játszaniuk Az eredménypontozás az új súlyozással történt

20 Új pontozási rendszer pontozási stabilitása és részvevők száma A pontozás stabil, abban az értelemben, hogy ha elhagyjuk a hallgatókért kapott pontszámokat az első 9 helyezett ugyanaz marad, vagyis a legjobbak akkor is a legjobbak maradnak ha csak eredménypontokat kapnak 2012, Győr Az eredménypontozás az új súlyozással történt

21 Új pontozási rendszer 2012, Győr A paraméterezés lexikografikus döntések témakörben publikált eredmények figyelembe vételével történt

22 OTDK pontozási súlyozásának időbeli változása Ha az intézmények néhány év alatt radikális minőségi változáson esnek át, akkor a súlyozásnak ezt tükröznie kell Amennyiben ezek a változások lassú folyamatok, és csak az utolsó pár év adatai állnak rendelkezésre, a súlyozás azonosnak választandó Az utolsó 6 évben ilyen radikális változással nem számoltunk 2012, Győr

23 Pro Scientia pontozása A Pro Scientia kiemelkedő tudást reprezentál – A Pro Scientia díj a hallgatóra vonatkoztatható? – A Pro Scientia díj az intézményre vonatkoztatható? A Pro Scientia értékelése duplája az első helyezett értékének A Pro Scientia érmesek jelentősen befolyásolhatják a rangsort 2012, Győr

24 Javaslat jövőbeni pontozási paraméterre, leíró statisztikai kiértékelés Pro Scientia díj eloszlása: - Összesen 140 Pro Scientia díjat osztottak ki, 55 kar kapott ilyen díjat A karok ~1/3-a tudományos csúcsteljesítményt nyújtott - Az első 9 helyezett 60 díjat kapott ez a díjak ~40%-a A legkiválóbb hallgatók a legjobb egyetemekre mennek! - Kiemelkedik az ELTE teljesítménye: ELTE TTK 19 díj (a többi TTK összesen 12 díj), ELTE BTK 10 díj ELTE TTK+ELTE BTK együttesen a díjak ~20%-át kapta. 2012, Győr

25 Pro Scientia díj rangsorbeli változáselemzése A pontozás stabil abban az értelemben, hogy Pro Scientia =0 pont esetén az intézmények ~80%-a legfeljebb 3 hellyel mozdul el az értékpontozáshoz képest A pontozási javaslat vesztesei, akik legtöbbet rontottak rangjukon: A pontozási javaslat nyertese, aki legtöbbet javított rangján: 2012, Győr ME MAK15 hely SE GYTK16,5 hely KRE HTK17 hely BCE KIK26 hely OKFDK42 hely

26 Javaslat jövőbeni pontozási paraméterre, a javaslat pontozási stabilitása Pro Scientia = 0 pont mellett az első 8 helyezett ugyanaz marad 2012, Győr

27 A Pro Scientia hatása a helyezésre a legjobb 8 kar esetén intézmény érték_pro_sci_0 intézmény érték 1ELTE TTK1219,1141ELTE TTK1269,7300 2SZTE TTIK2164,5022SZTE TTIK2180,4860 3ELTE BTK3132,8673ELTE BTK3159,5070 4SZTE BTK498,2354SZTE BTK4108,8910 5PTE BTK565,2685DE BTK574,2590 6DE BTK658,2756PTE BTK673,2600 7DE TTK757,9427BME VIK771,9280 8BME VIK855,9448DE TTK863,2700 2012, Győr

28 Pro Scientia díj figyelembe vétele rangsorkészítésnél Pro Scientia díj figyelmen kívül hagyása az intézmények nagy részét nem érinti Néhány intézmény helyezésében jelentős a változás Az intézményi rangsor kialakításában a ritkán előforduló rendkívüli teljesítmény esetleges A Pro Scientia díj inkább hallgatói díj, mint intézményi 2012, Győr

29 Kategóriák bevezetése A stabilitás növelése céljából kategóriák kerültek bevezetésre – Kiemelkedő – Jelentős – Közepes – Fejlesztendő – Értékelhetetlen 2012, Győr

30 Kategóriahatárok Pro Scientia nélkülPro Scientiával 4,62%5,20% 9,25%10,40% 15,03%14,45% 19,08%21,39% 41,04%37,57% 10,98% 2012, Győr

31 Kategóriahatárok meghatározása A pontozásban a hirtelen változások határozzák meg a kategóriahatárokat Matematikai analízis szükséges Az adatbázis alapján a következő eredmények adódtak, kerekítve 2012, Győr

32 Kategóriahatárok értékei kiemelkedő minősítést a karok 5%-a, jelentős minősítést a karok 10%-a, jó minősítést a karok 15 %-a, közepes minősítést a karok 20 %, fejlesztendő minősítést a karok 40 %-a, értékelhetetlen minősítést a karok 10%-a kapott (a három vizsgált OTDK-n nem értek el helyezést). 2012, Győr

33 Elemzés eredménye Budapesti Corvinus Egyetem Gazdálkodástudományi Kar (BCE GTK) Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar (BME VIK) Debreceni Egyetem Bölcsészettudományi Kar (DE BTK) Debreceni Egyetem Természettudományi és Technológiai Kar (DE TTK) Eötvös Loránd Tudományegyetem Bölcsészettudományi Kar (ELTE BTK) Eötvös Loránd Tudományegyetem Természettudományi Kar (ELTE TTK) Pécsi Tudományegyetem Bölcsészettudományi Kar (PTE BTK) Szegedi Tudományegyetem Bölcsészettudományi Kar (SZTE BTK) Szegedi Tudományegyetem Természettudományi és Informatikai Kar (SZTE TTIK) 2012, Győr Kiemelkedő minősítés, karokra nem bontható intézmények, karok:

34 Elemzés eredménye Budapesti Corvinus Egyetem Társadalomtudományi Kar (BCE TK) Budapesti Műszaki és Gazdaságtudományi Egyetem Építészmérnöki Kar (BME ÉSZK) Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar (BME GÉK) Budapesti Műszaki és Gazdaságtudományi Egyetem Természettudományi Kar (BME TTK) Budapesti Műszaki és Gazdaságtudományi Egyetem Vegyészmérnöki és Biomérnöki Kar (BME VBK) Eötvös Loránd Tudományegyetem Állam- és Jogtudományi Kar (ELTE ÁJK) Eötvös Loránd Tudományegyetem Pedagógiai és Pszichológiai Kar (ELTE PPK) Pázmány Péter Katolikus Egyetem Bölcsészettudományi Kar (PPKE BTK) Pázmány Péter Katolikus Egyetem Jog- és Államtudományi Kar (PPKE JÁK) Pécsi Tudományegyetem Állam- és Jogtudományi Kar (PTE ÁJK) Pécsi Tudományegyetem Természettudományi Kar (PTE TTK) Semmelweis Egyetem Általános Orvostudományi Kar (SE ÁOK) Semmelweis Egyetem Testnevelési és Sporttudományi Kar (SE TSK) Szent István Egyetem Gazdaság- és Társadalomtudományi Kar (SZIE GTK) Szent István Egyetem Mezőgazdaság- és Környezettudományi Kar (SZIE MKK) Szegedi Tudományegyetem Állam- és Jogtudományi Kar (SZTE ÁJK) Szegedi Tudományegyetem Juhász Gyula Pedagógusképző Kar (SZTE JGYPK) Zrínyi Miklós Nemzetvédelmi Egyetem Kossuth Lajos Hadtudományi Kar (ZMNE KHK) 2012, Győr Jelentős minősítésű karokra nem bontható intézmények, karok:

35 Elemzés eredménye Budapest Corvinus Egyetem Élelmiszertudományi Kar (BCE ÉTK) Budapesti Corvinus Egyetem Kertészettudományi Kar (BCE KERTK) Budapesti Műszaki és Gazdaságtudományi Egyetem Építőmérnöki Kar (BME ÉŐK) Budapesti Műszaki és Gazdaságtudományi Egyetem Gazdaság- és Társadalomtudományi Kar (BME GTK) Debreceni Egyetem Állam – és Jogtudományi Kar (DE ÁJK) Debreceni Egyetem Általános Orvostudományi Kar (DE ÁOK) Debreceni Egyetem Gazdálkodástudományi és Vidékfejlesztési Kar (DE GVK) Debreceni Egyetem Mezőgazdaság-, Élelmiszertudományi és Környezetgazdálkodási Kar (DE MÉK) Eszterházy Károly Főiskola Bölcsészettudományi Kar (EKF BTK) Kaposvári Egyetem Állattudományi Kar (KE ÁTK) Miskolci Egyetem Állam- és Jogtudományi Kar (ME ÁJK) Miskolci Egyetem Gazdaságtudományi Kar (ME GTK) Magyar Képzőművészeti Egyetem (MKE) Pannon Egyetem Gazdaságtudományi Kar (PE GK) Pannon Egyetem Mérnöki Kar (PE MK) Pázmány Péter Katolikus Egyetem Információs Technológiai Kar (PPKE ITK) Pécsi Tudományegyetem Általános Orvostudományi Kar (PTE ÁOK) Pécsi Tudományegyetem Közgazdaságtudományi Kar (PTE KTK) Pécsi Tudományegyetem Művészeti Kar (PTE MK) Rendőrtiszti Főiskola (RTF) Széchenyi István Egyetem Műszaki Tudományi Kar (SZE MTK) Szent István Egyetem Állatorvos-tudományi Kar (SZIE ÁOTK) Szegedi Tudományegyetem Általános Orvostudományi Kar (SZTE ÁOK) Szegedi Tudományegyetem Gazdaságtudományi Kar (SZTE GTK) Zrínyi Miklós Nemzetvédelmi Egyetem Bolyai János Hadmérnöki Kar (ZMNE BKMK) 2012, Győr Jó minősítésű karokra nem bontható intézmények, karok:

36 Pontszámok alakulása (belső információk) 2012, Győr ELTE TTK270 SZTE TTIK180 ELTE BTK160 SZTE BTK109 DE BTK74 PTE BTK73 BME VIK72 DE TTK63 BCE GTK59 SE ÁOK58 BME GÉK54 ELTE ÁJK52 ZMNE KHK52 BME VBK51 PPKE BTK47 PTE TTK45 BME TTK43 SZIE MKK40 ELTE PPK40 BCE TK37 SZTE ÁJK37 PPKE JÁK35 SZIE GTK35 PTE ÁJK35 SE TSK35 BME ÉSZK32 SZTE JGYPK31 RTF29 BME GTK29 ZMNE BKMK29 ME GTK28 BCE ÉTK28 PTE KTK27 BME ÉŐK27 SZIE ÁOTK28 DE ÁOK27 PTE ÁOK27 BCE KERTK27 DE GVK25 SZTE GTK25 PTE MK24 PPKE ITK24 SZTE ÁOK23 DE ÁJK21 ME ÁJK21 PE GK20 EKF BTK19 MKE19 DE MÉK18 SZE MTK18 PE MK17 KE ÁTK17 ME MAK16 NYME FMK16 ELTE IK16 ME MFK15 MOME15 SZE ÁJK15 PE GTK14 DE KTK14 BCE KTK14 BME KSK14 BCE TÁJK13 KRE BTK13 OE NIK13 PE MIK13 EKF TKTK12 ME BTK12 NYME EMK12 ELTE TÁTK12 EKF TTK11 NYME MÉK11 ME GÉK11 ETDK RHK11 BKF KMK10 KRF GTK9 SE ETK9 NYME MNSK9 ELTE TÓK9 NYF BTMK9 PTE FEEK8 SZTE MK8 SZIE YMÉK8 NYME KTK7 KF TFK7 SZIE PK7 PE MFTK7 BGF KKK7 SZIE GÉK7

37 Pontszámváltozás Exponenciális csökkenés! 2012, Győr

38 További feladatok Az intézményi létszám és az eredményesség vizsgálata A Pro Scientia csökkentett értékkel való figyelembe vétele A konkurencia nélküli karok egyedi értékelése A verseny erősségének figyelembe vétele 2012, Győr

39 A dolgozatok pontszámelemzése, az intézményi összlétszám mint lehetséges komponens figyelembevételének vizsgálata - Az intézmények létszáma és eredménypontszáma közötti korreláció ~50% - Elmondható, hogy nincs összefüggés az intézményi hallgatói létszám és a teljesítmény között - A legkiválóbbakra ez még inkább igaz, vagyis a teljesítményük a minőségi munka függvénye mennyiségi komponense nincs 2012, Győr

40 Köszönöm a figyelmet! Köszönetet mondok Prof. Szendrő Péternek az OTDT elnökének támogatásáért és Vincze Nándornak az adatelemzésben nyújtott segítségéért.