Zolnai László Papp Zoltán Adománné Zolnai Dóra: Atomki, 2012. szeptember 20.

Bevezetés (indikációk)  1) Hogyan fogják mérni az akadémiai átszervezés (és/vagy a kutatóegyetemi pályázatok) eredményességét intézményi szinten? ► Sok száz, ezer publikációról, hivatkozásról van szó ► Valószínűleg szerepet kapnak a tudománymetriai eszközök, nem mindegy, hogy ezek milyenek lesznek, feltehetően hajaznak az 1996-os MTA konszolidációnál alkalmazottra (tudománymetriai mutatók (indikátorok) lineáris kombinációja)(pl. akkor a nemzetközi együttműködésben elkövetett publikáció pozitív tett volt, aminek folyománya a jelenlegi helyzet)  2) Mire lesz jó az MTMT? (308 MFt, rossz? Pisztoly) Addig is fennáll a veszélye, hogy az MTMT nem teljes adatait fogják használni.  Közvetlen előzmények:  A frakcionális mutatók szerzői és intézményi szinten való alkalmazásáról a Magyar Tudományban zajló vita  A frakcionális mutatók feltüntetésének visszautasítása az MTMT által (mit szólnak az egyetemek?) 2...válaszra várva... Atomki, 2012. szeptember 20.

Kutatás és kutatásértékelés; szabályozási ciklus   Kutatási feltételek számbavétele, a kutatás tervezése   Kutatási erőforrások igénybevétele, és a kutatás kivitelezése   Kutatási eredmények publikálása, majd hivatkozások megjelenése   Publikációs - hivatkozási listák kialakulása   A publikációs - hivatkozási listákból származtatott statisztikák, mutatók (indikátorok) létrehozása   A szóban forgó kutatás eredményességének értékelése, a tudománymetriai mutatókon kívüli szempontok figyelembe vétele   A kutatási feltételek változtatása, döntés a kutatás folytatásáról, támogatásáról, további irányairól   ► Lényeg: A folyamatot releváns mutatókon keresztül szabályozzák 3...válaszra várva... Atomki, 2012. szeptember 20.

Publikációk szétosztási (leszámolási) módozatai (Gauffriau et al., 2008) 19-et sorol fel. Itt csak a 3 legfontosabb:  1) Egészben való szétosztás (minden résztvevő kap egy pontot (credit) minden szinten) (whole (integer) counting)  2) Az első résztvevő kap egy pontot minden szinten (first author counting)  3) Frakcionális egyenlő szétosztás (a szintenkénti résztvevők számával beosztott pontot kap minden résztvevő minden szinten)(whole normalized counting) (az általunk alkalmazott a szerzői egyenlő részesedésen alapul)  Megkülönböztethető: szerzők, intézmények (szervezeti egységek), országok, stb. szintje. Mindegyiken más a tét.  A szétosztás kiterjesztendő a hivatkozásokra, összesített impaktra, stb.  Magyarországon túlnyomórészt az egészben való szétosztást alkalmazzák („X. Y. publikációi”) (a frakcionálisan egyenlő szétosztást pl. az SzBK, BME belső használatra alkalmazza)  Az EU és USA gyakorlata is eltérő (miért? kooperativitás) 4...válaszra várva... Atomki, 2012. szeptember 20.

Egy tipikus cikkfejzet 5...válaszra várva... Atomki, 2012. szeptember 20.

Gyakorló feladat a szerzői részesedésen alapuló frakcionálisan egyenlő szétosztásra Szereplő (aktor)Pont (kredit) (Első aktor szerint) (pont) (Egészben való) (pont) (Egészben való) (pont)(CMS) K. Varga1/211 Y. Suzuki1/201 Niigata University4/611 RIKEN (Hirosawa)1/601 Atomki (Debrecen)1/601 Japán5/611 Magyarország1/601 Sokszorozási tény.1-1-1 2-3-240-170-2300 6...válaszra várva... Atomki, 2012. szeptember 20.

Házi feladat: Egy „sokintézetes” cikkfejzet 7...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; irodalom  „The payoff in brownie points of publications or citations must be divided among all the authors listed on the byline, and in the absence of evidence to the contrary it must be divided equally among them.” („A publikációk és hivatkozások után járó jó pontokat a fejzetben szereplő szerzők között kell szétosztani, mégpedig – ellentmondó tény hiányában – egyenlő arányban”) (Price, 1981).  Illetve, lásd a hazai hatályos szerzői jogi törvényt. 8...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; hazai előjelek  A sokszerzős publikációk tömeges megjelenése. Ennek az oka a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)  A publikációk non-additivitása („sokszorozódása”) minden aggregációs szinten (  P SCI (2011): Atomki=253, RMKI  600;  137,  KFI+ ~170 int.)  Intézményi szinten tudományterületi sokszínűség kezelése?  Mobilitás (intézmények között, pl: D. B.:  IF=877,  C=5068) (tudományterületek között, pl.: T. K.:  P A/R ~250/250)  Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[10. dia]  Előfizetés helyett „publikációs díj”? 9...válaszra várva... Atomki, 2012. szeptember 20.

10...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; hazai előjelek  A sokszerzős publikációk tömeges megjelenése. Ennek az oka a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)  A publikációk non-additivitása („sokszorozódása”) minden aggregációs szinten (  P SCI (2011): Atomki=253, RMKI  600;  137,  KFI+ ~180 int.)  Intézményi szinten tudományterületi sokszínűség kezelése?  Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[12. dia]  Előfizetés helyett „publikációs díj”? 11...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; hazai előjelek  A sokszerzős publikációk tömeges megjelenése. Ennek az oka a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)  A publikációk non-additivitása („sokszorozódása”) minden aggregációs szinten (  P SCI (2011): Atomki=253, RMKI  600;  137,  KFI+ ~180 int.)  Intézményi szinten tudományterületi sokszínűség kezelése?  Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[14. dia]  Előfizetés helyett „publikációs díj”? 13...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; hazai előjelek  A sokszerzős publikációk tömeges megjelenése. Ennek az oka a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)  A publikációk non-additivitása („sokszorozódása”) minden aggregációs szinten (  P SCI (2011): Atomki=253, RMKI  600;  137,  KFI+ ~180 int.)  Intézményi szinten tudományterületi sokszínűség kezelése?  Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[10.,12.,14. dia]  Előfizetés helyett „publikációs díj”? 15...válaszra várva... Atomki, 2012. szeptember 20.

Az Atomki saját részének vizsgálata I.  Az Atomki-s összesített impakt faktor trendje az évek során monoton nő, elérte az ~1/kutató/év-et [17. dia]  Ezzel együtt az SCI hivatkozások intézeti saját része is nő (eltekintve a 10-12 éves felfutási időtől) [19. dia]. Ez azért fontos, mert az összesített impakt faktor helyett a hivatkozásokat illik figyelembe venni.  A növekedés túlnyomórészt nem a használt folyóiratok impakt faktorának növekedéséből ered [21. dia]  A növekedés nem az anyagi ösztönzés változásának a folyománya[23. dia]  Az ok egyértelműen az intézeti SCI publikációk számának és átlagos impakt faktorának növekedésében van [25. dia] 16...válaszra várva... Atomki, 2012. szeptember 20.

Az Atomki saját részének vizsgálata I.  Az Atomki-s összesített impakt faktor trendje az évek során monoton nő, elérte az ~1/kutató/év-et (1982-es adat: 0,25) [17. dia]  Ezzel együtt az SCI hivatkozások intézeti saját része is nő (eltekintve a 10-12 éves felfutási időtől) [19. dia]. Ez azért fontos, mert az összesített impakt faktor helyett a hivatkozásokat illik figyelembe venni.  A növekedés túlnyomórészt nem a használt folyóiratok impakt faktorának növekedéséből ered [21. dia]  A növekedés nem az anyagi ösztönzés változásának a folyománya[23. dia]  Az ok egyértelműen az intézeti SCI publikációk számának és átlagos impakt faktorának növekedésében van [25. dia] 18...válaszra várva... Atomki, 2012. szeptember 20.

Az Atomki saját részének vizsgálata I.  Az Atomki-s összesített impakt faktor trendje az évek során monoton nő, elérte az ~1/kutató/év-et (1982-es adat: 0,25) [17. dia]  Ezzel együtt az SCI hivatkozások intézeti saját része is nő (eltekintve a 10-12 éves felfutási időtől) [19. dia]. Ez azért fontos, mert az összesített impakt faktor helyett a hivatkozásokat illik figyelembe venni.  A növekedés túlnyomórészt nem a használt folyóiratok impakt faktorának növekedéséből ered [21. dia]  A növekedés nem az anyagi ösztönzés változásának a folyománya [21. dia]  Az ok egyértelműen az intézeti SCI publikációk számának és átlagos impakt faktorának növekedésében van [25. dia] 20...válaszra várva... Atomki, 2012. szeptember 20.

Néhány fontosabb folyóirat impakt faktorának alakulása 21...válaszra várva... Atomki, 2012. szeptember 20.

Az Atomki összesített impaktja saját részének összetétele 26...válaszra várva... Atomki, 2012. szeptember 20.

Az Atomki saját részének vizsgálata II. Ez utóbbinak gyökerei (rangsorolás nélkül): nyelvtudás javulása, mobilitás növekedése, szabadabb témaválasztás, külföldi berendezések igénybevételi lehetősége, teljes szövegű folyóirat-adatbázisok hozzáférhetősége, publikációs gyakorlat megszerzése, pályázati „nyomás” stb. 37...válaszra várva... Atomki, 2012. szeptember 20.

A részecskefizika szerepe  Az Atomki produktumában egyre nagyobb szerepet játszanak a részecskefizikai publikációk [39., 41. dia]  Két csúcs: OPAL, L3 (LEP 2003-4), CMS (LHC 2011-től)  Az Atomki-s SCI publikációkat tekintve a részecskefizikai és a nem-részecskefizikai publikációk 2011-ben közel ugyanannyian voltak  Az összesített impakt faktort vizsgálva a részecskefizika ma már jelentős túlsúlyban van  A részecskefizikai publikációkat tekintve az RMKI-nak ~2x több van (  IF(2011): Atomki=848, RMKI  1880;  =553) (ATLAS, ALICE, PHENIX,PHOBOS, NA49, stb.) 38...válaszra várva... Atomki, 2012. szeptember 20.

Konklúziók I.  A nemzetközi irodalomban ~1995-re lezárultak a frakcionális mutatók alkalmazásával kapcsolatos viták (Rinia et al., 1993): ● Az egészben való szétosztás módszere minden szinten megbízhatatlanná válik a kooperativitás (  = teljes rész/saját rész) növekedésével. ● Az egészben való szétosztáshoz képest az első szerzős és a frakcionális szétosztás realisztikusabb, és a frakcionális mutató bizonyos esetekben jól közelíthető az első szerzős szétosztás szerint kapott eredménnyel. ● A sokszerzős publikációk egyéb, speciális szempontok szerinti elbírálását (ezeket a szempontokat illetően ld. (Zolnai, 2008) [35. dia]) le kell választani azok tudománymetriai értékelésétől, vagyis a más tudománypolitikai megfontolások ne legyenek hatással a tudománymetriai eredményekre (árnyékmechanizmusok?). 43...válaszra várva... Atomki, 2012. szeptember 20.

Szempontok a sokszerzős kutatások értékeléséhez (Zolnai, 2008)  olyan fontos kutatások végzésének lehetősége, amelyet a hazai infrastruktúra hiánya nem tesz lehetővé,  az elvégzett kutatás alkotás jellege, minthogy a kísérleti (részecske)fizikai kutatások manapság nagyarányú fejlesztő munkát jelentenek,  a nemzetközi kapcsolatok fejlesztésének lehetősége,  a hazai technológiai kultúra fejlesztésének lehetősége,  a várható eredmények jelentősége,  a nagy kollaborációk működésének biztosítására fordított szervezői tevékenységben szerzett tapasztalatok  területi megfontolások  az adott kutatás PR értéke  stb. 44...válaszra várva... Atomki, 2012. szeptember 20.

Konklúziók II.  Fontos, hogy az egyes aktorok tevékenységét csak a hozzájuk (közelitőleg) tartozó teljesítmény figyelembe vételével értékeljük. Nagy eredmény, hogy sok év után eldőlt az „intézeti publikáció” mibenléte (MTMT). Következmények?!  Számításba kell venni a publikációk szerző, intézmény és ország számát. ► Ezért hazai intézmények kutatásértékelésénél elkerülhetetlen a frakcionális mutatók alkalmazása.  Tudománymetria  Elvárt értékelés! A kutatásértékelés keveredik azzal a (jogos?) elvárással, hogy minden aktor szeretne elismeréshez jutni, kb. azonos munkabefektetéssel. A tudománymetria ezt képtelen kielégíteni, viszont az tudománytalan (és etikátlan), hogy a tudománymetriát úgy alakítsuk, hogy eleget tegyen ennek az elvárásnak!  Az Atomkinak előbb-utóbb állást kell foglalni a frakcionális mutatók alkalmazásának a kérdésében ► Probléma: független részecskefizikai hivatkozások begyűjtése 45...válaszra várva... Atomki, 2012. szeptember 20.

Köszönöm: társszerzőimnek a befektetett munkát, a hallgatóság türelmét és figyelmét. 46...válaszra várva... Atomki, 2012. szeptember 20.

Egy üzletember ne legyen mohó! (P. Howard: Vesztegzár a Grand Hotelben)...válaszra várva... Atomki, 2012. szeptember 20.47

Relevancia és megbízhatóság...válaszra várva... Atomki, 2012. szeptember 20.48

A frakcionálisan egyenlő szétosztás lehetőségei Szereplő (aktor) ↓ Szerzői alapon (pont) Intézményi alapon (pont) Ország alapon (pont) K. Varga1/25/67/8 Y. Suzuki1/21/61/8 Niigata University4/61/31/4 RIKEN (Hirosawa)1/61/31/4 Atomki (Debrecen)1/61/31/2 Japán5/62/31/2 Magyarország1/61/31/2 49...válaszra várva... Atomki, 2012. szeptember 20.

Szétosztási sokszorozódás...válaszra várva... Atomki, 2012. szeptember 20.50

Forrás: Németh Tamás: 183. közgyűlési beszámoló Mat. és term. tud. (MTA) ATOMKIRMKIKKI Év ↓  IF SCI pub.  IF SCI pub.  IF SCI pub. 20103174,3327,701422,31985,304012,46543,391763,09 20114814,4810,382373,421840,335753,20529,161902,79 2011- 2010 % 1640,1 51,67 482,6 147,27 951,11855,03 86,78 1740,74-14,23 -2,62 14-0,28...válaszra várva... Atomki, 2012. szeptember 20.51

A Higgs bozon felfedezése (CMS)...válaszra várva... Atomki, 2012. szeptember 20.52 Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC ✩.CMS Collaboration (2899 authors) CERN, Switzerland Physics Letters B 716 (2012) 1:30–61 (17 September 2012) Chatrchyan S….. G. Bencze, C. Hajdu, P. Hidas, D. Horvath 19, F. Sikler, V. Veszpremi, G. Vesztergombi 20, P. Zalan KFKI Research Institute for Particle and Nuclear Physics, Budapest, Hungary N. Beni, S. Czellar, A. Fenyvesi, J. Molnar, J. Palinkas, Z. Szillasi Institute of Nuclear Research ATOMKI, Debrecen, Hungary J. Karancsi, P. Raics, Z.L. Trocsanyi, B. Ujvari, G. Zilizi University of Debrecen, Debrecen, Hungary

Megjegyzések a publikációkhoz: A WoK-ból az APHA-ba beírt publikációk mintegy 25 %-a tölthető fel az MTMT-be (vörös színnel). Ilyenkor fellép a duplum szűrés szükségessége, aminek a jelenlegi verzióban kb. 50 %-os a hatásfoka. A maradékot kézzel kell szűrni. Az MTMT-be a publikációk felét lehet rögzíteni. Az MTA a publikációk 86 %-ról kér éves beszámolót. Meggondolandó az „Egyéb publikációk” (többségében Annual Reportok) APHA-ba való rögzítése. 53

Megjegyzések a hívatkozásokhoz: Technikai okok miatt valószínűleg aaz ábrázoltnál több részecskefizikai, és kevesebb SCI hivatkozás van. A WoK-ból az APHA-ba beírt hivatkozások mintegy 75 %-a tölthető fel az MTMT-be (vörös színnel). Ilyenkor fellép a duplum szűrés szükségessége, aminek a jelenlegi verzióban kb. 50 %-os a hatásfoka. A maradékot kézzel kell szűrni. 54

Zolnai László Papp Zoltán Adománné Zolnai Dóra: Atomki, 2012. szeptember 20.

Hasonló előadás

Az előadások a következő témára: "Zolnai László Papp Zoltán Adománné Zolnai Dóra: Atomki, 2012. szeptember 20."— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés

Bejelentkezés

A társadalmi hálózaton keresztül belépni:

Zolnai László Papp Zoltán Adománné Zolnai Dóra: Atomki, 2012. szeptember 20.

Hasonló előadás

Az előadások a következő témára: "Zolnai László Papp Zoltán Adománné Zolnai Dóra: Atomki, 2012. szeptember 20."— Előadás másolata:

Hasonló előadás

Projectumról

Visszajelzés