Akadémiai társadalomtudományi intézetek... 1 Előadás a „Kutatási infrastruktúra, teljesítménymérés és a Politikatudomány” konferencián november 8. kedd, 13:00 MTA Politikatudományi Intézet 1014 Budapest, Országház utca 30., Jakobinus terem Az MTA társadalomtudományi intézeti kutatóinak publikációs aktivitása és idézettsége Tudománymetria és társadalomtudományok Tóth István János (MTA KTI)

Akadémiai társadalomtudományi intézetek... 2 A tudományos hatás mérése Kutatási kérdések Adatok Publikációs aktivitás Idézettség A publikációs aktivitás és idézettség tényezői Következtetések Tartalom Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 3 A tudományos hatás mérése Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 4 Kutatók lehetséges aktivitásai –Oktatás –Tudományszervezés –Tanácsadás (kormányzat, vállalatok, ngo) –Közszereplés –Konferenciák, workshop-ok, műhelyviták, bírálatok –Publikálás Mérés Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 5 Mérési lehetőségek Tudományos folyóiratokban való publikálás és idézettség Kiknek a teljesítménye? kutatók, kutatócsoportok intézmények, egyetemek országok, régiók Mérés Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 6 Mérőeszközök publikációk száma referált tudományos folyóiratokban idézetlen cikkek száma [Braun, 2008] önidézett cikkek száma [Braun, 2008] folyóiratok impakt faktora [ IF K,t0 = (h0 k(t-1) + h0 k(t-2) ) / (k t-1 + k t-2 ) ] [Braun, 2008, Marton – Pap, 2010] Mérés Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 7 Mérőeszközök idézettség (a kutató munkáira való hivatkozások száma) H-index (Hirsh féle index) [Hirsh, 2005, magyarul Bence, 2006] „Kapuőr index” [Braun, 2010] „Erdős szám” féle mutatók (társzerzőségi gráfok) [Schubert, 2009] Mérés Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 8 Problémák Nem mindegy hol jelenik meg a publikáció: magasabb impakt faktorú folyóirat => magasabb (várt) idézettség Társszerzőség: kinek a cikke? Idézettség és önidézés Tudományterületek különbözősége (hivatkozási szokások, publikációk életgörbéje, publikálási gyakoriságok, stb.) Impakt faktorok instabilitása Mérés Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek... 9 Kutatási kérdések Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Hogyan alakult a publikációs aktivitás között? előzmények: [Such-Tóth, 1989; Valentinyi, 2000; Tóth-Szántó, 2006] Hogyan alakult az idézettség és a magyar társadalomtudósok hatása? Milyen eltérések vannak a közgazdaságtan, a szociológia, a regionális kutatások és politikatudomány magyar kutatóinak publikációs aktivitásában és idézettségében? A magasabb tudományos fokozat nagyobb hatással jár-e? Kutatási kérdések Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Adatok, eszközök Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Négy intézet: MTA Politikatudományi Intézet (PKI) MTA Regionális Kutatások Központja (RKK) MTA Szociológiai Kutatóintézet (SZKI) MTA Világgazdasági Kutatóintézet (VKI) MTA Közgazdaságtudományi Kutatóintézet (KTI) Kutatók száma: 237 fő Publikációk és idézettség elemzése Időszak: Forrás: SSCI Adatok, eszközök Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Publikációk száma (PSUM): 363 db (1,532 / fő) Idézettség az SSCI-ben feldolgozott folyóiratokban (HSUM): 1042 db (4,321 / fő) HATSUM (idézettség + az idéző cikkek idézettsége): 6084 db (25,671 / fő) Idézettség összesen (CSUM) az SSCI-ben: 2666 db (11,249 / fő) Adatgyűjtés: 2011 október [A kutatásban közreműködött: Cserpes Tünde (University of Chicago)] Adatok, eszközök Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Korlátok, torzítások Impakt faktorokat nem vettük figyelembe de számítottuk az idéző cikkek idézettségét Társzerzőséget nem vettük figyelembe Önhivatkozásokkal nem korrigáltunk a fentiek intézetenkénti eltérő torzítottsága kérdéses Adatok, eszközök Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Három hivatkozási hálózat típus Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Idézettség: közvetett 12 közvetett 0 közvetett Három eset, N = 17, „A” szerző idézettségét vizsgáljuk

Akadémiai társadalomtudományi intézetek Korlátok, torzítások negatív – semleges – pozitív idézetek között nem tettünk különbséget ennek fontossága vitatott tudományterületi különbségekkel nem számoltunk jelentős és egyre erősödő átjárás a közgazdaságtan, a szociológia és a politikatudomány között [Zuckerman, 2003] 20 kutató esetében nem számoltuk az idézettséget (CSUM) névazonosság miatt [Braun, 2001] az SZKI, PKI, RKK adatai ezért ennél a mutatónál „lefele torzítanak” Adatok, eszközök Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Kutatók száma intézetenként, fő

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Kutatók megoszlása nemek szerint

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Kutatók megoszlása nemek szerint intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Kutatók megoszlása tudományos fokozat szerint

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Kutatók megoszlása életkor szerint Két nemzedék: évesek évesek

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Életkori megoszlás - KTI

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Életkori megoszlás - VKI

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Életkori megoszlás - SZKI

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Életkori megoszlás - RKK

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Életkori megoszlás - PKI

Akadémiai társadalomtudományi intézetek Publikációk Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Az SSCI-ben nyilvántartott publikációk száma

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Az kutatók megoszlása a publikációk száma szerint

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Az kutatók megoszlása a publikációk száma szerint, intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Publikáció nélküli és publikáló kutatók aránya intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Publikáció nélküli és publikáló kutatók aránya intézetenként KTI: 70%-nak van publikációja PKI: 19%-nak van publikációja

Akadémiai társadalomtudományi intézetek Idézettség Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Idézettség az SSCI-ben feldolgozott folyóiratokban Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések stagnálás egy-egy szerző cikkeihez kötődő erős volatilitás évente többnyire hivatkozás

Akadémiai társadalomtudományi intézetek A kutatók cikkeit idéző cikkek idézettségének alakulása az SSCI-ben, Csökkenő tendencia: optikai csalódás vagy a rendszerváltás hatásának lecsengése? Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A kutatók idézettség szerinti megoszlása,

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A kutatók idézettség szerinti megoszlása intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Nem idézett és idézett kutatók megoszlása intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Nem idézett és idézett kutatók megoszlása intézetenként

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A kutatók összes idézettség szerinti megoszlása (CSUM),

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A kutatók összes idézettség szerinti megoszlása (CSUM) intézetenként,

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A kutatók megoszlása aszerint, hogy van-e legalább egy hivatkozás rájuk a SSCI-ben, intézetenként, A kutatók 63-81%-ának az idézettsége nem nulla

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Idézettség (HATSUM) és publikációs aktivitás intézetenként, , (munkaévvel normált adatok * ) *: HATSUMK= HATSUM/ (KOR – 22) 2

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Idézettség (HATSUM) és publikációs aktivitás intézetenként, , (munkaévvel normált adatok * ) *: HATSUMK= HATSUM/ (KOR – 22) 2 Közelebbről…

Akadémiai társadalomtudományi intézetek Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Az összes idézettség (CSUM) és publikációs aktivitás intézetenként, , (munkaévvel normált adatok * ) *: CSUMK = CSUM/ (KOR – 22) 2 Sokat publikáló, relatív kis idézettségüek és Keveset publikáló magas idézettségüek

Akadémiai társadalomtudományi intézetek Az idézettség tényezői Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Kimutathatók-e különbségek életkor (kutatói pályán eltöltött idő) nem tudományos fokozat intézmény szerint? Tényezők Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Publikációs aktivitás (PNULL [0,1]) becslése a kutatók megfigyelt jellemzőin keresztül Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Variables in the Equation BS.E.WalddfSig.Exp(B) Step 1 a epido,042,070,3551,5511,043 epido2,000,001,0181,8931,000 sex(1)-,025,356,0051,945,976 t1(1)-,518,530,9571,328,596 t2(1)-1,687,7075,6971,017,185 intezet24,4684,000 intezet(1)2,017,57512,3071,0007,518 intezet(2)1,091,6812,5671,1092,977 intezet(3)1,190,5894,0851,0433,288 intezet(4)-,099,578,0291,864,906 Constant-,5641,613,1221,727,569 a. Variable(s) entered on step 1: epido, epido2, sex, t1, t2, intezet. Intézményi hatások (KTI és SZKI) valamint: Az akadémiai doktorok szignifikánsan kevesebbet publikálnak, mint a fokozattal nem rendelkezők

Akadémiai társadalomtudományi intézetek Publikációs aktivitás (PNULL [0,1]) becslése a kutatók megfigyelt jellemzőin keresztül Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések Variables in the Equation BS.E.WalddfSig.Exp(B) Step 1 a epido,042,070,3551,5511,043 epido2,000,001,0181,8931,000 sex(1)-,025,356,0051,945,976 t1(1)-,518,530,9571,328,596 t2(1)-1,687,7075,6971,017,185 intezet24,4684,000 intezet(1)2,017,57512,3071,0007,518 intezet(2)1,091,6812,5671,1092,977 intezet(3)1,190,5894,0851,0433,288 intezet(4)-,099,578,0291,864,906 Constant-,5641,613,1221,727,569 a. Variable(s) entered on step 1: epido, epido2, sex, t1, t2, intezet. Intézményi hatások (KTI és SZKI, referencia PKI) valamint: Az akadémiai doktorok szignifikánsan kevesebbet publikálnak, mint a fokozattal nem rendelkezők

Akadémiai társadalomtudományi intézetek Összes idézettség (CNULL [0,1]) becslése a kutatók megfigyelt jellemzőin keresztül Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések munkaév és munkaév négyzete valamint bizonytalan intézményi hatás (KTI) p < 0,1 Variables in the Equation BS.E.WalddfSig.Exp(B) Step 1 a epido,305,09210,9681,0011,356 epido2-,004,0026,1311,013,996 sex(1)-,593,5371,2201,269,553 t1(1),102,594,0301,8631,108 intezet3,1103,375 intezet(1)1,136,6852,7481,0973,115 intezet(2),657,819,6431,4231,928 intezet(3),995,7151,9381,1642,705 Constant-4,1721,4628,1401,004,015 a. Variable(s) entered on step 1: epido, epido2, sex, t1, intezet.

Akadémiai társadalomtudományi intézetek Összes idézettség (CNULL [0,1]) becslése a kutatók megfigyelt jellemzőin keresztül Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések munkaév és munkaév négyzete valamint bizonytalan intézményi hatás (KTI) p < 0,1 Variables in the Equation BS.E.WalddfSig.Exp(B) Step 1 a epido,305,09210,9681,0011,356 epido2-,004,0026,1311,013,996 sex(1)-,593,5371,2201,269,553 t1(1),102,594,0301,8631,108 intezet3,1103,375 intezet(1)1,136,6852,7481,0973,115 intezet(2),657,819,6431,4231,928 intezet(3),995,7151,9381,1642,705 Constant-4,1721,4628,1401,004,015 a. Variable(s) entered on step 1: epido, epido2, sex, t1, intezet.

Akadémiai társadalomtudományi intézetek Összes idézettség (CNULL [0,1]) becslése a kutatók megfigyelt jellemzőin keresztül, az életkori hatások tesztje Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések A publikációk száma (PSUM) mellett is megmaradnak az életkori és eltűnnek az intézményi hatások Variables in the Equation BS.E.WalddfSig.Exp(B) Step 1 a epido,367,1535,7881,0161,444 epido2-,005,0033,9601,047,995 sex(1)-,389,683,3241,569,678 t1(1)-,274,771,1261,723,761 intezet,6303,890 intezet(1)-,144,884,0261,871,866 intezet(2),147,970,0231,8791,158 intezet(3),504,831,3691,5441,656 psum2,796,86510,4511,00116,381 Constant-4,9982,2634,8771,027,007 a. Variable(s) entered on step 1: epido, epido2, sex, t1, intezet, psum.

Akadémiai társadalomtudományi intézetek A tudományos aktivitás és teljesítmény mérése fontos és megvalósítható követelmény a társadalomtudományokban is : növekvő publikációs aktivitás de csökkenő hatás (?) Az MTA társadalomtudományi intézeteiben dolgozó kutatók csak kis csoportjának van megfigyelhető teljesítménye a SSCI-ben (61%-ának nincs publikációja és 29%-ukat egyszer sem idézik a megfigyelt 22 év alatt). Az akadémiai doktorok publikációs aktivitása alacsony és kisebb, mint a fokozatot el nem érteké (??) Az életkor szerepe kimutatható: az idősebbeket nagyobb valószínűséggel idézik. Akkor is érvényes ez a hatás, ha a publikációs aktivitást is számításba vesszük (idősebbek „ismertségi” [kapcsolati] előnye a fiatalabbakkal szemben) Nincsenek a két nem között különbségek sem a publikálási aktivitásban, sem az idézettségben. Következtetések Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Bence, Gy. (2006): H-index: Egy új javaslat az egyéni tudományos teljesítmény értékelésére. Magyar Tudomány, január, 88-91, Braun, T. (2001): Pendlebury listája. Magyar Tudomány, május, Braun, T. (2008): Szellem a palackból. Tudománymetriai értékelések. Magyar Tudomány, 1366– Braun, T. (2009): Egy tudományos kutató frusztrációjának következménye: A Hirsch-index. Magyar Tudomány, augusztus, , Braun, T. (2010): Új mutatószámok tudományos folyóiratok értékelésére – valóban indokolt-e az impaktfaktor egyeduralma? Magyar Tudomány, február, , Hirsch, Jorge E. (2005): An Index to Quantify an Individual’s Scientific Output. arXiv:physics/ v5, Marton, J. –Pap, K. (2010): Mit tud az impaktfaktor? Magyar Tudomány, július, , 07.pdfhttp:// 07.pdf Schubert, A. (2009): Network aspects of structural dynamical and, dynamical and evaluative scientometrics. Advances in S&T Monitoring, Leuven, Belgium, 27 Nov 2009, Such, Gy. – Tóth, I. J. (1989): A magyar közgazdaságtudomány a Közgazdasági Szemle tudománymetriai vizsgálatának tükrében. Közgazdasági Szemle, XXXVI. Évf. 1989, október, Tóth, I. J. – Szántó, Z. (2006): Magyar közgazdászok szerzőtársi kapcsolathálói és tudományos teljesítménye. Magyar Tudomány, november, , Valentinyi, Á. (2000): A tudomány piaca és a magyar közgazdaságtan. BUKSZ, 12. szám, Zuckerman, E. W. (2003): Some Notes on the Relationship between Sociology and Economics (and Political Science): Cross-Disciplinary Citation Patterns over the 20th Century. MIT Sloan School of Management, October 14, Irodalom Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések

Akadémiai társadalomtudományi intézetek Köszönöm a figyelmet! Tartalom – Mérés – Kérdések – Adatok – Publikálás – Idézettség – Tényezők – Következtetések