Soós Sándor: tudományos folyóiratok szakterületi rangsorolása

A rangsorolás alapproblémája A folyóiratok rangsorolására mára a mérőszámok széles kínálata alakult ki A piaci szóhasználat szándékos Az alapvető általános kérdés: melyik mérőszám a „legjobb”? A rangsorolás döntési problémaként jelentkezik: a teljesítményt „legjobban” tükröző, egyben leggazdaságosabb megoldás kiválasztása ˜ A kevésbé nyilvánvaló kérdés: jól van-e feltéve az előző kérdés Valóban döntési probléma-e a rangsorolás?

A mutatók tipológiája I. Mit is mér? — Teljesítménydimenziók A) Népszerűség (Popularity). Az idézetszám méretét, mennyiségét díjazza. Journal Impact Factor (JIF), Immediacy Index, Citation per Document (CPD), Impact per Paper (IPP), Source Normalized Impact per Paper (SNIP) B) Presztizs. Az idéző források minőségét (presztizsét) díjazza. Scimago Journal Rank (SJR), EigenFactor (EF), Article Inluence Score (AIS) Különbséget tesz a hivatkozó források között, ill. súlyozza azokat (többet hivatkozott idéző többet számít). C) Hatás?

A mutatók tipológiája II. Összemérhetőek a folyóiratok? — Normalizálás A hivatkozás- (citation-) szám mint indikátor Közvetlenül összemérhetetlen: a folyóiratok eltérő méretűek, eltérő tudományág- és szakterületi hivatkozási kultúrát képviselnek A) Korrekció a méret hatásával átlag-jellegű, "fajlagos" mutatók: Journal Impact Factor (JIF), Citation per Document (CPD), Impact per Paper (IPP), Article Influence Score (AIS) B) Korrekció a szakterület hatásával Normalizált impaktfaktor (NJP), Source Normalized Impact Per Paper (SNIP) A H-index "alkalmatlansága": méret- és szakterületfüggő

A mutatók tipológiája III. Mit vesz figyelembe? — A mintavétel módja A) Idézhető közleménytípusok ("citable items") Impact Factor (Thomson) vs. Cites Per Document (Scimago-Scopus) B) Önhivatkozások besorolása Impact Factor vs. EigenFactor (Thomson) C) Hivatkozás- és forrásoldali időablak JIF: C(y), P(y-1, y-3), SNIP: C(y), P(y-1, y-5) Szinkrón, "keresztmetszeti" mutatók A hatásmutatók diakrón jellegűek: Mean Normalized Journal Score (MNJS: P(y), C(y+3))

A mutatók tipológiája III. Mit vesz figyelembe? — A mintavétel módja A) Idézhető közleménytípusok ("citable items") Impact Factor (Thomson) vs. Cites Per Document (Scimago-Scopus) B) Önhivatkozások besorolása Impact Factor vs. EigenFactor (Thomson) C) Hivatkozás- és forrásoldali időablak JIF: C(y), P(y-1, y-3), SNIP: C(y), P(y-1, y-5) Szinkrón, "keresztmetszeti" mutatók A hatásmutatók diakrón jellegűek: Mean Normalized Journal Score (MNJS: P(y), C(y+3))

A mutatók tipológiája III. A mintavétel módja és az elérhetőség Web of Science (Thomson): Journal Impact Factor EigenFactor Article Influence Score Scopus (Elsevier): Scimago Journal Rank Source Normalized Impact per Paper Impact per Paper Csak a JIF "előfizetéses"

A mutatók tipológiája A mutatók rendszerezése (részlet) JIF Teljesít- mény Méret- normalizált Terület- normalizált Adatbázis Szinkrón/Di akrón JIF Nép- szerűség Igen Nem* WoS Szinkrón Eigen- Factor Presztizs Nem SCOPUS AIS NJP SJR Szinkón

A kiválasztás szempontjai A) Elvileg: A "preferált", értékelési célnak megfelelő teljesítménydimenzió presztizs, idézettségi hatás stb. B) A "preferált" adatbázis-kontextus (WoS, Scopus) Implikációk! A Scopus 10K-val több folyórat, több potenciális hivatkozás. Kérdés, mennyit nyom ez a latba (presztizsmutatók). B) Empirikus eredmények a mutatók viselkedéséről és viszonyáról Szoros általános pozitív korreláció (SJR vs. JIF, JIF vs. EigenFactor) DE! Szakterületenként és más típusú folyóirat-tartományokban eltérő mértékű Pl. Eigen és JIF: a folyóiratmérettel korrelál mindkettő ("spurious" correlation)

A kiválasztás szempontjai

A kiválasztás szempontjai

A kiválasztás szempontjai

A kiválasztás szempontjai népszerűség/presztizs magas alacsony sokat idézett, kiváló helyek idézik sokat idézett, alacsonyabb persztizsű helyek idézik kevesebb, de minőségi helyekről érkező idézetet kap kevés, relatíve alacsonyrangú helyek idézik

Az ésszerű megoldás körvonalai A választott mutatók helyes használata Összemérhetőség (JIF helyett NJP, ha több terület érintett) Példa: JIF-tartományokból való részesedés (pl. kvartilisek vagy CSS- osztályok) Az egyoldalú rangsorképzés elkerülése: többdimenziós értékelés Az "univerzális" mutató tévképzete Példa: "Kompozit" mutatók: több indikátoron alapuló besorolások Az indikátorok súlyozásának lehetősége