Kutatásértékelés és tudománymetria Nemzetközi és hazai gyakorlatok az elméletek tükrében Sándor Soós

Slides:



Advertisements
Hasonló előadás
Nyiri Lajos, ZINNIA Group
Advertisements

Az Educatio digitális tartalomszolgáltatási projektjei XIX. Budapesti Nemzetközi Könyvfesztivál április Markója Szilárd EISZ Iroda és könyvtárvezető.
A MAB AKKREDITÁCIÓ értékelési szempontjai Dr. Veress Gábor 1Veress
A felsőoktatás (hozzáadott) értéke
A pályakövetés tudománymetriai módszerei
EISZ elektronikus információszolgáltatás Dr. Hulesch Helga tájékoztató könyvtáros, szakreferens SZTE Egyetemi Könyvtár SZTE GTK november 20.
Tudástranszfer egyetemi városokban
Kmety Andrea május 13.. Az Alexandriai Könyvtár egykor és ma.
A SCOPUS adatbázis használata március Kmety Andrea, Scopus-tréner
A természettudományos alapkutatás minőségi és mennyiségi mérlegelésének néhány lehetőségéről Ésszerű tudománymetria BRAUN TIBOR ELTE, Szervetlen és Analitikai.
A kutatás és innováció értékelése MTA, Budapest, április A kiválóság mércéi és az ezek körüli viták SCHUBERT ANDRÁS MTA – KSZI, Budapest.
Felsőoktatás-kutatás és szakpolitikai hasznosulás Magyarországon Tényeken alapuló (evidence based) szemlélet a felsőoktatásban „Adatalapú döntéshozatal.
TÁMOP fenntartás és további fejlesztések tervek november 17. Szeged Németh Antal Educatio Nonprofit Kft. felsőoktatási osztályvezető.
Essential Science Indicators Tóth Szász Enikő
ResearcherID Integrálása a Web of Science-el Tóth Szász Enikő REUTERS/Regis Duvignau.
Kémia szakmódszertani kutatások a Debreceni Egyetemen Tóth Zoltán.
EISZ Fórum Október 14.. Szakmai háttér 1. Nyomtatott + elektronikus előfizetés (p+e) 2. elektronikus tartalmak előfizetése (e-only) 3. elektronikus.
INNOVÁCIÓ: ESÉLY A FELZÁRKÓZÁSRA PÁLINKÁS JÓZSEF Az MTA Elnöke.
Tóth Szász Enikő Customer Education Specialist INCITES: A TUDOMÁNYOS IRODALOM ÉRTÉKELÉSE.
A szolgáltatás technikájával – technológiájával kapcsolatos elemzések „EISZ Jövője” Konferencia június 22.
Prof. Dr. Neményi Miklós tudományos és külügyi rektorhelyettes A doktori és publikációs adatbázis kialakításának elvei és megvalósítása Nyugat-magyarországi.
Beke Gabriella Egészség – Információ - Könyvtár MOKSZ – ÁEEK Könyvtár tudományos konferencia Budapest, 2015.március 27.
MTMT adminisztrátori feladatok megoldása eltérő környezetben Egészség-Információ-Könyvtár március 27. Mátyás Melinda ELTE Egyetemi Könyvtár
Tudományos adatbázisok az Eszterházy Károly Főiskolán az Eszterházy Károly Főiskolán szeptember Gál Tibor (Tittel Pál Könyvtár és Médiacentrum)
Szakinformációk a korlátozott és szabad hozzáférésű adatbázisokban Dr. Kiss Danuta, Tóth Mónika NymE Központi Könyvtára Március 3.
További tudományos források, tudománymetriai mutatószámok Semmelweis Egyetem Központi Könyvtár Berhidi Anna 2013
A MAGYAR TUDOMÁNYOS AKADÉMIA 187. KÖZGYŰLÉSE május 2–3.
A tudománymetria a kutatásértékelésben Minőségmérés és publikációs stratégia „nyíltan” Soós Sándor Vida Zsófia
Open Access források. A publikálás veszélyei: parazita folyóiratok
Előrelépés a digitális akadémiai világban Béky Endre Elsevier 2006 október 18.
Internet-alapú információcsere és adatvalidáció bibliográfiai adatbázisok között Internet-based information exchange and content validation between bibliographic.
Bibliometriai kérdések az MTMT-ben Berhidi Anna Semmelweis Egyetem Központi Könyvtár
Kiválónak lenni, kiválónak látszani
Soós Sándor: tudományos folyóiratok szakterületi rangsorolása
A folyóiratok tudományos mérése, presztízs
Open access források, a publikálás veszélyei, parazita folyóiratok
A magyar kistérségek innovációs képessége és versenyképessége
Magyar Tudományos Művek Tára (MTMT)
Vasas Lívia, PhD 2015 MTMT Vasas Lívia, PhD 2015.
Magyar Tudományos Művek Tára
Informatio Scientifica et Medicata Budapest, 2013
Személyek/Szerzői azonosítói
Hogyan legyünk eredményesek?
Scopus Vasas Lívia, PhD 2017.
Adatbázisok, publikációs segédletek a sebészetben
Bibliometriai mutatószámok a PageRank alapján
Magyar Tudományos Művek Tára (MTMT)
Magyar Tudományos Művek Tára
Bibliometria mutatószámok és adatbázisok tükrében
Bibliometria mutatószámok és adatbázisok tükrében
Vasas Lívia, PhD 2017 Folyóiratok, kiadói honlapok Mozilla Firefox vagy Google Chrome böngésző Vasas Lívia, PhD
Folyóiratok, kiadói honlapok
Publikációs stratégia Szakirodalmi forrásanyagok használata MTMT
Vasas Lívia, PhD 2017 Web of Science Vasas Lívia, PhD 2017.
Magyar Tudományos Művek Tára (MTMT)
Magyar Tudományos Művek Tára
„Mi is az mtmt?” KÖFOP VEKOP
A Magyar Tudományos Művek Tára az egyetemek életében
IRODALOMKUTATÁSI MÓDSZEREK Varga Attila Testnevelési Egyetem Sporttudományi Doktori Iskola PhD II. évfolyam Témavezető: Dr.Kokovay Ágnes
Fogorvosi Szemle folyóirat elemzés
Vasas Lívia, PhD 2018 A folyóiratok tudományos mérése, presztízs Mozilla Firefox vagy Google Chrome böngésző Vasas Lívia,
Folyóiratok minősége– JCR Journal Citation Reports
Kiadói honlapok, folyóiratok
Javaslatok a Fogorvosi Szemle megújítására
Tudományos munka értékelése
Információk rendszerezése a könyvtárban
A folyóiratok tudományos mérése
Web of Science és Google Scholar
Új trendek a tudománymetria könyvtári közvetítésében
Vasas Lívia, PhD 2019 A folyóiratok tudományos mérése, presztízs Mozilla Firefox vagy Google Chrome böngésző Vasas Lívia,
Előadás másolata:

Kutatásértékelés és tudománymetria Nemzetközi és hazai gyakorlatok az elméletek tükrében Sándor Soós

Három elterjedt (téves) felfogás: A tudománymetria publikációs statisztikák előállítása (adminisztratív felfogás) A tudománymetria a tudományos teljesítmény mérése (kutatói felfogás) A tudománymetria kutatásértékelés (döntéshozói felfogás) Tudománymetria az akadémiai köztudatban

Tudománymetria és kutatásértékelés Evaluatív/értékelőStrukturális/modellező Kutatásértékelés (gyakorlat, alkalmazás) Tudománymetria

Értékelési szintek (aggregációk) Aggregációs szintek Kutatók : pályázati finanszírozás, előmenetel, tudományos karrier Intézmények (nemzetközi egyetemi rangsorok) Országos, regionális stb. értékelés (REF-UK, ERA-AUS, VQR-Italy, STAR METRICS-USA stb.)

A (bibliometriai) kutatásértékelés szereplői (“aktorok”) Nature 520, 429–431 (23 April 2015) Akadémia szféra, tudománypolitika Kutatóhelyek (egyetemek) Kutatásfinanszírozás szereplői Kutatásértékelési kutató- és szolgáltatóközpontok (ECOOM, CWTS stb.) Adat- és infrastruktúra-szolgáltatók Piaci szolgáltatók (kiadók, adatbázisgazdák, WoS, Scopus stb.) Non-profit szervezetek (adatszabványok: CERIF, ORCID stb.) “Science analytics” üzletág Adatbázis-alapú piaci értékeléstámogató “szoftverek” (SciVal, InCites) Nemzetközi együttműködés sztenderdek kialakítására Deklarációk (DORA, Leiden manifesto) Jó gyakorlatok (Snowball Metrics)

Prominens nemzetközi gyakorlatok és szakértői bázisuk Nature 520, 429–431 (23 April 2015)

Budapesti Tudománymetriai Központ : A „tudománymetria mekkája” Budapesti tudománymetriai iskola

Tartalomjegyzék: Leiden Manifesto Nature 520, 429–431 (23 April 2015)

Többdimenziós értékelés vs. rangsorképzés Leiden Manifesto Natue 520, Nature 520, 429–431 (23 April 2015)

Tudománymetria és kutatásértékelés Cél: sokszempontú teljesítményprofil szerkesztése a tudománymetria és tudománymodellezés eszközeivel Felhasználás: a kutatásértékelés egyik bemeneteként: [tudománymetriailag] informált peer review” Teljesítménydimenziók: „produktivitási”, kibocsátási mutatók, Idézettségi hatás- és minőségmérők strukturális mutatók (kapcsolatrendszer, specializáció stb.)

Korszerű mérőszámrendszer Hatásmérés Idézettségi alapmutatók („alapstatisztikák”): Times Cited; % Documents Cited; Citation Impact Normalizált hatásmutatók Category Normalized Citation Impact; Journal Normalized Citation Impact; Average Percentile; Normalizált kiválósági mutatók % Documents in Top 1%; % Documents in Top 10%; Average Percentile; % Highly Cited Papers; % Hot Papers Kombinált mutatók: H-index

Korszerű mérőszámrendszer Publikációs stratégia és eredményesség Folyóirat-metrikák: JIF, IPP, SJR, SNIP stb. Strukturális mérőszámok A tudományos kapcsolatrendszer mutatói International Collaborations; % International Collaborations; % Industry Collaborations Kutatási profil szerkezeti mutatói (specializáció) Disciplinarity Index; Interdisciplinarity index

Többdimenziós profil vs. rangsor

A mutatók rangkorrelációja a hazai intézmények körében

Kontextusérzékeny mérőszámok, összemérhetőség Leiden Manifesto Natue 520, Nature 520, 429–431 (23 April 2015)

Korszerű mérőszámrendszer: összemérhetőség A tényleges hatás (gyakorlatban negligált) mérőszámcsaládja, a hatás kontextusban mérése: szakterületre (ill. a mű korára és típusára) normalizált idézettség Háttér: Idézettség szakterületi normalizálása = a szakterületek összemérhetővé tétele A legalapvetőbb értékelési torzítás (közlési viselkedésből): szakterületek eltérő idézéssűrűsége (vö. Matematika és klinikai orvostudomány Általános elv: az idézettség szakterületi normához viszonyítása: NCS = mérhető Idézettség (P) / Várható idézettség (C, Y, T) Y=P megjelenési éve, T=P típusa, C=P szakterületi kategóriája

Tetszőleges közleménycsoportok konceptualizációja Alapvető felismerés : a kutatói életmű/intézményi kibocsátás stb. legtöbb esetben szakterületileg heterogén, több szinten multi- ill. interdiszciplináris: (1) közlemények különböző szakterületeken (2) egy közlemény több kategóriában

Korszerű mérőszámrendszer: összemérhetőség Szakterületi átlag

A „robusztus” normalizálás: percentilisek nemparaméteres normaliz á l á s Szakterület

Kategóriahibák: rendeltetésszerűtlen mérőszámhasználat San Francisco Declaration on Research Assessment American Society for Cell Biology, 2012 Nature 520, 429–431 (23 April 2015)

A „minőség” mérése: publikációs stratégia Folyóirat-mérőszámok: JIF, IPP, SJR, SNIP stb. A folyóirat-mutatókkal megragadható értékelési dimenzió: publikációs stratégia Publikációs stratégia mint értékelési mutatószám. Példa: egy közleményhalmaz súlyozott JIF-átlaga (Vinkler P.) Tartalma: Az elismert folyóiratokban való közlés sikere. „Minőségbiztosítási” kritérium (vö. gatekeeper-hipotézis) Idézettség-, de nem hatásmérés!

„Minőség” vs. hatásmérés (szinkrón folyóiratmutatók)

„Gatekeeper”/”Kapuőr”-elmélet

Erőforrások a publikációs stratégia értékeléséhez Web of Science (Thomson): Journal Impact Factor (JIF) EigenFactor (EF) Article Influence Score (AIF) Scopus (Elsevier): Scimago Journal Rank (SJR) Source Normalized Impact per Paper (SNIP) Impact per Paper (IPP) MTMT Journal Impact Factor >> „Presztizsfaktor” (SJR) Google Scholar H-index

A folyóirat-mutatók rendszerezése (részlet) A mutatók rendszerezése (részlet) Mutató Teljesít- mény Méret- normalizált Terület- normalizált Adatbázis Szinkrón/Dia krón JIF Nép- szerűség IgenNem*WoSSzinkrón Eigen- Factor PresztizsNemNem*SCOPUSSzinkrón AISPresztizsIgenNem*WoSSzinkrón NJP Nép- szerűség Igen WoSSzinkrón SJRPresztizsIgenNem*SCOPUSSzinkón

Választás a „nyílt” és a „kommerciális” között WoS-komm (JIF) vs. WoS-open (AIS) (Franceshet, 2010) WoS-komm (JIF) vs. SCOPUS-open (IPP) (Soós-Vida, 2015)

A valódi tét: a választott mutató használata A publikációs stratégia („minőség”) mérése Legtöbb mutató: szakterületfüggő, ferde eloszlású (átlagok félrevezetőek) Elterjedt megoldás: szakterületen belüli kvartilisek alkalmazása (Q1-Q4) Publikációs stratégia mérőszámai: a Q1-Q4- hez tartozó közlemények száma/részaránya (%Q1) %Q1-Q4 tudományterületek között összemérhető (nem aggregált JIF) MTMT-megoldás (SJR-kvartilisek) Kritikák (percentilisek, CSS-módszer stb.)

Tudományrendszertan szerepe a gyakorlatban Tudománytérképezés → értékelési referenciahalmazok publikációfolyóirat WOS Categories (WC) N  250 WC n WC m WC p ESI (n) N=22

Választás az aggregációs szintek között Az MTA szakterületi teljesítménye idősorosan (kibocsátás), ESI

Választás az aggregációs szintek között Az MTA szakterületi teljesítménye idősorosan (kibocsátás), WoS WCs

A választás látens tétje: szakterületi kategorizáció Web of Science (Thomson): Essential Science Indicators (ESI, 22) Subject Areas (>150) Web of Science Categories (>250) Scopus (Elsevier): All Science Journal Classification (ASJC) ASJC Subject Areas (28) ASJC Subject Categories (>300) MTMT Szakterületi kategorizáció Q1-4 szakterületenként értelmezhető (SJR, IF, stb. szakterületfüggő)

Statisztikai csapdák Leiden Manifesto Natue 520, Nature 520, 429–431 (23 April 2015)

Javaslatok a statisztikailag informált eszköztárra Bornmann, L., Mutz, R., & Daniel, H. D. (2013). Multilevel‐statistical reformulation of citation‐based university rankings: The Leiden ranking 2011/2012. Journal of the American Society for Information Science and Technology, 64(8),

Társadalom- és Bölcsészettudományok (SSH) Folyamatban lévő hazai projektek: MTMT-fejlesztés, társadalomtudományi folyóiratok referencia-adatbázisa, IMPACT-EV (MTA KIK TTO)

Tudományos vs. társadalmi hatás („social impact”) Leiden Manifesto Natue 520, Nature 520, 429–431 (23 April 2015)

Tudományos vs. társadalmi hatás („social impact”) Nature 520, 429–431 (23 April 2015)

Tudományos vs. társadalmi hatás ALTmetrics Altmetrics, cybermetrics, webometrics On-line használati mérőszámok Problémák: Adatminőség, jelentés (idézettség vs. használat), normalizáció (kontextus) Kollaboráció (bibliometria) Ipar (magánszféra)-akadémia kapcsolatrendszer Együttműködés, társszerzőség, az együttműködés (akadémiai) hatásmérése

Értékeléstámogató (piaci) szolgáltatások, szoftverek Leiden Manifesto Natue 520, Nature 520, 429–431 (23 April 2015)

A piaci kínálat értékelése A támogató szolgáltatások hozadéka Javítja a kutatásértékelési kultúrát, szakmailag megalapozott mutatók széles körét kínálja Szakszerű használata sokdimenziós értékelést tesz lehetővé Az értékelés dimenziói átjárhatók, a szempontok kombinálhatók, tájékozódó, exploratív használatra ideális Az mutatók az adatbázisok mindenkori aktuális tartalmát közvetítik (frissítési gyakoriság függvényében) Hatékony támogatást biztosít a tudománymetria művelőinek kutatásértékelési feladatok elvégzéséhez: szakszerű felhasználáshoz nagy segítség (benchmarkok)

A piaci kínálat értékelése Veszélyei, kockázatai, gyengeségei Az adatminőség a közvetlen felhasználást kockázatossá teszi (hozzárendelés, aggregációs szintek) A mutatók nagy választéka és értelmezése szakértelmet kíván A lekérdezések rangsor-jellegű eredményt adnak, ami félrevezető (vö. a Scimago Institutional Ranking 2013-as médiavisszhangját) Az eredmények komplett kutatásértékelési jelentésként kínálják magukat, noha csupán bemenetet szolgáltatnak ehhez

Nemzetközi metrikarendszerek összevetése

Alkalmazhatóság és kommunikálhatóság vs. komplexitás Nature 520, 429–431 (23 April 2015) Item oriented field normalized logarithm based citation z-score average “Bonyolult számítási eljárás, nehezen kommunikálható” ”Ez a mérőszám ritkán használatos a Karolinska Intézetben”

A kutatásértékelés hazai szolgáltatói TTO EISZ MTMT „hivatalos” kutatásértékelési felhasználás (pl. Minisztériumi igények) Fejlesztés folyóirat-értékelés, szakterületi kategorizáció Részvétel a tudományelemzést igénylő EISZ-feladatokban (intézményprofilok) EISZ-felhasználók szakmai tájékoztatása

Az MTMT Az MTMT mint alapvető infrastruktúra: Jelenleg: A teljesítmény mintavételezésének megbízhatósága: intézményi affiliációk pontos nyilvántartása (intézményi, egyéni teljesítmény) A jövőben: A szakterületi kategorizáció, referenciastruktúra előállítása: külön referenciahalmazok a nemzetközi adatbázisokban nem indexelt közleményekhez. Az egyéni teljesítményértékelés mellett számos kutatásértékelési felhasználási lehetőség (hazai K+F struktúrája, folyóiratminősítés stb.)

Az értékelési modell: a tudománymetria mint mediátor Piaci szolgáltatók (Kiadók) Open access források (Google Scholar) Felhasználók Kutatók Döntéshozók (kutatásfinanszírozás) Értékelő fórumok MTMT Független tudománymetriai szakértő