A kutatás és innováció értékelése MTA, Budapest, április A kiválóság mércéi és az ezek körüli viták SCHUBERT ANDRÁS MTA – KSZI, Budapest

A kutatás és innováció értékelése MTA, Budapest, április Tartalom  Mit és hogyan mér a tudománymetria?  Mire és hogyan használhatók a tudománymetria eredményei?  Mércék és viták – példák és ellenpéldák

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?  A tudománymetria definíciója  Tárgy: a tudományos tevékenység minden mérhető aspektusa (legfőképpen a tudományos szakirodalom)  Eszköz: kvantitatív (főként statisztikai) eszközök  Cél: a tudományos tevékenység működési mechanizmusának megértése, és – ha lehetséges – javítása  Rokon területek: Bibliometria Informetria Webometria

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?  A tudománymetria területei  Strukturális tudománymetria A tudományos közösségek, dokumentumhalmazok, fogalmak strukturális térképezése  Dinamikus tudománymetria A tudományos információ tér- és időbeli viselkedésének tanulmányozása  Evaluatív tudománymetria A tudományos kutatás szereplői (országok, intézmények, folyóiratok, egyének, stb.) tudományos teljesítményének megítélése

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?  Mutatószámok  Strukturális: Erdős-szám, Bonachich-mérték, stb.  Dinamikus: kétszereződési idő, idézettségi felezési idő, stb.  Evaluatív: impakt faktor, Hirsch-index, stb.

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?  Skálák és dimenziók  Relevancia és megbízhatóság; mikro-, mezo- és makroszintű vizsgálatok  Relatív mutatószámok és relációs diagrammok  Többdimenziós statisztikai technikák

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?

A kutatás és innováció értékelése MTA, Budapest, április Mit és hogyan mér a tudománymetria?

A kutatás és innováció értékelése MTA, Budapest, április Mire és hogyan használhatók a tudománymetria eredményei?  A tudománymetria célközönsége  tudománymetria a tudomány művelőinek  tudománymetria a tudományos információ hivatásosainak  tudománymetria a tudomány döntéshozóinak

A kutatás és innováció értékelése MTA, Budapest, április Mire és hogyan használhatók a tudománymetria eredményei?  Az alkalmazás irányelvei  az értékelés módszere az értékelés céljától függ  többdimenzionalitás; inkább alternatív, mint kombinált mércék  antidiagnosztikus alkalmazás (kiválóság!) Diagnózis: a betegség felismerése jeleiből és tüneteiből Antidiagnózis: az egészség felismerése jeleiből és tüneteiből

A kutatás és innováció értékelése MTA, Budapest, április Mércék és viták – példák és ellenpéldák  A "sanghaji lista"  Impakt faktor (hatástényező, Garfield-index)  Hirsch-index

A kutatás és innováció értékelése MTA, Budapest, április Mércék és viták – példák és ellenpéldák  A „sanghaji lista” A sanghaji Jiao Tong Egyetem munkatársai első alkalommal 2004-ben tették közzé a Világ Egyetemeinek Tudományos Rangsorát, amely rövidesen heves viták kereszttüzébe került. A rangsort az egyetemekről kikerült Nobel- és Field-díjas kutatók száma (10%), az egyetemen dolgozó Nobel- és Field-díjas kutatók száma (20%), az Essential Science Indicators adatbázisban szereplő „erősen idézett kutatók” száma (20%), a Nature és Science folyóiratokban publikált cikkek száma (20%), a Science Citation Index, Social Sciences Citation Index, és az Arts and Humanities Citation Index adatbázisokban található publikációk száma (20%), valamint az egyetem mérete (10%) alapján konstruálják.

A kutatás és innováció értékelése MTA, Budapest, április Mércék és viták – példák és ellenpéldák  Impakt faktor (hatástényező, Garfield-index)  A folyóiratok impakt faktora annak a mértéke, hogy milyen gyakran idézik a tárgyévben a folyóiratnak a megelőző két évben megjelent "átlagos cikkét".  Az impakt faktorral kapcsolatos viták témája a 2+1 éves időszak alkalmassága, az impakt faktornak nem folyóiratokra való alkalmazhatósága, ezen belül kiváltképp az impakt faktornak az egyének értékelésében való használhatósága.

A kutatás és innováció értékelése MTA, Budapest, április Mércék és viták – példák és ellenpéldák Az impakt faktor alkalmazása az értékelésben Két ellentétes szerep: 1.„Impakt faktor a számlálóban” Ilyenkor az impakt faktor a publikációs stratégia ambíciózusságának, ill. friss publikációk jövőben várható idézettségének megítélését szolgálja. 2.„Impakt faktor a nevezőben” Ilyenkor az impakt faktor az elvárt idézettség mércéjéül szolgál, amihez a ténylegesen kapott idézettséget hozzámérhetjük.

A kutatás és innováció értékelése MTA, Budapest, április Mércék és viták – példák és ellenpéldák  Hirsch index  Egy kutató indexe h, ha h cikke legalább h idézetet kapott, míg a többi nem kapott h-nál többet.  Bár a h-indexet eredetileg az egyéni kutatói kiválóság mércéjeként vezették be, esetenként még eredményesebben használható más objektumok (pl. folyóiratok, országok) értékelésében.  A h-index (h), a publikációk száma (n) és az átlagos idézettség (x) között egy meglepően egyszerű, és elméleti megfontolásokkal is igazolható összefüggést találtunk: h ≈ n 1/3 x 1/2. Ez azt is mutatja, hogy bár a h-index egy meglepően eredeti statisztikai ötleten alapszik, lényegében nem kínál új, az eddigiektől független értékelési szempontot.

A kutatás és innováció értékelése MTA, Budapest, április A idegtudományi folyóiratok h-indexének függése a folyóirat méretétől és impakt faktorától

A kutatás és innováció értékelése MTA, Budapest, április A évi h-index lista vezető folyóiratai

A kutatás és innováció értékelése MTA, Budapest, április Százszor mérni, egyszer vágni!