A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 1 A kiválóság mércéi és az ezek körüli viták SCHUBERT ANDRÁS MTA – KSZI, Budapest.

Az előadások a következő témára: "A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 1 A kiválóság mércéi és az ezek körüli viták SCHUBERT ANDRÁS MTA – KSZI, Budapest."— Előadás másolata:

1 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 1 A kiválóság mércéi és az ezek körüli viták SCHUBERT ANDRÁS MTA – KSZI, Budapest

2 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 2 Tartalom  Mit és hogyan mér a tudománymetria?  Mire és hogyan használhatók a tudománymetria eredményei?  Mércék és viták – példák és ellenpéldák

3 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 3 Mit és hogyan mér a tudománymetria?  A tudománymetria definíciója  Tárgy: a tudományos tevékenység minden mérhető aspektusa (legfőképpen a tudományos szakirodalom)  Eszköz: kvantitatív (főként statisztikai) eszközök  Cél: a tudományos tevékenység működési mechanizmusának megértése, és – ha lehetséges – javítása  Rokon területek: Bibliometria Informetria Webometria

4 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 4 Mit és hogyan mér a tudománymetria?  A tudománymetria területei  Strukturális tudománymetria A tudományos közösségek, dokumentumhalmazok, fogalmak strukturális térképezése  Dinamikus tudománymetria A tudományos információ tér- és időbeli viselkedésének tanulmányozása  Evaluatív tudománymetria A tudományos kutatás szereplői (országok, intézmények, folyóiratok, egyének, stb.) tudományos teljesítményének megítélése

5 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 5 Mit és hogyan mér a tudománymetria?  Mutatószámok  Strukturális: Erdős-szám, Bonachich-mérték, stb.  Dinamikus: kétszereződési idő, idézettségi felezési idő, stb.  Evaluatív: impakt faktor, Hirsch-index, stb.

6 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 6 Mit és hogyan mér a tudománymetria?  Skálák és dimenziók  Relevancia és megbízhatóság; mikro-, mezo- és makroszintű vizsgálatok  Relatív mutatószámok és relációs diagrammok  Többdimenziós statisztikai technikák

7 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 7 Mit és hogyan mér a tudománymetria?

8 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 8 Mit és hogyan mér a tudománymetria?

9 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 9 Mire és hogyan használhatók a tudománymetria eredményei?  A tudománymetria célközönsége  tudománymetria a tudomány művelőinek  tudománymetria a tudományos információ hivatásosainak  tudománymetria a tudomány döntéshozóinak

10 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 10 Mire és hogyan használhatók a tudománymetria eredményei?  Az alkalmazás irányelvei  az értékelés módszere az értékelés céljától függ  többdimenzionalitás; inkább alternatív, mint kombinált mércék  antidiagnosztikus alkalmazás (kiválóság!) Diagnózis: a betegség felismerése jeleiből és tüneteiből Antidiagnózis: az egészség felismerése jeleiből és tüneteiből

11 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 11 Mércék és viták – példák és ellenpéldák  A "sanghaji lista"  Impakt faktor (hatástényező, Garfield-index)  Hirsch-index

12 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 12 Mércék és viták – példák és ellenpéldák  A „sanghaji lista” A sanghaji Jiao Tong Egyetem munkatársai első alkalommal 2004-ben tették közzé a Világ Egyetemeinek Tudományos Rangsorát, amely rövidesen heves viták kereszttüzébe került. A rangsort az egyetemekről kikerült Nobel- és Field-díjas kutatók száma (10%), az egyetemen dolgozó Nobel- és Field-díjas kutatók száma (20%), az Essential Science Indicators adatbázisban szereplő „erősen idézett kutatók” száma (20%), a Nature és Science folyóiratokban publikált cikkek száma (20%), a Science Citation Index, Social Sciences Citation Index, és az Arts and Humanities Citation Index adatbázisokban található publikációk száma (20%), valamint az egyetem mérete (10%) alapján konstruálják.

13 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 13 Mércék és viták – példák és ellenpéldák  Impakt faktor (hatástényező, Garfield-index)  A folyóiratok impakt faktora annak a mértéke, hogy milyen gyakran idézik a tárgyévben a folyóiratnak a megelőző két évben megjelent "átlagos cikkét".  Az impakt faktorral kapcsolatos viták témája a 2+1 éves időszak alkalmassága, az impakt faktornak nem folyóiratokra való alkalmazhatósága, ezen belül kiváltképp az impakt faktornak az egyének értékelésében való használhatósága.

14 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 14 Mércék és viták – példák és ellenpéldák Az impakt faktor alkalmazása az értékelésben Két ellentétes szerep: 1.„Impakt faktor a számlálóban” Ilyenkor az impakt faktor a publikációs stratégia ambíciózusságának, ill. friss publikációk jövőben várható idézettségének megítélését szolgálja. 2.„Impakt faktor a nevezőben” Ilyenkor az impakt faktor az elvárt idézettség mércéjéül szolgál, amihez a ténylegesen kapott idézettséget hozzámérhetjük.

15 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 15 Mércék és viták – példák és ellenpéldák  Hirsch index  Egy kutató indexe h, ha h cikke legalább h idézetet kapott, míg a többi nem kapott h-nál többet.  Bár a h-indexet eredetileg az egyéni kutatói kiválóság mércéjeként vezették be, esetenként még eredményesebben használható más objektumok (pl. folyóiratok, országok) értékelésében.  A h-index (h), a publikációk száma (n) és az átlagos idézettség (x) között egy meglepően egyszerű, és elméleti megfontolásokkal is igazolható összefüggést találtunk: h ≈ n 1/3 x 1/2. Ez azt is mutatja, hogy bár a h-index egy meglepően eredeti statisztikai ötleten alapszik, lényegében nem kínál új, az eddigiektől független értékelési szempontot.

16 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 16 A idegtudományi folyóiratok h-indexének függése a folyóirat méretétől és impakt faktorától

17 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 17 A 2003. évi h-index lista vezető folyóiratai

18 A kutatás és innováció értékelése MTA, Budapest, 2007. április 25. 18 Százszor mérni, egyszer vágni!