Impact factor jako měřítko kvality: proč to nefunguje

Impact factor má být ukazatelem prestiže časopisu. V praxi se stal ukazatelem toho, jak dobře umíme hrát hru, kterou jsme si sami vymysleli.

Co vlastně impact factor měří

Impact factor je průměrný počet citací na článek v daném časopise za poslední dva roky. Zní to jako rozumná metrika. Ale problém je v detailu: metrika je založena na časopise, ne na článku. Většina článků v „vysoce impaktovaném” časopise má přitom nulové nebo minimální citace.

Statisticky tedy publikovat v Nature nebo Science neznamená, že váš článek bude mít velký dopad. Znamená to, že jste se dostali do časopisu, kde pár superstar článků vytáhne průměr nahoru.

Jak impact factor deformuje výzkum

Když je cílem dostat se do časopisu s vysokým impact factorem, výzkumníci se přirozeně orientují na trendy, kontroverzní témata a „sexy” výsledky. Fundamentální výzkum, repetice studií a negativní výsledky nemají šanci - i když jsou pro vědu stejně důležité.

Výsledek je publikační ekonomika, ve které se preferuje rychlost nad hloubku, senzace nad rigoróznost a individualismus nad kolaboraci.

Co říkají data

Studie ukazují, že mezi impact factorem časopisu a citovaností konkrétního článku je jen slabá korelace. Důvěryhodnost výsledků - měřená mírou replikace - je přitom nezávislá na impact factoru. Metrika, která má měřit kvalitu, ji ve skutečnosti neměří.

Alternativy, které existují

DORA (San Francisco Declaration on Research Assessment) vyzývá k opuštění impact factoru jako hodnotícího kritéria. Některé země už tento přístup zavádějí. Cesta ven existuje - jen vyžaduje, abychom přestali věřit číslu, které nám dává falešný pocit jistoty.