V tomto blogovom príspevku skúmame problémy so súčasným systémom hodnotenia vedeckého výskumu, ktorý sa zameriava na Index citácií časopisov, a zvažujeme, či presne odráža skutočnú hodnotu výskumu.
Vo vedeckej komunite sa kvalifikácia výskumníkov a dôležitosť ich prác hodnotia pomocou „impakt faktoru časopisu“. Kritika tejto praxe však v poslednom čase narastá. V máji minulého roka sa v San Franciscu zišlo viac ako sto výskumníkov v oblasti vedy a techniky, aby oznámili „Sanfranciskú deklaráciu o hodnotení výskumu“. V súčasnosti sa k tomuto hnutiu pridali desaťtisíce výskumníkov. Poukazujú na niekoľko kritických nedostatkov v metóde hodnotenia založenej na indexe citácií časopisov. V tomto článku preskúmam konkrétnu kritiku indexu citácií časopisov a argumentujem, že nemôže slúžiť ako meradlo na hodnotenie vedeckého výskumu.
Impakt faktor časopisu je numerické meradlo vplyvu časopisu. Pôvodne bol navrhnutý ako metrika pre knihovníkov. Dôvodom bolo, že knižnice potrebovali vyhodnotiť relatívny význam rôznych kandidátov pri výbere akademických časopisov, ktoré si budú pravidelne odoberať. Metóda výpočtu citačného indexu časopisu je jednoduchá. Napríklad, ak existuje časopis s názvom „Veda a technika“ a ak bolo v časopise „Veda a technika“ za posledné dva roky publikovaných celkovo 20 článkov a tieto články boli citované celkovo 200-krát, potom by citačný index pre časopis „Veda a technika“ bol 200/20 alebo 10. Inými slovami, „citačný index 10“ znamená, že priemerný počet citácií na článok publikovaný v časopise „Veda a technika“ za posledné dva roky je 10. Citačný index časopisu je teda numerická hodnota, ktorá kvantitatívne vyjadruje dôležitosť časopisu.
Problém je však v tom, že citačný index časopisu sa často používa priamo na hodnotenie dôležitosti jednotlivých prác. Hodnota impakt faktora časopisu priamo slúži ako skóre vplyvu pre články publikované v danom časopise. Napríklad, ak existujú dva časopisy – „Science and Technology“ s impakt faktorom 10 a „Monthly Engineering“ s impakt faktorom 90 – potom sú všetky články publikované v časopise „Science and Technology“ hodnotené 10 bodmi, zatiaľ čo všetky články v časopise „Monthly Engineering“ sú hodnotené 90 bodmi. Skóre hodnotené týmto spôsobom sa prirodzene uplatňuje aj na autorov týchto článkov. V dôsledku toho výskumník A, ktorý publikoval článok v časopise „Science and Technology“, získa 10 bodov, zatiaľ čo výskumník B, ktorý publikoval článok v časopise „Monthly Engineering“, získa 90 bodov. Bez ohľadu na ich kvalifikáciu ako výskumníkov alebo originalitu ich článkov vzniká medzi A a B 80-bodový rozdiel.
Prvým problémom s impakt faktormi časopisov je „štatistická pasca“. Keďže impakt faktor časopisu je priemer, počet citácií sa môže značne líšiť aj medzi článkami publikovanými v tom istom časopise. Vplyv jednotlivého článku nekoreluje jednoducho s impakt faktorom časopisu, v ktorom bol publikovaný. Napríklad, hoci článok autora A môže mať impakt faktor 10, v skutočnosti môže byť citovaný desiatky alebo dokonca stovky krát. Je však možné, že celkový priemer klesol na 10 jednoducho preto, že počet citácií iných článkov publikovaných v časopise „Veda a technika“ bol veľmi nízky. Naopak, hoci článok autora B mohol byť citovaný iba raz alebo dvakrát, mohol mať prospech z efektu prelievania, pričom citačný index časopisu by vyskočil na 90, pretože iné články v časopise „Monthly Engineering“ boli citované veľmi často. V takejto situácii nemá zmysel porovnávať výskum časopisu A a B s impakt faktorom. Namiesto toho je rozumné porovnať počet citácií článkov A a B jednotlivo a dospieť k záveru, že článok A má oveľa väčší impakt. Podľa Sanfranciskej deklarácie približne 25 % článkov v časopise predstavuje 90 % celkového počtu citácií. Inými slovami, ak sa impakt faktor časopisu aplikuje priamo na jednotlivé články, nevyhnutne budú existovať články, ktoré sú znevýhodnené, a iné, ktoré z toho nespravodlivo profitujú.
Po druhé, hodnotenie výskumu založené na impakt faktore časopisu neodráža jedinečné charakteristiky každej akademickej disciplíny. Napríklad v oblastiach ako medicína alebo biológia, keď sa navrhne nová teória, vykonáva sa množstvo experimentov na overenie jej platnosti. Keďže klinické skúšky súvisiace s jedným článkom často nasledujú následné štúdie, impakt faktory biologických a medicínskych časopisov sú nevyhnutne vyššie ako v iných prírodných vedách alebo technických odboroch. Na druhej strane, v čistej matematike je jeden článok zvyčajne samostatný. Následný výskum alebo experimenty nie sú potrebné. Preto majú matematické články tendenciu mať relatívne málo citácií a impakt faktory čisto matematických časopisov sú nevyhnutne nízke. Okrem toho, vo vysoko špecializovaných odboroch s malým počtom výskumníkov je počet citácií relatívne nízky. Naopak, časopisy vo veľkých odboroch s aktívnym výskumom a veľkým počtom výskumníkov budú mať relatívne vysoký počet citácií. Metóda hodnotenia založená na indexe citácií časopisov má teda obmedzenie v tom, že nezohľadňuje zásadné rozdiely vyplývajúce z povahy každej disciplíny.
Tretím problémom je nepriaznivý vplyv Journal Citation Indexu, ktorý vedie ku koncentrácii článkov v malom počte populárnych časopisov. Výskumníci, ktorí sa pripravujú na predloženie článku, prirodzene chcú, aby ich práca bola publikovaná vo svetovo uznávaných časopisoch, ako sú „Cell“, „Nature“ a „Science“. Je to preto, že tieto časopisy majú najvyššie impakt faktory. Ak sa táto koncentrácia v niekoľkých časopisoch stane nadmernou, publikovanie článku sa môže pre výskumníkov považovať za dôležitejšie ako samotný výskum. Kultúra, ktorá uznáva iba články publikované v špičkových časopisoch, sa skôr, ako sme sa nazdali, stala globálnym fenoménom. Ak táto „mentalita luxusnej značky“ – ktorá podceňuje dôsledný výskumný proces a zdôrazňuje iba viditeľné výsledky – bude pokračovať, mohla by skresliť samotnú podstatu vedy. Okrem toho niektoré časopisy podporujú „samocitácie“ alebo citácie článkov publikovaných v ich vlastných časopisoch v snahe zvýšiť svoje vlastné impakt faktory. Hodnotenie založené na impakt faktoroch časopisov teda vedie k neprimeranej a neetickej konkurencii.
Samozrejme, impakt faktory časopisov nie sú bez svojich výhod. Dôvodom ich širokého používania je ich schopnosť uľahčiť rýchle a pohodlné hodnotenie výskumníkov. Redaktori každého časopisu slúžia ako „odborní hodnotitelia“. Rýchlo identifikujú dôležitý a pozoruhodný výskum uprostred záplavy výskumných výstupov. V dnešnej rýchlo sa meniacej a rozširujúcej vedeckej komunite je to nepopierateľná výhoda.
Ako sme však videli, za touto výhodou sa skrývajú kritické nedostatky. Prvou je štatistická pasca: impakt faktor časopisu sa môže líšiť od skutočného počtu citácií, ktoré jeden článok dostane. Druhou je, že impakt faktor nezohľadňuje jedinečné charakteristiky jednotlivých disciplín. Bolo poukázané na to, že v niektorých oblastiach počet citácií prakticky nesúvisí s vplyvom článku. Posledným problémom je, že táto metóda hodnotenia podporuje nehospodárnu konkurenciu vo vedeckej komunite, napríklad vytváraním monopolnej štruktúry, v ktorej dominuje niekoľko prestížnych časopisov.
Aby sa prekonali tieto problémy a dosiahol sa riadny vedecký rozvoj, vedecká komunita v súčasnosti hľadá nové hodnotiace kritériá. Najjednoduchším prístupom je zahrnúť do hodnotenia počet citácií jednotlivých výskumníkov. To slúži ako alternatíva k riešeniu úskalí štatistiky. Ďalšia metóda zahŕňa použitie upraveného indexu, ktorý odráža jedinečné charakteristiky každej disciplíny. Použitím upraveného indexu – vypočítaného vydelením impakt faktora časopisu priemerným počtom citácií 20 % najlepších časopisov v danom odbore – je možné normalizovať údaje tak, aby zohľadnili špecifiká každej akademickej disciplíny. Základnejšou alternatívou by bolo oživiť partnerské hodnotenie a vyvinúť kvalitatívne hodnotiace kritériá namiesto spoliehania sa na kvantitatívne metriky, ako sú impakt faktory časopisov alebo počet citácií. V súčasnosti sa od vedeckej komunity vyžaduje sebareflexia a komunikácia s cieľom navrhnúť racionálne metódy hodnotenia.
