V tej objavi na blogu preučujemo težave s trenutnim sistemom ocenjevanja znanstvenih raziskav, ki se osredotoča na indeks citiranosti revij, in preučujemo, ali ta sistem natančno odraža resnično vrednost raziskav.
V znanstveni skupnosti se kvalifikacije raziskovalcev in pomembnost njihovih člankov ocenjujeta z uporabo »faktorja vpliva revij«. Vendar pa so kritike te prakse v zadnjem času vse večje. Maja lani se je v San Franciscu zbralo več kot sto raziskovalcev s področja znanosti in tehnologije, da bi objavili »Sanfranciško deklaracijo o ocenjevanju raziskav«. Trenutno se je temu gibanju pridružilo več deset tisoč raziskovalcev. Opozarjajo na več kritičnih pomanjkljivosti metode ocenjevanja, ki temelji na indeksu citiranja revij. V tem članku bom preučil specifične kritike indeksa citiranja revij in trdil, da ne more služiti kot merilo za ocenjevanje znanstvenih raziskav.
Faktor vpliva revije je numerična mera vpliva revije. Prvotno je bil zasnovan kot metrika za knjižničarje. To je bilo zato, ker so morale knjižnice pri izbiri akademskih revij, na katere se bodo redno naročale, oceniti relativno pomembnost različnih kandidatov. Metoda za izračun indeksa citiranja revij je preprosta. Če na primer obstaja revija z imenom »Science and Technology« in če je bilo v zadnjih dveh letih v njej objavljenih skupno 20 člankov, ti članki pa so bili citirani skupno 200-krat, potem bi bil indeks citiranja za »Science and Technology« 200/20 oziroma 10. Z drugimi besedami, »indeks citiranja 10« pomeni, da je povprečno število citatov na članek, objavljen v »Science and Technology« v zadnjih dveh letih, 10. Indeks citiranja revije je torej numerična vrednost, ki kvantitativno izraža pomembnost revije.
Vendar je težava v tem, da se indeks citiranja revij pogosto uporablja neposredno za oceno pomembnosti posameznih člankov. Vrednost faktorja vpliva revije neposredno služi kot ocena vpliva za članke, objavljene v tej reviji. Če na primer obstajata dve reviji – »Science and Technology« s faktorjem vpliva 10 in »Monthly Engineering« s faktorjem vpliva 90 – potem so vsi članki, objavljeni v »Science and Technology«, ocenjeni z 10 točkami, medtem ko so vsi članki v »Monthly Engineering« ocenjeni z 90 točkami. Ocene, ocenjene na ta način, se seveda uporabijo tudi za avtorje teh člankov. Posledično raziskovalec A, ki je objavil članek v »Science and Technology«, prejme 10 točk, raziskovalec B, ki je objavil članek v »Monthly Engineering«, pa 90 točk. Ne glede na njuno kvalifikacijo kot raziskovalca ali izvirnost njunih člankov se med A in B pojavi 80-točkovna razlika.
Prva težava z faktorji vpliva revij je »statistična past«. Ker je faktor vpliva revije povprečje, se lahko število citatov zelo razlikuje tudi med članki, objavljenimi v isti reviji. Vpliv posameznega članka ni zgolj povezan s faktorjem vpliva revije, v kateri je bil objavljen. Na primer, čeprav ima članek avtorja A faktor vpliva 10, bi ga lahko dejansko citirali več deset ali celo stokrat. Vendar je možno, da je skupno povprečje padlo na 10 preprosto zato, ker je bilo število citiranj drugih člankov, objavljenih v reviji »Znanost in tehnologija«, zelo nizko. Nasprotno pa bi lahko članek avtorja B, čeprav je bil citiran le enkrat ali dvakrat, imel koristi od učinka prelivanja, saj bi indeks citiranja revije poskočil na 90, ker so bili drugi članki v reviji »Monthly Engineering« citirani zelo pogosto. V takšni situaciji je nesmiselno upoštevati faktor vpliva revije pri primerjavi raziskav A in B. Namesto tega je smiselno primerjati število citacij člankov A in B posamično ter sklepati, da ima članek A veliko večji vpliv. V skladu z deklaracijo iz San Francisca približno 25 % člankov v reviji predstavlja 90 % vseh citatov. Z drugimi besedami, če se faktor vpliva revije uporabi neposredno za posamezne članke, bodo neizogibno nekateri članki v slabšem položaju in drugi, ki bodo nepravično imeli koristi.
Drugič, vrednotenje raziskav, ki temelji na faktorju vpliva revije, ne odraža edinstvenih značilnosti posamezne akademske discipline. Na primer, na področjih, kot sta medicina ali biologija, se ob predlaganju nove teorije izvedejo številni poskusi, da se preveri njena veljavnost. Ker kliničnim preskušanjem, povezanim z enim samim člankom, pogosto sledijo nadaljnje študije, so faktorji vpliva revij iz biologije in medicine neizogibno višji kot na drugih področjih naravoslovja ali inženirstva. Po drugi strani pa je v čisti matematiki en sam članek običajno samostojen. Nadaljnje raziskave ali poskusi niso potrebni. Zato imajo matematični članki običajno relativno malo citatov, faktorji vpliva revij iz čiste matematike pa so neizogibno nizki. Poleg tega je na visoko specializiranih področjih z malo raziskovalci število citatov relativno nizko. Nasprotno pa bodo imele revije na velikih področjih z aktivnimi raziskavami in velikim številom raziskovalcev relativno visoko število citatov. Zato ima metoda vrednotenja, ki temelji na indeksu citiranosti revij, omejitev, da ne upošteva temeljnih razlik, ki izhajajo iz narave posamezne discipline.
Tretja težava je negativen učinek indeksa citiranosti revij (Journal Citation Index), ki vodi do koncentracije člankov v majhnem številu priljubljenih revij. Raziskovalci, ki se pripravljajo na oddajo članka, si seveda želijo, da bi bilo njihovo delo objavljeno v svetovno priznanih revijah, kot so 'Cell', 'Nature' in 'Science'. To je zato, ker imajo te revije najvišje faktorje vpliva. Če ta koncentracija v nekaj revijah postane pretirana, lahko objava članka za raziskovalce postane pomembnejša od same raziskave. Kultura, ki priznava le članke, objavljene v vrhunskih revijah, je, še preden smo se zavedli, postala globalni pojav. Če se bo ta »mentaliteta luksuzne blagovne znamke« – ki podcenjuje skrben raziskovalni proces in poudarja le vidne rezultate – nadaljevala, bi lahko izkrivila samo bistvo znanosti. Poleg tega nekatere revije spodbujajo »samocitiranje« oziroma citiranje člankov, objavljenih v njihovih lastnih revijah, da bi povečale lastne faktorje vpliva. Tako ocenjevanje na podlagi faktorjev vpliva revij povzroča nerazumno in neetično konkurenco.
Seveda faktorji vpliva revij niso brez svojih prednosti. Razlog za njihovo široko uporabo je njihova sposobnost omogočanja hitrega in priročnega ocenjevanja raziskovalcev. Uredniki posamezne revije delujejo kot »strokovni ocenjevalci«. Hitro prepoznajo pomembne in omembe vredne raziskave sredi poplave raziskovalnih rezultatov. V današnji hitro spreminjajoči se in rastoči znanstveni skupnosti je to nedvomna prednost.
Vendar pa se za to priročnostjo, kot smo videli, skrivajo kritične pomanjkljivosti. Prva je statistična past: faktor vpliva revije se lahko razlikuje od dejanskega števila citatov, ki jih prejme posamezen članek. Druga je, da faktor vpliva ne upošteva edinstvenih značilnosti posameznih disciplin. Poudarjeno je bilo, da je na nekaterih področjih število citatov praktično nepovezano z vplivom članka. Zadnja težava je, da ta metoda ocenjevanja spodbuja potratno konkurenco znotraj znanstvene skupnosti, na primer z ustvarjanjem monopolne strukture, v kateri prevladuje nekaj prestižnih revij.
Da bi premagali te težave in dosegli ustrezen znanstveni razvoj, znanstvena skupnost trenutno išče nova merila za ocenjevanje. Najenostavnejši pristop je vključitev števila citiranj posameznih raziskovalcev v ocenjevanje. To služi kot alternativa za reševanje pasti statistike. Druga metoda vključuje uporabo prilagojenega indeksa, ki odraža edinstvene značilnosti vsake discipline. Z uporabo prilagojenega indeksa – izračunanega tako, da se faktor vpliva revije deli s povprečnim številom citiranj najboljših 20 % revij na njenem področju – je mogoče normalizirati podatke, da se upoštevajo posebnosti vsake akademske discipline. Bolj temeljna alternativa bi bila oživitev medsebojnega pregleda in razvoj kvalitativnih meril za ocenjevanje, namesto da bi se zanašali na kvantitativne metrike, kot so faktorji vpliva revij ali število citiranj. Trenutno se od znanstvene skupnosti zahteva samorefleksija in komunikacija za oblikovanje racionalnih metod ocenjevanja.
