このブログ記事では、ジャーナル引用指数を中心とした現在の科学研究評価システムの問題点を検証し、それが研究の真の価値を正確に反映しているかどうかを検討します。
科学界では、研究者の資質や論文の重要性は「ジャーナルインパクトファクター」を用いて評価される。しかし、近年、この評価方法に対する批判が高まっている。昨年5月、100名を超える科学技術研究者がサンフランシスコに集まり、「サンフランシスコ研究評価宣言」を発表した。現在、数万人の研究者がこの運動に参加している。彼らは、ジャーナル引用指数に基づく評価方法の重大な欠陥を指摘している。本稿では、ジャーナル引用指数に対する具体的な批判を検証し、それが科学研究を評価する基準として機能し得ないことを論じる。
ジャーナルインパクトファクターは、ジャーナルの影響力を示す数値です。これはもともと図書館員向けの指標として考案されました。図書館は、定期的に購読する学術誌を選択する際に、さまざまな候補の相対的な重要性を評価する必要があったためです。ジャーナル引用指数の計算方法は簡単です。たとえば、「科学と技術」というジャーナルがあり、過去2年間に「科学と技術」に合計20本の論文が掲載され、これらの論文が合計200回引用された場合、「科学と技術」の引用指数は200/20、つまり10になります。言い換えれば、「引用指数10」とは、過去2年間に「科学と技術」に掲載された論文1本あたりの平均引用数が10であることを意味します。このように、ジャーナル引用指数は、ジャーナルの重要性を定量的に表す数値です。
しかし、問題は、ジャーナル引用指数が個々の論文の重要性を評価するために直接適用されることが多い点にある。ジャーナルのインパクトファクターの値は、そのジャーナルに掲載された論文の影響力スコアとして直接用いられる。例えば、インパクトファクターが10の「Science and Technology」とインパクトファクターが90の「Monthly Engineering」という2つのジャーナルがあるとすると、「Science and Technology」に掲載された論文はすべて10ポイントと評価され、「Monthly Engineering」に掲載された論文はすべて90ポイントと評価される。このように評価されたスコアは、当然ながら論文の著者にも適用される。結果として、「Science and Technology」に論文を発表した研究者Aは10ポイントを獲得し、「Monthly Engineering」に論文を発表した研究者Bは90ポイントを獲得する。研究者としての資格や論文の独創性に関わらず、AとBの間には80ポイントの差が生じる。
ジャーナルインパクトファクターの最初の問題点は、「統計的罠」です。ジャーナルインパクトファクターは平均値であるため、同じジャーナルに掲載された論文であっても、引用数は大きく異なる場合があります。個々の論文の影響力は、その論文が掲載されたジャーナルのインパクトファクターと単純に相関するわけではありません。例えば、Aの論文のインパクトファクターが10であっても、実際には数十回、あるいは数百回引用されている可能性があります。しかし、「Science and Technology」に掲載された他の論文の引用数が非常に少なかったために、全体の平均が10に下がった可能性もあります。逆に、Bの論文は1回か2回しか引用されていないかもしれませんが、「Monthly Engineering」に掲載された他の論文が非常に頻繁に引用されたため、ジャーナルの引用指数が90に跳ね上がり、波及効果の恩恵を受けた可能性があります。このような状況では、AとBの研究を比較する際に、ジャーナルのインパクトファクターを考慮することは無意味です。むしろ、AとBの論文それぞれの引用数を比較し、Aの論文の方がはるかに大きな影響力を持っていると結論づけるのが妥当です。サンフランシスコ宣言によれば、ジャーナルに掲載された論文の約25%が、総引用数の90%を占めています。つまり、ジャーナルのインパクトファクターを個々の論文に直接適用すると、不利になる論文と不当に有利になる論文が必然的に生じるのです。
第二に、ジャーナルのインパクトファクターに基づく研究評価は、各学問分野の固有の特性を反映していない。例えば、医学や生物学などの分野では、新しい理論が提唱されると、その妥当性を検証するために数多くの実験が行われる。一つの論文に関連する臨床試験は、しばしば後続の研究へと繋がるため、生物学や医学のジャーナルのインパクトファクターは、他の自然科学や工学分野のものよりも必然的に高くなる。一方、純粋数学では、一つの論文は通常、それ自体で完結している。後続の研究や実験は不要である。したがって、数学論文は引用数が比較的少なく、純粋数学ジャーナルのインパクトファクターは必然的に低くなる。さらに、研究者が少ない高度に専門化された分野では、引用数は比較的少なくなる。逆に、活発な研究が行われ、研究者数が多い大規模分野のジャーナルは、引用数が比較的多くなる。このように、ジャーナル引用指数に基づく評価方法は、各学問分野の性質に起因する根本的な違いを考慮に入れていないという限界がある。
3つ目の問題は、ジャーナル引用指数（JCI）の悪影響です。JCIは、論文が少数の人気ジャーナルに集中する原因となっています。論文を投稿しようとする研究者は、当然ながら「Cell」「Nature」「Science」といった世界的に有名なジャーナルに論文を掲載してもらいたいと考えます。なぜなら、これらのジャーナルはインパクトファクターが最も高いからです。しかし、少数のジャーナルへの集中が過剰になると、研究者にとって研究そのものよりも論文の掲載が重要視されるようになるかもしれません。一流ジャーナルに掲載された論文のみを評価する文化は、いつの間にか世界的な現象となってしまいました。この「高級ブランド思考」――つまり、地道な研究プロセスを軽視し、目に見える成果だけを重視する風潮――が続けば、科学の本質そのものが歪められてしまう可能性があります。さらに、一部のジャーナルは、自らのインパクトファクターを高めるために、「自己引用」、つまり自誌に掲載された論文の引用を奨励しています。このように、ジャーナルのインパクトファクターに基づく評価は、不当かつ非倫理的な競争を生み出しているのです。
もちろん、ジャーナルインパクトファクターにはそれなりの利点があります。広く利用されている理由は、研究者の評価を迅速かつ容易に行える点にあります。各ジャーナルの編集者は「専門家による評価者」として、膨大な研究成果の中から重要かつ注目すべき研究を迅速に特定します。急速に変化し拡大し続ける今日の科学界において、これは紛れもない利点と言えるでしょう。
しかし、これまで見てきたように、この利便性の裏には重大な欠陥が潜んでいます。第一に、統計的な落とし穴があります。ジャーナルのインパクトファクターは、個々の論文が実際に受ける引用数と異なる場合があるのです。第二に、インパクトファクターは各分野の固有の特性を考慮していません。一部の分野では、引用数と論文の影響力はほとんど無関係であることが指摘されています。最後の問題は、この評価方法が、少数の権威あるジャーナルによる独占構造を生み出すなど、科学界における無駄な競争を助長するということです。
これらの課題を克服し、適切な科学的発展を実現するために、科学界は現在、新たな評価基準を模索している。最もシンプルなアプローチは、個々の研究者の引用数を評価に組み込むことである。これは、統計の落とし穴に対処する代替手段となる。別の方法としては、各分野の固有の特性を反映した調整済み指標を用いる方法がある。この調整済み指標は、ジャーナルのインパクトファクターをその分野の上位20%のジャーナルの平均引用数で割って算出される。この指標を用いることで、各学術分野の特性を考慮したデータ正規化が可能となる。より根本的な代替策としては、査読制度を活性化し、ジャーナルのインパクトファクターや引用数といった定量的指標に頼るのではなく、定性的な評価基準を開発することが挙げられる。現在、科学界に求められているのは、合理的な評価方法を考案するための自己反省とコミュニケーションである。
