Dans cet article de blog, nous examinons les problèmes liés au système actuel d'évaluation de la recherche scientifique, qui repose sur le Journal Citation Index, et nous nous demandons s'il reflète fidèlement la véritable valeur de la recherche.
Au sein de la communauté scientifique, les qualifications des chercheurs et l'importance de leurs articles sont évaluées à l'aide du facteur d'impact des revues. Cependant, cette pratique fait l'objet de critiques croissantes. En mai dernier, plus d'une centaine de chercheurs en sciences et technologies se sont réunis à San Francisco pour annoncer la « Déclaration de San Francisco sur l'évaluation de la recherche ». Aujourd'hui, des dizaines de milliers de chercheurs ont rejoint ce mouvement. Ils soulignent plusieurs failles importantes dans la méthode d'évaluation fondée sur le Journal Citation Index. Dans cet article, j'examinerai les critiques spécifiques formulées à l'encontre du Journal Citation Index et je soutiendrai qu'il ne peut servir de critère d'évaluation de la recherche scientifique.
Le facteur d'impact d'une revue est une mesure numérique de son influence. Initialement conçu comme un outil pour les bibliothécaires, il leur permettait d'évaluer l'importance relative des différentes revues scientifiques auxquelles s'abonner. Le calcul de l'indice de citation est simple. Par exemple, si la revue « Science et Technologie » a publié 20 articles au cours des deux dernières années, chacun ayant été cité 200 fois, son indice de citation est de 200/20, soit 10. Autrement dit, un indice de citation de 10 signifie que chaque article publié dans « Science et Technologie » a reçu en moyenne 10 citations au cours des deux dernières années. L'indice de citation est donc une valeur numérique qui exprime quantitativement l'importance d'une revue.
Le problème réside dans l'utilisation fréquente de l'indice de citation des revues pour évaluer l'importance des articles. La valeur du facteur d'impact d'une revue sert directement de score d'influence aux articles qui y sont publiés. Par exemple, si deux revues existent, « Science and Technology » (facteur d'impact : 10) et « Monthly Engineering » (facteur d'impact : 90), tous les articles publiés dans « Science and Technology » obtiennent 10 points, tandis que ceux publiés dans « Monthly Engineering » obtiennent 90 points. Ces scores sont naturellement appliqués aux auteurs. Ainsi, le chercheur A, qui a publié dans « Science and Technology », obtient 10 points, tandis que le chercheur B, qui a publié dans « Monthly Engineering », obtient 90 points. Indépendamment de leurs qualifications ou de l'originalité de leurs travaux, un écart de 80 points apparaît entre A et B.
Le premier problème lié aux facteurs d'impact des revues est le « piège statistique ». Puisqu'un facteur d'impact est une moyenne, le nombre de citations peut varier considérablement, même entre articles publiés dans une même revue. L'influence d'un article ne reflète pas nécessairement le facteur d'impact de la revue dans laquelle il est publié. Par exemple, l'article de l'auteur A peut avoir un facteur d'impact de 10, alors qu'il pourrait être cité des dizaines, voire des centaines de fois. Toutefois, il est possible que la moyenne générale soit tombée à 10 simplement parce que le nombre de citations d'autres articles publiés dans « Science and Technology » était très faible. Inversement, l'article de l'auteur B, bien qu'il n'ait été cité qu'une ou deux fois, pourrait avoir bénéficié d'un effet d'entraînement, le facteur d'impact de la revue grimpant à 90 grâce à la forte fréquence de citation d'autres articles publiés dans « Monthly Engineering ». Dans une telle situation, il est inutile de considérer le facteur d'impact de la revue pour comparer les travaux de A et B. Il est en revanche plus pertinent de comparer individuellement le nombre de citations des articles de A et B et de conclure que l'article de A a un impact bien plus important. Selon la Déclaration de San Francisco, environ 25 % des articles d'une revue représentent 90 % du total des citations. Autrement dit, si le facteur d'impact de la revue est appliqué directement aux articles, certains seront inévitablement désavantagés et d'autres injustement avantagés.
Deuxièmement, l'évaluation de la recherche fondée sur le facteur d'impact des revues ne reflète pas les caractéristiques propres à chaque discipline académique. Par exemple, en médecine ou en biologie, lorsqu'une nouvelle théorie est proposée, de nombreuses expériences sont menées pour en vérifier la validité. Les essais cliniques liés à un article étant souvent suivis d'études ultérieures, les facteurs d'impact des revues de biologie et de médecine sont inévitablement plus élevés que ceux des autres sciences naturelles ou des domaines de l'ingénierie. En revanche, en mathématiques pures, un article est généralement autonome. Les recherches ou expériences ultérieures sont superflues. Par conséquent, les articles de mathématiques ont tendance à être relativement peu cités, et les facteurs d'impact des revues de mathématiques pures sont inévitablement faibles. De plus, dans les domaines très spécialisés comptant peu de chercheurs, le nombre de citations est relativement faible. Inversement, les revues couvrant de vastes domaines de recherche active et regroupant un grand nombre de chercheurs auront un nombre de citations relativement élevé. Ainsi, la méthode d'évaluation fondée sur le Journal Citation Index présente la limite de ne pas tenir compte des différences fondamentales inhérentes à la nature de chaque discipline.
Le troisième problème réside dans l'effet néfaste du Journal Citation Index (JCI), qui entraîne une concentration des articles dans un petit nombre de revues prestigieuses. Les chercheurs qui s'apprêtent à soumettre un article souhaitent naturellement que leurs travaux soient publiés dans des revues de renommée mondiale telles que « Cell », « Nature » et « Science », car ces revues affichent les facteurs d'impact les plus élevés. Si cette concentration devient excessive, la publication d'un article pourrait finir par primer sur la recherche elle-même. Une culture qui ne reconnaît que les articles publiés dans les revues les plus prestigieuses est devenue, en un rien de temps, un phénomène mondial. Si cette mentalité de « marque de luxe », qui dévalorise la rigueur de la recherche et ne valorise que les résultats visibles, persiste, elle risque de pervertir l'essence même de la science. Par ailleurs, certaines revues encouragent l'auto-citation, c'est-à-dire la citation d'articles publiés dans leurs propres colonnes, afin d'améliorer leur propre facteur d'impact. Ainsi, l'évaluation fondée sur le facteur d'impact des revues engendre une concurrence déraisonnable et contraire à l'éthique.
Bien sûr, les facteurs d'impact des revues scientifiques ne sont pas sans intérêt. Leur utilisation répandue s'explique par leur capacité à faciliter une évaluation rapide et pratique des chercheurs. Les rédacteurs en chef de chaque revue font office d'« évaluateurs experts ». Ils repèrent rapidement les recherches importantes et remarquables parmi le flot de publications. Dans le contexte actuel d'une communauté scientifique en constante évolution, il s'agit d'un avantage indéniable.
Cependant, comme nous l'avons vu, cette facilité dissimule des failles importantes. La première est le piège statistique : le facteur d'impact d'une revue peut différer du nombre réel de citations qu'un article reçoit. La seconde est que le facteur d'impact ne tient pas compte des caractéristiques propres à chaque discipline. Il a été démontré que, dans certains domaines, le nombre de citations est pratiquement sans rapport avec l'influence d'un article. Enfin, cette méthode d'évaluation encourage une concurrence néfaste au sein de la communauté scientifique, notamment en créant une structure monopolistique dominée par quelques revues prestigieuses.
Pour surmonter ces difficultés et assurer un développement scientifique adéquat, la communauté scientifique recherche actuellement de nouveaux critères d'évaluation. L'approche la plus simple consiste à intégrer le nombre de citations des chercheurs dans l'évaluation. Cette méthode permet de pallier les écueils des statistiques. Une autre approche repose sur l'utilisation d'un indice ajusté qui reflète les caractéristiques propres à chaque discipline. Cet indice ajusté – calculé en divisant le facteur d'impact d'une revue par le nombre moyen de citations des 20 % de revues les plus citées dans son domaine – permet de normaliser les données et de tenir compte des spécificités de chaque discipline. Une alternative plus fondamentale consisterait à revitaliser l'évaluation par les pairs et à élaborer des critères d'évaluation qualitatifs, plutôt que de s'appuyer sur des indicateurs quantitatifs tels que le facteur d'impact des revues ou le nombre de citations. La communauté scientifique doit aujourd'hui faire preuve d'introspection et de communication afin de concevoir des méthodes d'évaluation rationnelles.
