Financement de la recherche: les limites de l'évaluation par les pairs

L'automne est un moment crucial pour les milliers de chercheuses et chercheurs qui soumettent des demandes à l'un ou l'autre des programmes de financement des Fonds de recherche du Québec et des organismes subventionnaires fédéraux. L'an dernier, au Québec, les Fonds de recherche du Québec ont reçu 7 537 demandes admissibles et en ont financé 2 118, pour un taux de succès de 28,1%.[1]

Ces personnes peuvent passer des semaines, voire des mois, à écrire et peaufiner leurs demandes. Pour les étudiantes et étudiants aux cycles supérieurs, obtenir une bourse peut faire la différence entre poursuivre ou arrêter ses études. Pour les professeurs et professeures, cela peut contribuer à lancer une carrière ou libérer le temps, les ressources ou le soutien nécessaires pour poursuivre des projets autrement irréalisables. 

L’évaluation par les pairs 

Quoique les règles diffèrent entre les programmes, l'évaluation par les pairs joue généralement un rôle décisif dans l'attribution du financement. D'autres chercheurs et chercheuses, les pairs, siègent sur des comités d'évaluation qui classent les demandes. Ce classement détermine ensuite quelles demandes seront financées. La figure plus bas illustre le rôle typique de l’évaluation par les pairs dans les programmes de financement de la recherche. De prime abord, l'évaluation par les pairs a de nombreux avantages. 

1. Excellence et rigueur : Elle serait une manière rigoureuse de sélectionner les projets ayant la plus grande valeur scientifique.[2]

1. Efficience : Les ressources publiques étant limitées, elle distribuerait les ressources aux meilleures demandes et favoriserait ainsi une utilisation optimale des ressources disponibles.[3] 

1. Objectivité et équité : Puisque toutes les demandes sont évaluées selon les mêmes critères d'excellence, l'évaluation augmenterait l'objectivité et l'équité. 

1. Responsabilité : Tant les personnes qui soumettent des demandes que celles qui les évaluent doivent fournir des justifications, ce qui créerait une science plus responsable.

Les limites de l’évaluation par les pairs 

La Royal Society affirmait en 2007 que malgré sa lourdeur, « l’évaluation par les pairs est le seul moyen efficace d’évaluer correctement la qualité des propositions de recherche » (traduction libre). Or, l'évaluation par les pairs, particulièrement lorsque combinée à de faibles taux de financement, est aussi critiquée. 

Tout d'abord, même si les pairs font preuve de rigueur dans leur travail, leur capacité à correctement identifier la valeur scientifique ou l’excellence est remise en question. D’une part, des travaux empiriques révèlent que les comités ne prédisent pas toujours correctement quels projets auront les plus grandes retombées. Par exemple, une étude montre que les scores des évaluations pour les demandes en haut du 20e percentile— « les meilleures » —ne sont pas corrélés à un plus grand nombre de citations. De manière plus générale, le classement des demandes semble être peu corrélé à leur impact au-delà d'un horizon temporel de cinq ans.[4] D’autre part, on observe que les pairs arrivent souvent à différentes conclusions dans leurs classements. Or, dans un monde idéal on s’attendrait à ce que des pairs appliquant les mêmes critères d’évaluation s’entendent sur la valeur scientifique des demandes. Ces observations soulèvent des interrogations quant à la fiabilité et à la validité de l'évaluation par les pairs. 

Ensuite, évaluer des demandes qui, même parfois excellentes ne seront pas retenues, se traduit par un gaspillage important de temps et ressources qui pourraient être utilisés à des fins plus productives. En 2016, la National Science Foundation estimait qu’il prendrait 360 années à une personne pour évaluer les 51 588 demandes soumises en 2015 à l’organisation.[5] Vouloir sélectionner les meilleurs projets comporte un coût collectif significatif, pouvant ainsi annuler les potentiels bénéfices. Autrement dit, l'évaluation par les pairs ne serait pas toujours, en pratique, efficiente. 

Par ailleurs, d'autres travaux mettent en garde contre le risque que des biais, comme de genre ou de prestige, influencent la sélection des demandes. Par exemple, des scientifiques ont conclu que le processus d'évaluation par les pairs des demandes de subventions de recherche des Instituts de recherche en santé du Canada était biaisé envers les femmes, tout particulièrement en sciences appliquées. Les biais peuvent avoir un impact significatif sur les notes des demandes et les résultats de financement, minant l'objectivité et l'équité du processus d'évaluation. 

Ce processus peut également inciter les personnes soumettant des demandes et celles chargées de l'évaluation à être plus conservateurs. Selon une étude basée sur une recension de littérature, l'évaluation par les pairs est probablement biaisée contre l'innovation. Entre autres, les propositions de recherche innovantes peuvent manquer de travaux antérieurs pour les soutenir, ce qui peut entraîner une évaluation défavorable.  

Confrontés à cette situation, certains soutiennent que l'évaluation par les pairs incite, voire force, les scientifiques et les pairs à violer certaines normes éthiques fondamentales à la recherche scientifique telles que l'honnêteté ou la responsabilité. Notamment, les scientifiques peuvent être incités à exagérer la faisabilité ou les retombées de leurs travaux. Entre autres pour cette raison, des recherches montrent que plusieurs scientifiques ont une confiance limitée en l'évaluation par les pairs pour attribuer le financement. 

Le processus d'évaluation du mérite par les pairs est fastidieux, n'identifierait pas nécessairement les demandes les plus méritantes, serait parfois biaisé, ne favoriserait pas l'innovation, et inciterait à des pratiques discutables. Peut-on faire mieux? Le prochain Éthique Hebdo explorera des pistes de solution à ces enjeux. 

[1] Il s'agit en fait d'un taux de succès relativement élevé, certains programmes au Canada ou ailleurs affichant plutôt des taux de succès autour de 15%. Le concours de subventions Projet du printemps 2024 des IRSC a financé 15,3% des demandes. L'édition 2023 du concours Starting Grant du Conseil européen de la recherche a financé 14,2% des demandes. 

[2] Les Fonds de recherche du Québec ont pour mission de « [s]outenir et promouvoir la recherche et sa relève dans leur excellence, leur diversité et leur ouverture, afin de stimuler la découverte et l’innovation » et une valeur de « rigueur » guide leurs actions, notamment en matière d’évaluations. L’avis de la Commission L'utilisation de l'information scientifique par les décideurs publics au sein d'une société démocratique: enjeux éthiques identifie la rigueur scientifique comme étant une valeur fondamentale pour les sociétés démocratiques.  

[3] Voir l’avis de la Commission Pour un développement responsable, juste et solidaire de la géo-ingénierie climatique :un regard posé par les jeunes pour une mise en relation des valeurs d’efficacité et d’efficience.

[4] Même si les citations sont une mesure imparfaite de la qualité de la recherche et qu’elle doit donc être utilisée prudemment (voir e.g. Gingras [2017] ou Haustein et Larivière [2015]), plusieurs études observent (voir e.g. Kousha et Thelwall [2024] ou Tahamtan et al. [2016]), par exemple, une association positive entre la « qualité » d’un article et le nombre de citations.

[5] Dans le cas de l'évaluation des articles académiques, des chercheurs ont estimé en 2020 à 100 millions d'heures le temps collectif passé à les évaluer.