Financement de la recherche : au-delà de l’évaluation par les pairs

Des milliers de chercheurs et chercheuses ont soumis ou vont soumettre cet automne des demandes de financement aux Fonds de recherche du Québec ou aux organismes subventionnaires fédéraux. Un précédent Éthique Hebdo a exposé certaines limites potentielles de l’évaluation par les pairs pour allouer le financement de la recherche, notamment sa capacité à identifier les meilleurs projets et ses biais potentiels. Peut-on faire mieux? Quelles sont les alternatives? 

Améliorer l’évaluation par les pairs 

Même si les problèmes de l’évaluation par les pairs sont de plus en plus reconnus, les organismes subventionnaires sont néanmoins réticents à complètement l’abandonner. Hormis les pairs, qui pourrait disposer de l’expertise nécessaire pour évaluer la qualité scientifique des projets? En réponse, on cherche donc à rendre les évaluations plus fiables et rigoureuses. Une étude a recensé cinquante interventions pour améliorer l’évaluation par les pairs, par exemple : 

• Former les membres des comités d’évaluation afin de réduire les biais et accroître la fiabilité. 

• Masquer les antécédents des chercheurs et chercheuses pour réduire les biais et favoriser l'innovation. 

• Augmenter le nombre de membres sur les comités d’évaluation et leur faire évaluer plus de demandes afin d’améliorer la fiabilité des évaluations. 

• Faire appel à deux comités d'évaluation indépendants pour déterminer la fiabilité de l'évaluation en fonction de l'accord entre les comités. 

Les Fonds de recherche du Québec ont aussi lancé des initiatives pour renforcer le processus d’évaluation. Un des objectifs de la Stratégie en matière d’équité, de diversité et d’inclusion 2021-2026 est entre autres d’« assurer l’équité dans l’accès au financement » des fonds. Les Fonds invitent notamment les membres des comités d’évaluation à suivre une formation en ligne produite par les organismes subventionnaires fédéraux afin de limiter l’effet des préjugés involontaires dans l’évaluation. Ils ont également réalisé une capsule sur l’intégrité dans l’évaluation du travail d’autrui. 

Malgré ces interventions visant à renforcer le processus d’évaluation, plusieurs mettent de l’avant une proposition alternative et audacieuse : l’introduction de la randomisation dans l’attribution du financement.  

Ça change pas le monde, sauf que… 

Randomiser consiste à introduire un élément de hasard, d’aléatoire, dans la sélection des projets. En d’autres mots, une loterie. La logique de l’évaluation par les pairs repose sur la sélection de projets sur la base de raisons scientifiques pertinentes. La loterie, quant à elle, est motivée par le principe qu’aucune mauvaise raison, comme un biais, ne devrait influencer la sélection.  

Une proposition souvent avancée consiste à recourir à une loterie partielle. L’évaluation par les pairs détermine un sous-ensemble de demandes éligibles satisfaisant un certain seuil de qualité scientifique. Ensuite, on choisit au hasard parmi ce sous-ensemble. Dans ce modèle, l’évaluation par les pairs n’est pas complètement abandonnée et joue un rôle d’assurance qualité. Cependant, son rôle est plus limité puisqu’on évite de devoir départager des demandes de qualité similaire[1].

Financer la recherche avec une loterie partielle aurait, du moins sur papier, plusieurs avantages : 

• Elle serait facile et peu coûteuse à mettre en place.  

• Elle promouvrait une plus grande équité, diversité et inclusion (EDI) dans l'octroi du financement de recherche. Un rapport du Réseau québécois pour l'équité, la diversité et l'inclusion identifie d’ailleurs la loterie comme étant une pratique innovante ayant le potentiel de favoriser l’EDI. 

• Elle ne serait pas biaisée contre la recherche risquée, mais innovante. 

• Elle réduirait les incitatifs à enfreindre certains principes de la recherche responsable. 

• Elle pourrait potentiellement libérer du temps aux milliers de scientifiques qui préparent et évaluent des demandes[2].

Cependant, l’utilisation de loteries peut aussi comporter certains risques ou obstacles. Certains craignent qu’une diminution du rôle de l’évaluation par les pairs mine le « scepticisme organisé », soit la critique systématique et organisée des produits de la science. Tout comme l'évaluation par les pairs, la loterie ne serait pas en mesure de garantir que les meilleures demandes soient financées. Aussi, la loterie pourrait alimenter la méfiance envers la science et mettre en doute la valeur ou l'objectivité de la recherche financée. D’aucuns remettent également en question la capacité de certaines loteries à résoudre l’écart de financement entre certains groupes. 

Quelques expériences 

L'idée d'utiliser une loterie partielle commence à être testée à l'international[3]. Le Fonds national suisse (FNS) autorise depuis 2018 l'utilisation d'un système de loterie lorsque l’évaluation scientifique n’arrive pas à départager des demandes. 

La British Academy a mis en place en 2022 un projet pilote comportant une composante de sélection par loterie pour un programme de subventions. L’institution rapportait après la première année une augmentation notable de la diversité. Le programme a connu une hausse significative d’applications financées pour des personnes issues de minorités ethniques. On note aussi une meilleure représentation de l'Écosse et de l'Irlande du Nord. 

En Allemagne, la Fondation Volkswagen teste depuis 2017 une loterie partielle pour financer des projets à haut risque, aux retombées incertaines. La fondation signale, entre autres, un plus grand taux de succès pour les femmes. 

Des études montrent également que les chercheuses et chercheurs se montrent ouverts à une utilisation partielle de la randomisation. 

Une science de la science 

De plus en plus d’états et d’institutions cherchent à améliorer l’organisation de la science. Le Royaume-Uni a lancé une initiative de métascience, soit une analyse scientifique de la production, de la circulation et du financement de la science. Aux États-Unis, la National Science Foundation s’intéresse aux pratiques innovantes de financement de la recherche. Le gouvernement canadien a récemment mandaté un comité consultatif dont l’objectif était de soumettre des recommandations pour moderniser le soutien fédéral à la recherche. Qu’on choisisse de renforcer l’évaluation par les pairs, introduire la randomisation, les deux, ou autre chose, il y a place pour davantage de données probantes dans l’orientation d’un système d’allocation du financement de recherche. 

[1] Voir Shaw (2023) pour une présentation de différentes manières d’introduire la randomisation. Par exemple, une loterie peut également être pondérée en fonction de certains critères. Dépendamment des modèles, l’évaluation par les pairs peut jouer un rôle soit plus effacé ou plus important. 

[2] Les potentiels gains de temps et de ressources dépendent du modèle spécifique de loterie qui est utilisé, du rôle plus ou moins limité assigné à l’évaluation par les pairs ainsi que des changements à la structure des incitatifs. Par exemple, il est possible qu’une loterie attire davantage de personnes à appliquer, augmentant ainsi le coût collectif de l’allocation du financement. 

[3] Voir Bendiscioli et al. (2021) pour une présentation plus détaillée de certaines expériences.