Lignes directrices à l'intention des comités de sélection des IRSC, du CRSNG et du CRSH

[ Table des matières ]

3. Processus d'évaluation

Le processus d'évaluation comporte les huit étapes décrites ci-dessous :

• Réception et assignation des demandes
• Indication des conflits par les membres
• Évaluation et notation préliminaire des demandes
• Classement préliminaire des demandes et désignation des lecteurs
• Réunion des comités de sélection à Ottawa
• Recommandations des comités au conseil de sélection
• Discussion des comités de sélection au sujet des politiques
• Préparation et présentation des rapports des présidents

3.1 Avant la réunion des comités de sélection

3.1.1 Réception et assignation des demandes

Les organismes subventionnaires reçoivent les demandes qui sont ensuite assignées aux membres de comité par les administrateurs du programme.

Le comité de sélection de chaque organisme est un comité multidisciplinaire. Néanmoins, les membres seront appelés à examiner et à accorder des notes aux demandes dans différents domaines de recherche liés au mandat de l'organisme subventionnaire, y compris dans des domaines qui peuvent ne pas être les leurs. Chaque demande sera évaluée par deux membres de comité, l'un d'entre eux jouant le rôle d'examinateur principal et l'autre, celui d'examinateur secondaire.

Quand les organismes subventionnaires reçoivent les demandes, l'administrateur du programme en assigne un petit nombre à chaque membre de comité par l'intermédiaire de RechercheNet – le portail Web qui sert à la soumission des examens et qui est accessible à l'adresse suivante : www.recherchenet.ca. L'administrateur du programme cherche à équilibrer la charge de travail en tenant compte des conflits d'intérêts potentiels, des compétences linguistiques et des domaines d'expertise. Chaque membre de comité est chargé d'examiner les demandes qui lui sont assignées.

Avant la réunion du comité de sélection, chaque membre de comité aura accès à RechercheNet pour procéder à l'évaluation des demandes de bourses postdoctorales Banting qui leur auront été assignées. Ils recevront un courriel pour les informer que ces demandes sont disponibles en ligne.

3.1.2 Indication des conflits par les membres

Les membres de comité indiquent les conflits d'intérêts qu'ils pourraient avoir par rapport aux demandes qui leur ont été assignées.

Par l'intermédiaire de RechercheNet, les membres sont invités à indiquer les situations de conflit d'intérêts où pourrait les placer l'examen des demandes qui leur ont été assignées. La liste qui suit n'est pas exhaustive. Les examinateurs sont invités à consulter les Lignes directrices sur la confidentialité et les conflits d'intérêts qui constituent la première tâche obligatoire à remplir dans RechercheNet. Si un membre s'estime incapable, pour une raison ou une autre, d'examiner une demande qu'il a acceptée, il doit contacter l'administrateur du programme immédiatement, et la demande sera réassignée à un autre examinateur.

Vous trouvez-vous en situation de conflit d'intérêts? Les directives suivantes régissent les conflits d'intérêts lors de l'évaluation des demandes présentées dans le cadre du Programme de bourses postdoctorales Banting. Il est à noter qu'elles ne prévoient pas forcément toutes les situations. Les organismes subventionnaires se fient donc au jugement des membres de comité au moment de déterminer les conflits possibles. Un membre de comité ne peut agir comme examinateur d'une demande : s'il est affilié à l'établissement d'accueil proposé par le candidat; si le candidat étudie dans le même département que le sien; si le candidat est, a été ou sera sous sa supervision directe ou partagée ou s'il entretient une relation personnelle ou professionnelle avec lui. Lorsqu'une demande particulière place un membre de comité dans une situation de conflit d'intérêts, le membre est invité à quitter la pièce avant le début des délibérations sur le dossier du candidat. Il relève de la responsabilité des membres de comité de déclarer s'ils se trouvent en situation de conflit d'intérêts avant d'évaluer une candidature. Si les directives ne tiennent pas clairement compte d'une situation ou que les présidents ou les membres de comité ont de la difficulté à déterminer s'il existe un conflit d'intérêts ou non, le personnel des organismes subventionnaires devra prendre une décision.

3.1.3 Évaluation et notation préliminaire des demandes

Par l'intermédiaire du site RechercheNet, les membres de comité évaluent et accordent des notes préliminaires aux demandes qui leur ont été assignées.

a) Introduction

Une fois que toutes les situations possibles de conflit ont été déterminées, les membres de comité peuvent commencer à évaluer et à accorder des notes préliminaires aux demandes qui leur ont été assignées. Les membres accordent une note provisoire à toutes les demandes qui leur ont été assignées et utilisent RechercheNet pour communiquer toutes leurs notes à l’organisme avant la réunion du comité de sélection. Une date limite sera communiquée aux membres de comité à l’avance.

Le candidat et le projet de recherche proposé sont-ils admissibles à un financement? Le personnel de l’organisme est chargé d’examiner toutes les demandes par rapport aux critères d’admissibilité pour déterminer si la recherche proposée correspond au mandat de l’organisme et s’assurer que le candidat est admissible au programme. L’évaluation de l’admissibilité par rapport au mandat (et, dans la mesure du possible, de la plupart des questions d’admissibilité, selon le nombre de demandes reçues) sera terminée avant l’assignation des demandes. Les membres du comité sont invités à faire part de leurs préoccupations ou questions concernant l’admissibilité d’un candidat à l’attention du personnel de l’organisme, mais devront procéder à l’évaluation de la demande pendant que la situation est étudiée.

Le projet de recherche proposé va-t-il à l'encontre de la Politique inter-conseils sur l'intégrité dans la recherche et les travaux d'érudition? Si un membre de comité juge que l'un des projets de recherche proposés va à l'encontre de la Politique inter-conseils sur l'intégrité dans la recherche et les travaux d'érudition ou qu'il nourrit certaines inquiétudes d'ordre éthique à son égard, il doit tout de même l'évaluer. Toutefois, il se doit de faire part de ses préoccupations à l'administrateur du Programme de bourses postdoctorales Banting de l'organisme subventionnaire compétent le plus tôt possible.

b) Critères de sélection

Les candidats seront évalués et sélectionnés en fonction des trois critères suivants, critères qui seront notés de façon égale par les comités de sélection :

1. Excellence et leadership dans le domaine de la recherche;
2. Qualité du programme de recherche proposé du candidat;
3. Engagement de l'établissement et synergie manifeste entre le candidat et les priorités stratégiques de l'établissement.

L'Annexe A, Le processus de demande « Guide étapes par étapes de présentation d'une demande » comme communiqué aux candidats , résume la marche à suivre pour remplir et présenter une demande. Il y est aussi expliqué comment chaque élément de la demande se rapporte aux critères de sélection. Les membres devraient lire ces renseignements attentivement et s'y reporter pour évaluer les demandes qui leur sont assignées.

1. Excellence et leadership dans le domaine de la recherche – capacité manifeste en matière d'excellence de la recherche d'après la feuille de route du candidat à ce jour et selon la qualité de sa contribution à la recherche, et capacité manifeste en matière de leadership dans le domaine de la recherche selon la sphère d'influence couverte à ce jour par le candidat.

La feuille de route du candidat en recherche et l'impact de ses activités à ce jour, dans son domaine de compétence sont d'importants indicateurs de son potentiel comme futur chef de file en recherche. Les examinateurs doivent tenir compte de la sphère d'influence du candidat relativement aux autres dans le continuum d'impact, de plus en plus large, ci-dessous :

• Programme de recherche
• Établissement
• Communauté des chercheurs
• Milieu international de la recherche
• Société en général

Dans l'évaluation par rapport à ce critère, la nature et le prestige de la bourse ainsi que le stade et la nature de la carrière du candidat doivent être pris en considération. Dans le cas des professionnels de la santé, il faut tenir compte des normes en matière de productivité en recherche, etc. pour leur niveau d'expérience/compétences par rapport aux détenteurs de doctorat. Dans le cas des candidats qui ont une expérience de travail pertinente, la productivité scientifique avant les études supérieures doit être prise en compte.

Éléments à évaluer par rapport à ce critère :

• Trois évaluations des examinateurs (section sur l’excellence et le leadership dans le domaine de la recherche)
• Contributions du candidat à la recherche (maximum de 3 pages)
  • Partie 1 : Liste des contributions
  • Partie 2 : Choisissez au plus trois contributions et décrivez leur importance.
• Contributions du candidat en matière de leadership (maximum de 1 page)
  • Partie 1 : Liste des contributions clés
  • Partie 2 : Choisissez au plus trois contributions et décrivez leur impact et leur importance.
• CVC du candidat pour le programme Banting – à remplir en utilisant le système du CV commun
• Circonstances spéciales (maximum de 1 page – facultatif)
  • Pour expliquer les problèmes de respect des dates limites (congé pour décès, congé parental, etc.)
    • Les professionnels de la santé doivent inclure dans cette section toute formation supérieure qui n'est pas axée sur la recherche (p. ex. formation clinique, résidence).
  • Dans des circonstances exceptionnelles seulement, une bourse postdoctorale Banting pourra être accordée à un candidat qui reste au même établissement où il a obtenu son doctorat, ou l'équivalent, ou son diplôme de professionnel de la santé. Les candidats qui désirent entreprendre une formation postdoctorale en recherche dans le même établissement (ou ses centres de recherche, autres laboratoires ou hôpitaux affiliés) où ils ont obtenu leur doctorat, leur diplôme de professionnel de la santé ou tout autre diplôme équivalent doivent fournir une solide justification dans le document ci-joint « Circonstances spéciales ». Plus le milieu de la recherche proposée ressemble au milieu du candidat lorsqu'il a obtenu son doctorat ou l'équivalent ou son diplôme de professionnel de la santé, plus solide devra être la justification. Cela devrait être évalué dans une perspective inter-établissement plus large (p. ex. collaborations interuniversitaires, participation à des réseaux internationaux, etc.)

2. Qualité du programme de recherche proposé du candidat – déterminé du point de vue du potentiel du programme de recherche proposé (en prenant en compte la faisabilité, les délais, l'originalité de la recherche), réalisé dans l'établissement proposé pour faire en sorte que le candidat soit en mesure d'avoir un impact important dans une carrière vouée à la recherche (possibilité d'impact important)

La contribution potentielle de la recherche proposée à l'avancement des connaissances dans le domaine dépend de la promesse et de la qualité de la proposition, de l'environnement où elle sera effectuée, et des aspirations du candidat. Les pairs examinateurs doivent tenir compte de la possibilité d'impact important que représente la combinaison susmentionnée de facteurs.

Éléments à évaluer par rapport à ce critère :

• Trois évaluations des examinateurs (section sur le mérite de la recherche proposée)
• Aspirations professionnelles et choix de l'établissement (maximum de 1 page)
  • Description des aspirations professionnelles du candidat et justification du choix d'entreprendre des études postdoctorales à l'établissement d'accueil proposé, avec le directeur de recherche proposé.
• Proposition de recherche (maximum de 4 pages)
• Résumé non scientifique du projet de recherche (maximum de ½ page)
• Bibliographie, citations comprises dans le projet de recherche (maximum de 5 pages).

3. Engagement de l'établissement et synergie manifeste entre le candidat et les priorités stratégiques de l'établissement – déterminé du point de vue :

• de l'engagement manifeste de l'établissement à appuyer le développement de la capacité de direction et de recherche du candidat (en fournissant des installations, de l'équipement, etc.) et son perfectionnement professionnel;
• de la capacité de recherche dans le domaine de la recherche proposée par le candidat qui permettra à l'établissement de fournir un milieu intellectuel stimulant pour faire du candidat un chef de file en recherche;
• de la concordance et de la synergie manifestes entre les ambitions de recherche du candidat et le potentiel de l'établissement à tirer avantage de façon stratégique de l'engagement avec le candidat (concordance avec les priorités stratégiques de l'établissement).

Il ne devrait pas s'agir d'une évaluation de l'établissement en soi, mais plutôt de son engagement envers le candidat, de sa capacité à permettre au candidat à devenir un futur chef de file dans le domaine choisi et de son potentiel à s'appuyer sur ses priorités stratégiques.

Éléments à évaluer par rapport à ce critère :

• Trois évaluations des examinateurs (section sur le caractère convenable de l’environnement de recherche proposé)
• Synergie avec l'établissement et lettre d'approbation (maximum de 2 page)
  • Cet élément doit être fourni par l'établissement d'accueil.
  • Décrivez les orientations stratégiques attestées de l'établissement et illustrez la synergie entre cette stratégie et le programme de recherche proposé par le candidat.
  • Pour s'assurer que les établissements d'accueil proposés tiennent compte des questions d'équité liées au genre dans leur décision de soutenir des candidats, on leur demandera de confirmer leur engagement à respecter les principes d'équité et de solliciter la participation d'un agent responsable de l'équité (ou l'équivalent) de l'établissement pour appuyer les candidats.
  • La déclaration doit être signée par le président de l'établissement ou leur représentant officiel.
• Déclaration du directeur de recherche (maximum de 3 pages)
  • Ce document doit être rempli par le directeur de recherche proposé.
  • Il doit être démontré que le directeur de recherche est bien en mesure de fournir le soutien nécessaire au candidat pour les travaux de recherche proposés.
  • Il faut fournir une description de sa formation universitaire et de son expérience de recherche, de même qu'une liste de ses principales contributions et réalisations. (Prendre note que le CV complet du directeur de recherche n'est pas requis.)
• Milieu de recherche (2 pages)
  • Cet élément doit être fourni par l'établissement d'accueil.
  • Décrivez en détail l'environnement de recherche proposé pour le candidat. Indiquez clairement en quoi consiste l'engagement de l'établissement envers le candidat, par exemple la contribution financière fournie, les installations et les ressources mises à sa disposition et le personnel disponible pour l'aider.
• Perfectionnement professionnel (1 page)
  • Cet élément doit être fourni par l'établissement d'accueil.
  • Décrivez de quelle manière l'établissement entend encourager le perfectionnement professionnel du candidat; indiquez clairement les ressources ou les activités de mentorat auxquelles il pourra avoir accès grâce à l'établissement et qui favoriseront le développement de sa carrière.

c) Notation préliminaire

Les membres sont censés attribuer une note de 0,1 à 9,0 (échelle en dixièmes seulement, 9,0 étant une note élevée, et 0,1, une faible note) aux demandes qui leur sont assignées pour chacun des trois critères de sélection. Le site RechercheNet calculera automatiquement la note globale attribuée à chaque candidature en faisant la moyenne des notes données à chaque critère.

Afin d'aider les membres de comité à distinguer entre eux les candidats très prometteurs et à s'assurer d'utiliser l'ensemble de l'échelle de notation, un système de catégorisation a été mis en place. Pour que le système soit efficace, il est important d'attribuer toutes les notes comprises dans une catégorie. Les demandes assignées à un membre doivent se classer dans chacune des trois compartiments suivants, selon les proportions de la table ci-dessous :

Financement	Note	Proportion
Recommandé	7,5 – 9,0	10 %
Pourrait être recommandé	5,1 – 7,4	20 %
Refusé	0,1 – 5,0	50 %

Le reste des demandes (20 %) peuvent être distribuées dans l'une ou l'autre des catégories, selon l'évaluation qui en est faite, de manière à équilibrer un sous-ensemble de demandes relativement fortes ou faibles. Nous conseillons aux membres de comité d'évaluer plusieurs demandes avant de commencer à attribuer des notes. Cela leur permettra de se fixer un cadre de référence.

Comme le nombre de demandes pour ce programme sera difficile à prédire, les examinateurs sont encouragés à réduire le temps qu'ils consacrent aux demandes de moins grande qualité à mesure qu'augmente le nombre de demandes qu'ils ont à évaluer (autrement dit, passer moins de temps sur les demandes dont on ne recommande pas le financement). Selon le nombre de demandes reçu, des variantes du système de catégorisation forcée et/ou de triage des demandes de qualité inférieure peuvent être appliquées.

Remarque : Les membres de comité peuvent avoir à apporter à la réunion les notes qu'ils auront prises lors de l'évaluation des demandes qui leur auront été assignées. Ces notes devront être détruites de façon sécuritaire après la réunion.

Les notes préliminaires de l’examinateur doivent être transmises aux organismes subventionnaires par l’intermédiaire du site RechercheNet avant la réunion du comité de sélection. L’administrateur du programme de chaque organisme subventionnaire confirmera la date exacte. Les membres de comité seront tenus de respecter cette date, car le personnel des organismes subventionnaires ne pourra pas déterminer, avant d’avoir reçu toutes les notes préliminaires, quelles candidatures seront examinées à la réunion du comité de sélection. Les membres de comité peuvent communiquer avec le personnel des organismes subventionnaires en tout temps s’ils ont besoin d’aide durant la notation des demandes.

3.1.4 Classement préliminaire et assignation des demandes aux lecteurs

L’administrateur du programme prépare une liste des demandes classées en ordre décroissant, puis la donne aux membres de comité pour qu’ils puissent en discuter durant la réunion du comité de sélection. Il désigne également un lecteur par demande.

Une fois que toutes les notes préliminaires ont été reçues, le personnel de l’organisme calculera la moyenne des notes globales des deux examinateurs et classera les demandes en ordre décroissant. Le classement de toutes les demandes selon leur note préliminaire sera mis à la disposition des membres avant la réunion du comité de sélection.

• Normalement, les 40 demandes les mieux classées devraient faire l’objet de discussions à la réunion du comité de sélection à Ottawa. Une liste de ces demandes sera fournie aux membres du comité par l’administrateur du programme.

• De plus, il est prévu que les demandes pour lesquelles il existe un écart entre les notes préliminaires des deux examinateurs feront aussi l’objet de discussions à la réunion. Pour les demandes venant après le 40e rang, l’écart devra être de 2,0 ou plus entre les deux notes préliminaires, et une des notes devra être supérieure à la note globale de la 24e demande.
• Les demandes classées en dessous du 41^e rang ne devraient pas faire l'objet de discussions, sauf si un membre du comité en fait expressément la demande¹.

Les demandes faisant l'objet de discussions à la réunion seront assignées à un troisième membre, qui fera fonction de lecteur (le nombre exact de demandes par membre dépendra du nombre d'écarts). Il devra lire les demandes au préalable et être prêt à faire des commentaires quant à leurs points forts et à leurs points faibles pendant les délibérations du comité, en portant une attention particulière au troisième critère de sélection : engagement de l’établissement et synergie manifeste entre le candidat et les priorités stratégiques de l’établissement. 

3.2 Durant la réunion des comités de sélection

3.2.1 Réunion des comités de sélection à Ottawa

Les membres des comités de sélection se rencontrent à Ottawa.

À la réunion, les 40 meilleures demandes, celles pour lesquelles il existe un écart trop grand et toutes les autres devant faire l'objet de discussions par les membres du comité (le nombre total de demandes qui feront l'objet d'une discussion dépendra de celles qui ont un trop grand écart) seront examinées une par une, en ordre décroissant. L'examinateur principal à qui une demande a été assignée doit résumer oralement les forces et les faiblesses de la demande, critère par critère, et agir à titre d'animateur de la discussion du comité. Les examinateurs secondaires ajoutent leurs commentaires pour montrer s'ils sont d'accord ou non avec les examinateurs principaux. Les examinateurs principaux doivent résumer le contenu pertinent des demandes, qu'il soit positif ou négatif, en cinq minutes environ. Les lecteurs peuvent ensuite ajouter tout ce qu'ils estiment nécessaire pour permettre aux comités de faire leur évaluation, en se concentrant sur le troisième critère de sélection : engagement de l'établissement et synergie manifeste entre le candidat et les priorités stratégiques de l'établissement. Les autres membres de comité peuvent faire des commentaires ou poser des questions, s'ils désirent des clarifications sur ce qui a été dit.

Les comités doivent ensuite arriver à un consensus et accorder des notes finales aux candidatures. (On s'attend à ce que le comité de sélection établisse une cote consensuelle pour chacun des trois critères de sélection, qu'on en fasse la moyenne pour arriver à une note finale pour la demande, ce qui se produira en faisant la moyenne des notes consensuelles du comité de sélection pour chacun des trois critères et non en attribuant la note consensuelle globale à la demande.)

Une fois que les demandes auront été passées en revue et notées, le classement des demandes sera examiné pour déterminer le seuil d'approbation du financement selon la qualité et pour régler toute égalité dans les notes entre la demande classée 23/24, et ce au seuil d'approbation du financement. De plus, toutes les égalités touchant les candidats qui proposent des établissements d'accueil étrangers classés au-dessus du seuil d'approbation du financement seront réglées.

Après le concours, le candidat aura accès aux cotes globales du comité sur chaque critère pour une demande individuelle. Cela permettra de fournir de la rétroaction aux candidats sur les forces et les faiblesses relatives de leur demande et leur classement relatif. Les membres du comité ne présenteront pas de commentaires écrits sur les demandes individuelles.

Jusqu'à 25 % des bourses postdoctorales Banting peuvent être accordées chaque année à ceux qui présentent une demande en collaboration avec un établissement étranger. Aucune attention particulière n'est requise par le comité de sélection dans le classement des candidats qui ont proposé un établissement d'accueil étranger. Les membres examineront et classeront toutes les demandes selon les critères de sélection. Les organismes alloueront ces bourses selon le classement relatif des demandes à la suite de l'examen par le comité.

La liste de classement finale sera présentée au conseil de sélection pour obtenir son appui.

Tout commentaire concernant le processus de sélection doit être porté à l'attention de l'administrateur du programme ou d'un membre de l'organisme chargé des bourses postdoctorales Banting.

3.2.2 Recommandations des comités de sélection à l'intention au conseil de sélection

Le comité de sélection de chaque organisme prépare sa liste de classement finale et établit un seuil d’approbation du financement.

La liste de classement finale de toutes les demandes déterminée par le comité de chaque organisme sera présentée au conseil de sélection pour obtenir son appui. La liste établira : (1) les demandes recommandées pour une bourse après l'examen par le personnel des allocations aux établissements d'accueil étrangers et (2) le seuil d'approbation du financement pour les bourses aux remplaçants.

Lorsque des bourses sont offertes à des remplaçants, en raison des refus ou du maximum de 25 % pour les établissements d'accueil étrangers, le personnel des programmes ne baissera bas en dessous des seuils d'approbation du financement établis par les comités de sélection.

L'appui du conseil de sélection mènera à la recommandation au comité directeur d'un octroi de 70 bourses postdoctorales Banting.

3.2.3 Discussion des comités de sélection au sujet des politiques

Le personnel des organismes subventionnaires mène la discussion des comités de sélection des bourses postdoctorales Banting au sujet des politiques.

À la fin de la réunion des comités, une fois que leurs recommandations auront été faites, les membres devront prendre part à une discussion sur les politiques. Cette discussion sera entre autres l'occasion de formuler des commentaires sur la qualité des demandes examinées, d'offrir des suggestions quant à l'amélioration du processus d'examen, d'indiquer leurs besoins particuliers en ce qui concerne la composition de leur comité, les détails du concours, les déplacements, le logement, les services administratifs offerts par les organismes subventionnaires, les politiques, etc.

Remarque : Avant la réunion, les membres de comité sont invités à penser aux personnes qui pourraient faire partie des futurs comités et suggérer leur nom à l'administrateur du programme.

3.3 Après la réunion des comités de sélection

3.3.1 Préparation et présentation des rapports des présidents des comités

De concert avec des membres de son comité et le personnel du programme, le président prépare son rapport, puis le présente à l’organisme subventionnaire.

Après la réunion, les présidents des comités devront chacun préparer un rapport qui sera présenté au conseil de sélection. Ce rapport est un moyen de communiquer les recommandations des comités de sélection ainsi que leurs commentaires et suggestions pour améliorer le processus d'évaluation.

Les présidents, en collaboration avec les membres de leur comité et l'administrateur du programme, doivent préparer un rapport et le présenter aux organismes subventionnaires avant la réunion du conseil de sélection. En plus de la liste de classement finale de toutes les demandes, ce rapport devrait fournir les éléments suivants :

• les procédures d'évaluation suivies par les comités;
• les difficultés particulières rencontrées dans le cadre de l'évaluation des demandes;
• des recommandations visant l'amélioration des politiques;
• des suggestions concernant les renseignements à soumettre aux candidats; (documents relatifs à la demande);
• les critères d'évaluation;
• des suggestions concernant les modifications à apporter au processus de présentation des demandes par voie électronique;
• des suggestions concernant la composition des comités.

---

1. Il faut noter qu’un maximum de 23 ou 24 candidats par comité peut recevoir une bourse postdoctorale Banting.