Vérification de la gestion des études 2012

1.1 Renseignements généraux et contexte

En tant qu'agent du Parlement et agent de changement, le Commissariat aux langues officielles (Commissariat) est un organisme du gouvernement fédéral de taille relativement modeste, qui a pour mandat de promouvoir la Loi sur les langues officielles et veiller à sa mise en œuvre intégrale, de protéger les droits linguistiques des Canadiennes et des Canadiens et de promouvoir la dualité linguistique et le bilinguisme au Canada. Le commissaire aux langues officielles (commissaire) s'assure que les trois principaux objectifs de la Loi sont atteints et prend toutes les mesures nécessaires à cet égard. Plus précisément, les objectifs de la Loi sont de garantir :

• l'égalité du français et de l'anglais au sein du Parlement, du gouvernement du Canada, de l'administration fédérale et des institutions assujetties à la Loi;
• le développement et l'épanouissement des communautés de langue officielle en situation minoritaire au Canada;
• l'égalité de statut du français et de l'anglais dans la société canadienne.

Comme l'indique le Plan de vérification axé sur les risques 2010-2013, les activités liées aux recherches et aux études sont considérées comme une priorité majeure pour la vérification, compte tenu du fait que ces activités n'ont pas été vérifiées dans le passé, des récents changements dans ce domaine et des discussions avec la direction. Une vérification de ce secteur d'activité a été recommandée. Par conséquent, une vérification de la gestion des études a été approuvée, comme il est indiqué dans le Plan de vérification axé sur les risques 2010-2013.

La vérification visait à déterminer si le cadre de contrôle de gestion du Commissariat est efficace pour gérer ses activités liées aux études conformément aux buts, aux politiques et aux directives de l'organisation. La vérification portait principalement sur la façon dont les études (ou projets de recherche) sont choisies, classées par ordre de priorité, réalisées, utilisées, et aussi sur la façon dont le Commissariat envisage les possibilités de collaboration avec d'autres organismes. On peut trouver les critères détaillés de vérification à l'annexe B.

1.2 Résumé des observations

Les principales observations découlant de la vérification sont présentées ci-dessous.

1.3 Conclusion

En nous fondant sur les observations ci-dessus et la portée de la vérification, nous pouvons dire que le Commissariat a un cadre de contrôle de gestion efficace pour gérer les études, conformément aux objectifs, politiques et directives de l'organisation. Des problèmes relativement mineurs ont été notés en ce qui a trait à la supervision, à la gestion des documents, à la mesure du rendement et à la gestion du savoir pour les études.

Les recommandations figurant dans ce rapport visent à aider la direction du Commissariat à améliorer la pertinence, l'efficacité et la rigueur du cadre de contrôle de gestion de l'organisation servant à gérer les études. Chacune des constatations découlant de la vérification est suivie de la réponse de la direction.

En notre qualité de vérificateurs, et par le jugement professionnel qui en découle, nos méthodes de vérification s'avèrent appropriées et suffisantes, et en conformité avec la Politique sur la vérification interne du Conseil du Trésor (CT). Les éléments de preuve recueillis appuient l'exactitude des conclusions du présent rapport. Notre opinion est basée sur une comparaison des conditions dans lesquelles se trouvait le Commissariat au moment de la vérification, aux critères de vérification préétablis et acceptés par la direction. Des éléments de preuve ont été recueillis afin de fournir à la haute direction une assurance raisonnable de l'exactitude des conclusions tirées de cette vérification. La vérification et le rapport qui en découle ont été réalisés à l'intention de la direction du Commissariat. L'utilisation de ce rapport à d'autres fins pourrait ne pas être appropriée.

Des questions débordant le cadre de la vérification sont aussi apparues pendant la phase d'examen de la vérification. Il serait peut-être plus approprié de les examiner dans le cadre d'une évaluation des études. Il s'agit des questions suivantes :

• Les études du Commissariat sont-elles pertinentes?
• Le Commissariat devrait-il réaliser un plus grand nombre ou un moins grand nombre d'études par année?
• Les études devraient-elles être réalisées à l'interne ou à l'externe?
• Le cadre de mesure du rendement est-il adéquat pour les études?

2.1 Aperçu du processus de réalisation des études

Les études font partie des instruments privilégiés du Commissariat pour jouer son rôle de promotion, d'éducation et de sensibilisation. Elles attirent l'attention des institutions fédérales et des acteurs clés de la société canadienne sur des problèmes importants, en proposant des moyens d'y remédier et de favoriser l'épanouissement des communautés de langue officielle. Les études sont considérées comme des moyens crédibles, ayant une influence durable, et la publication des rapports finaux est une façon d'attirer l'attention sur le travail du commissaire.

Pour que le Commissariat s'acquitte convenablement de son mandat, toutes ses études doivent se fonder sur une méthode valable et des données recueillies de manière objective. De cette façon, le Commissariat dispose de renseignements et d'arguments fiables concernant les enjeux liés à son mandat et à ses priorités. C'est pourquoi, le Commissariat a récemment adopté un nouveau cadre de recherche pour présenter sa mission en matière de recherche et définir les limites de ce mandat. Bien que la portée du cadre s'étende à d'autres activités de recherche que les études, il est essentiellement axé sur la gestion des études, qui sont le produit le plus visible et le plus complet des activités de recherche menées au Commissariat. Le cadre vise à :

• définir les buts et les objectifs de la recherche au Commissariat;
• définir le rôle et les responsabilités des secteurs participant à la recherche;
• définir une procédure et des critères pour sélectionner les études;
• décrire le processus à suivre pour améliorer la planification de la recherche au Commissariat;
• établir une série de normes pour les études menées au Commissariat.

Après l'adoption du nouveau cadre de recherche, le Commissariat a aussi amorcé un processus de consultation interne afin de définir un nouveau plan de recherche pour les années à venir. Le nouveau plan devrait être achevé au printemps 2012.

Selon la structure organisationnelle actuelle du Commissariat, les études relèvent de la responsabilité de la Direction générale des politiques et des communications (DGPC). Cette direction générale comprend deux directions : Politiques et Recherche, et Communications stratégiques et Production. Ces deux directions sont gérées par un directeur qui rend compte au commissaire adjoint de la Direction générale des politiques et des communications. Le Groupe de recherche, qui relève de la Direction des politiques et de la recherche, a un triple rôle :

• orienter la méthode utilisée pour réaliser les études;
• fournir des services de consultation à titre d'expert et de contrôle de la qualité pour les initiatives liées à la recherche;
• jouer un rôle stratégique dans la planification et l'orientation des recherches du Commissariat.

Les études sont ensuite réalisées ou gérées par les analystes du Groupe de recherche et du Groupe des politiques, selon leur degré d'expérience et les méthodes établies par le Groupe de recherche. En moyenne, le Commissariat effectue deux études par année, et la plupart d'entre elles sont réalisées par des contractants extérieurs mais gérées par les analystes du Commissariat.

Enfin, lorsqu'une étude est prête à être publiée, la Direction des communications stratégiques et de la production aide l'analyste responsable de l'étude à concevoir une stratégie de communication, et elle prépare tout le matériel connexe requis (p. ex., exemplaires du rapport, affiches, matériel didactique, affichage du rapport en ligne, rédaction des discours du commissaire, etc.).

Description – Figure 1 - Organigramme pour les études

Direction générale des politiques et des communications

• Principales responsabilités
  • Direction des politiques et de la recherche (directeur)
    • Groupe de recherche (gestionnaire + analyste)
    • Groupe des politiques (3 gestionnaires + 6 analystes)
• Soutien pour les études
  • Direction des communications stratégiques et de la production (directeur)
    • Environ 20 employés
  • 5 bureaux régionaux (5 représentants du commissaire)
    • Environ 1 ou 2 employés par région

2.2 Objectif de la vérification

Cette vérification visait à déterminer si le cadre de contrôle de la gestion du Commissariat était efficace pour gérer les études conformément aux objectifs, aux politiques et aux directives de l'organisation. La vérification portait principalement sur la façon dont les études (ou projets de recherche) sont choisis, classés par ordre de priorité, réalisés, utilisés, et aussi sur la façon dont le Commissariat envisage les possibilités de collaboration avec d'autres organismes.

2.3 Portée de la vérification

La vérification portait notamment sur les pratiques de gestion concernant les études sur les langues officielles que gèrent la Direction des politiques et de la recherche, qui relève de la Direction générale des politiques et des communications. Elle comprenait une évaluation de l'efficacité du cadre de recherche adopté en octobre 2011 mais, comme il a été adopté récemment, sa mise en œuvre intégrale n'a pas pu être vérifiée. Par exemple, le nouveau plan de recherche n'était pas terminé au moment de la vérification.

La vérification ne portait pas sur les activités de surveillance continues (c.-à-d. suivre les nouveaux enjeux, les travaux des comités parlementaires, etc.) ni sur les activités de recherche autres que les études (p. ex., analyses statistiques de données brutes, sondages d'opinion ou sur le degré de satisfaction, rapports à usage interne, etc.). La vérification ne portait pas non plus sur le processus d'adjudication des contrats pour l'embauche de consultants externes chargés de mener les études.

2.4 Méthodologie de la vérification

L'approche et la méthodologie utilisées étaient conformes aux normes de vérification interne de l'Institute of Internal Auditors et à la Politique de vérification interne du gouvernement du Canada.

Le Commissariat s'efforce de maintenir des pratiques de gestion efficaces qui soient représentatives des pratiques dominantes du secteur pour ses activités de recherche. Par conséquent, les cadres de contrôle suivants ont été mis à contribution aux fins de la vérification :

• Cadre des contrôles de gestion de base (CGB – mai 2010) et des critères de vérification établis par le Bureau du contrôleur général du Canada (BCG);
• Cadre de responsabilisation de gestion (CRG VIII), qui énonce les attentes du Conseil du Trésor auxquelles doivent répondre les cadres supérieurs de la fonction publique pour promouvoir la saine gestion dans l'administration fédérale;
• les caractéristiques des organismes de recherche bien gérés, telles qu'elles sont décrites par le BVG dans le chapitre 22 du rapport de novembre 1999 (BVG – novembre 1999);
• autres critères permettant d'assurer une couverture appropriée pour la portée de la vérification susmentionnée.

Un programme de vérification basée sur les risques a été élaboré afin de fournir davantage de détails sur la façon dont les différents secteurs de vérification ont été traités, et il fait référence à des procédures de vérification précises, dont :

• l'examen des plans, des objectifs et des stratégies liés aux études, et les plans opérationnels de la Direction générale des politiques et des communications;
• l'examen des politiques, procédures, outils et modèles liés aux études;
• l'examen des comptes rendus des réunions de gestion, des descriptions de travail et des dossiers et rapports d'étude;
• l'examen d'un échantillon d'études complétées et d'études en cours;
• des entrevues avec des personnes ciblées dans tous les secteurs (l'annexe A contient la liste des personnes interviewées).

La vérification a été menée selon le calendrier suivant :

• étape de la planification : février à mars 2012;
• étape de la vérification : mars 2012;
• étape de la production du rapport : de mars à avril 2012;
• présentation au Comité exécutif et au Comité de vérification et d'évaluation : juin 2012.

Les observations et recommandations découlant de la vérification ont été formulées conformément au tableau de classification présenté ci-dessous :

3.1 Mesure de l'efficacité de chacune des études

Nous nous attendions à ce que des indicateurs de rendement appropriés aient été définis pour chaque étude, à ce que le rendement soit évalué en fonction de ces indicateurs et à ce que des mesures correctives soient prises, au besoin.

Nous avons constaté que les objectifs de chaque étude étaient documentés dans les dossiers d'analyse et les documents de travail, mais que les indicateurs de rendement n'étaient pas définis assez clairement pour mesurer l'atteinte des objectifs des études. Nous avons aussi constaté que le Commissariat n'a pas de processus pour mesurer l'atteinte des objectifs des études, mais qu'il avait récemment mis au point un questionnaire de rétroaction en ligne pour les personnes qui assistent aux présentations du Commissariat portant sur l'une de ses études récentes.

L'examen des deux plus récentes études du Commissariat a révélé ce qui suit :

• bien que des activités de suivi aient été menées, des plans formels de suivi des études n'avaient pas été élaborés;
• la rétroaction des intervenants a été sollicitée après la publication du rapport d'étude pour une des deux études seulement;
• le cadre stratégique en matière de recherche fournit des précisions sur les activités à entreprendre lorsqu'une étude est terminée, mais ne mentionne pas la demande de rétroaction des intervenants externes.

L'absence d'indicateurs de rendement documentés en bonne et due forme accroît le risque que le Commissariat ne soit pas en mesure d'évaluer l'efficacité des études et que, par conséquent, il ne puisse mettre en œuvre des mesures correctives, le cas échéant.

3.2 Surveillance des études

Nous nous attendions à ce qu'un processus de surveillance du rendement soit en place pour évaluer la réalisation des études et à ce que le rendement soit évalué régulièrement par la direction du Commissariat.

Nous avons constaté que la direction du Commissariat est informée de l'état d'avancement des études dans le cadre des réunions du Comité exécutif. Les membres du Comité exécutif sont appelés à contribuer au processus de planification intégrée et sont généralement informés des résultats finals des études. Le Comité exécutif a aussi participé à l'élaboration et à l'approbation du cadre stratégique en matière de recherche du Commissariat. Nous avons noté que les présentations au Comité exécutif ne sont pas toujours mentionnées en bonne et due forme dans les comptes rendus de réunions, et certains membres du Comité ont indiqué qu'il serait utile d'avoir des mises à jour plus fréquentes et plus officielles sur les études en cours pour surveiller l'avancement des travaux et mieux diffuser les résultats des études au sein de l'organisation. Enfin, le commissaire reçoit aussi d'autres mises à jour concernant des études précises dans le cadre des réunions bilatérales avec le commissaire adjoint de la Direction générale des politiques et des communications. Ces réunions bilatérales ne sont pas documentées.

Les lacunes au chapitre des processus de contrôle de gestion pour surveiller la réalisation des études de façon régulière accroissent le risque que les études ne soient pas menées conformément aux priorités du Commissariat et que, le cas échéant, les mesures correctives ne soient pas mises en œuvre à temps.

3.3 Gestion des dossiers d'étude

Nous nous attendions à ce qu'un cadre de gestion des projets d'études ait été conçu et mis en place pour définir la portée et les limites de la gestion des projets, ainsi que la méthode à adopter et à appliquer pour chaque projet entrepris (p. ex. approbation et supervision de projets).

Nous avons constaté que la direction du Commissariat avait approuvé un cadre stratégique en matière de recherche en octobre 2011. Le cadre définit la portée et les limites de la gestion des projets, ainsi que la méthode à adopter et à appliquer pour chaque projet entrepris. Nous avons remarqué que, en date du mois de mars 2012, le cadre n'avait pas été communiqué officiellement.

Un examen plus poussé de quatre études (deux qui sont terminées et deux qui sont en cours) a révélé ce qui suit :

• Les dossiers d'analyse étayant les propositions d'étude ne sont pas toujours préparés ou versés au dossier du projet. De plus, les dossiers d'analyse qui existaient ne suivaient pas un modèle type.
• Les plans de travail offraient divers degrés de précision.
• Les approbations données par le Comité exécutif ou le commissaire pour les propositions de projet d'étude ne sont pas toujours documentées en bonne et due forme ou versées au dossier aux fins d'une vérification rétrospective.
• Les stratégies de communication sont habituellement préparées une fois que le rapport d'étude est terminé, plutôt qu'à une étape préliminaire du processus, comme le prévoit le cadre.
• Bien que les versions finales des rapports d'étude soient revues et approuvées par le commissaire, la validation externe des résultats des études n'est pas documentée en bonne et due forme.
• Les rapports d'étude récents sont publiés sur le site Web du Commissariat.
• Les analyses rétrospectives ne sont pas documentées en bonne et due forme, et les plans officiels de suivi des études ne sont pas préparés/documentés comme le prévoit le cadre.
• Il n'existe pas de dépôt central et officiel pour gérer la documentation étayant les études.

Il est important de noter que le cadre stratégique en matière de recherche a été approuvé en octobre 2011 et que les quatre études examinées avaient été entreprises avant cette date. Par conséquent, on s'attendait à que la documentation étayant ces études ne soit pas nécessairement conforme au cadre stratégique en matière de recherche.

Les lacunes au chapitre de la documentation des objectifs et des approbations, de la validation des résultats et de l'archivage des documents justificatifs réduisent la transparence du processus et accroissent le risque que les résultats finals des études ne soient pas validés, étayés et communiqués adéquatement.

3.4 Transfert des connaissances

Nous nous attendions à ce que les résultats des projets d'étude soient diffusés adéquatement.

Nous avons constaté que les rapports d'étude du Commissariat sont portés à la connaissance du public par le biais du site Web du Commissariat, d'activités liées à la publication et de l'envoi par la poste d'exemplaires des rapports aux intervenants externes. À l'interne, nous avons constaté que les rapports d'étude sont disponibles en ligne et à la bibliothèque du Commissariat. Plus de 60 rapports ont été publiés entre 1996 et 2011 et se retrouvent sous la section « Études » du site Web du Commissariat. Les études publiées avant 1996 sont disponibles en version imprimée à la bibliothèque du Commissariat. Enfin, nous avons constaté que, bien que les employés aient accès aux rapports d'étude, ils ne disposent pas actuellement d'une liste de toutes les études réalisées par l'organisation. Une telle liste serait utile aux fins de planification (p. ex., pour le choix de nouveaux sujets d'étude, d'enquête, de vérification), de communication (p. ex., pour envoyer aux plaignants un exemplaire d'une des études du Commissariat susceptible de répondre à leurs préoccupations) et de gestion du savoir.

L'absence d'une liste bien documentée de toutes les études effectuées par l'organisation accroît le risque de perdre une partie de la mémoire institutionnelle, de répéter inutilement les efforts déployés pour réaliser les études et de produire de nouvelles publications (p. ex., rapports d'étude, d'enquête ou de vérification) qui présentent des conclusions et des recommandations différentes des études précédentes.