Le Commissariat aux langues officielles effectue des observations sur les services offerts au public pour rendre compte des forces et des faiblesses d’institutions fédérales en ce qui concerne leurs diverses obligations en vertu de la Loi sur les langues officielles (partie IV de la Loi).
Résultats des observations pour le service au public
Résultats des observations pour le service au public
| Institutions fédérales | Au téléphone : Offre active (%) |
Au téléphone : Disponibilité du service (%) |
Courriel et formulaire en ligne : Réponse dans la langue demandée1 (%) |
Courriel et formulaire en ligne : Taux de réponse comparable2 (%) |
Courriel et formulaire en ligne : Délai de réponse3 (%) |
Contenu publié sur Internet : Disponibilité de l'information4 (%) |
|---|---|---|---|---|---|---|
| Commission de l’immigration et du statut de réfugié du Canada | 89 | 86 | 100 | 88 | 84 | 100 |
| Immigration, Réfugiés et Citoyenneté Canada | 97 | 100 | 92 | 90 | 74 | 100 |
| Infrastructure Canada | 100 | 100 | 100 | 100 | 77 | 5 |
| Pêches et Océans Canada | 54 | 80 | 95 | 87 | 72 | 93 |
| Service canadien du renseignement de sécurité | 96 | 100 | 5 | 5 | 5 | 100 |
| Service correctionnel Canada | 84 | 89 | 98 | 95 | 47 | 83 |
| Société canadienne d’hypothèques et de logement | 36 | 79 | 93 | 93 | 76 | 100 |
| Transports Canada | 88 | 98 | 96 | 98 | 66 | 100 |
Bien que Sécurité publique du Canada ait fait partie de l’exercice d’observations de 2019-2020, cette institution est absente du tableau des résultats en raison d’une collecte de données infructueuse.
Observations du service en personne et au téléphone
Observations du service en personne et au téléphone
Mise en contexte
Les observations du service au public qu’effectue le Commissariat aux langues officielles (Commissariat) sont au nombre des outils qui permettent de mesurer le rendement des institutions fédérales en ce qui concerne la partie IV de la Loi sur les langues officielles (service au public). Les observations visent trois modes de services offerts par les institutions : les services en personne, au téléphone et par Internet. Cet onglet explique la méthodologie utilisée pour les observations en personne et au téléphone.
Dans son approche méthodologique, le Commissariat est appuyé par Statistique Canada, notamment en ce qui concerne l’échantillonnage, le calcul et la validation des résultats. Il importe de noter que les résultats obtenus donnent une indication du rendement de l’institution au moment précis où les observations sont effectuées; par conséquent, ils ne représentent pas la probabilité d’obtenir un service dans la langue officielle de son choix. Il est à noter que la pandémie COVID-19 n’a pas eu d’incidence sur les données récoltées.
Définitions
Observations en personne
Les observations en personne consistent à effectuer des visites anonymes aux points de service bilingues des institutions fédérales en vue d’évaluer leur capacité à servir le public dans la langue officielle de la minorité linguistique. Il s’agit donc d’observations du service en anglais au Québec et du service en français hors du Québec.
L’évaluation se fait selon les trois critères suivants :
L’offre active visuelle
L’observateur indique si « oui » ou « non » il y a une offre de service bilingue au point de service. Cette offre s’effectue au moyen des éléments visuels suivants :
- une signalisation bilingue à l’extérieur;
- un affichage bilingue à l’intérieur;
- l’utilisation du pictogramme « Français/English »;
- la présentation de brochures, de formulaires ou de documents dans les deux langues officielles.
L’observateur peut indiquer « oui » même si tous ces éléments ne sont pas présents. Par exemple, si le pictogramme « Français/English » n’est pas visible, mais que la plupart des documents et des affiches dans le point de service sont dans les deux langues officielles, il indiquera qu’il y a offre active visuelle bilingue.
L’offre active par le personnel
L’observateur indique dans son rapport « oui » ou « non » selon que le premier contact avec un préposé du point de service se fait dans les deux langues officielles, au moyen de la salutation « Bonjour, hello » ou « Suivant, next », ou une formule semblable.
La disponibilité du service dans la langue officielle de la minorité linguistique
L’observateur indique « oui » ou « non » selon qu’il obtient le service dans la langue officielle de la minorité linguistique au point de service.
Remarque : Les observations en personne n’ayant pas eu lieu cette année, cette catégorie de résultats n’apparaît pas dans le tableau des résultats relatifs au cycle courant.
Observations du service au téléphone
L’observation du service au téléphone consiste à effectuer des appels aux numéros de téléphone que les institutions mettent à la disposition du public pour entrer en contact avec elles. Lorsque le numéro de téléphone est associé à un bureau physique précis, l’approche retenue est la même que celle utilisée pour les observations en personne selon la langue officielle de la minorité linguistique. Ces appels téléphoniques ont pour but d’évaluer la capacité de l’institution à servir le public dans la langue officielle de la minorité linguistique, soit le service en anglais au Québec et le service en français hors du Québec. En revanche, si le numéro de téléphone est le même pour tout le pays, le nombre d’observations est le même en français et en anglais.
L’évaluation se fait selon les deux critères suivants :
L’offre active au téléphone
Afin de mesurer l’offre active au téléphone, certains facteurs sont pris en compte. Par exemple, si l’institution dispose d’un numéro de téléphone pour chaque langue officielle, l’offre active est implicite. Lorsqu’un système téléphonique permet de choisir la langue officielle de service dans le menu de départ offert aux appelants, l’offre active est plutôt explicite. Pour les cas où ce choix n’est pas offert, l’offre active est mesurée selon le premier contact verbal effectué par un agent.
Ainsi, l’observateur indique si « oui » ou « non » le premier contact de l’institution au téléphone se fait dans les deux langues officielles au moyen d’un message bilingue de la boîte vocale, d’une formule d’accueil bilingue, telle que « Bonjour, hello », ou par l’énonciation du nom de l’institution dans les deux langues officielles, par exemple, « Agence du revenu du Canada, Canada Revenue Agency ». De telles formules signalent clairement à l’appelant que le service est disponible dans la langue officielle de son choix.
La disponibilité du service au téléphone dans la langue officielle de la minorité
L’observateur indique si « oui » ou « non » le service est disponible dans la langue officielle de la minorité linguistique.
Approche méthodologique
La méthodologie est la même pour les observations en personne et au téléphone. Elle consiste à mener un certain nombre d’observations de façon anonyme à partir d’un échantillon représentatif de l’ensemble des points de service bilingues des institutions évaluées. Au début de chaque cycle d’observation, le commissaire demande aux institutions qui feront l’objet d’observations de lui faire parvenir la liste de tous leurs bureaux bilingues ouverts au public sans rendez-vous. Cette liste est envoyée à Statistique Canada pour l’établissement de l’échantillonnage. Les points de service qui font partie de l’échantillon font l’objet d’une ou de plusieurs observations, durant une période déterminée. Les résultats obtenus donnent une indication de la disponibilité du service dans la langue officielle de la minorité linguistique. Les observations des services par téléphone ont été réalisées entre le 11 février et le 31 mars 2020. Les résultats sont donc représentatifs de cette période.
Les résultats
L’objectif principal des observations en personne et au téléphone est d’obtenir des résultats qui sont statistiquement valables globalement pour chacun des critères d’observation. Sauf indication contraire, les observations ne permettent pas d’obtenir des résultats statistiquement valables par point de service.
Indicateur de qualité des résultats
Lorsque Statistique Canada calcule les résultats des observations, il attribue un indicateur de qualité à chacun d’entre eux. Cet indicateur précise la qualité de l’échantillon qui a fait l’objet d’observations.
- écart-type inférieur à 4 % (soit une marge d’erreur de moins de 8 %, 19 fois sur 20)
- écart-type entre 4 et 8 % (soit une marge d’erreur entre 8 et 16 %, 19 fois sur 20)
- écart-type entre 8 et 12 % (soit une marge d’erreur entre 16 et 24 %, 19 fois sur 20)
Statistique Canada considère que les indicateurs de qualité A, B et C sont adéquats compte tenu de l’objectif visé par les observations du Commissariat. En effet, notre enquête statistique n’est pas un sondage d’opinion et ne vise pas non plus à prédire des résultats ultérieurs.
La comparaison des résultats
Les résultats des observations sont semblables à des instantanés de la disponibilité du service aux divers points de service à un moment bien précis. Sauf indication contraire, ils ne peuvent pas être comparés d’une année à l’autre ni servir à déterminer une évolution dans le temps. Les résultats qui en découleraient ne seraient pas fiables, puisque les marges d’erreur s’accumulent lorsque sont comparés des résultats provenant d’échantillons distincts. Cependant, on peut raisonnablement conclure qu’une institution doit apporter des améliorations à ses points de service bilingues si, à chaque exercice d’observation, elle obtient des résultats faibles.
Observations du service par Internet
Observations du service par Internet
Mise en contexte
Les observations du service au public qu’effectue le Commissariat aux langues officielles (Commissariat) sont au nombre des outils qui permettent de mesurer le rendement des institutions fédérales en ce qui concerne la partie IV de la Loi sur les langues officielles (service au public). Les observations visent trois modes de services offerts par les institutions : les services en personne, au téléphone et par Internet. Cet onglet explique la méthodologie utilisée pour les observations du service par Internet. Il est à noter que la pandémie COVID-19 n’a pas eu d’incidence sur les données récoltées.
Pour une troisième année consécutive, le Commissariat a voulu obtenir des données selon différents modes de communication avec le public en ligne. Ainsi, dans le contexte du virage numérique, des observations ont été réalisées à partir de différentes plateformes, soit des ordinateurs et des appareils mobiles.
Différents médiums sont utilisés par les institutions fédérales sur Internet. Le Commissariat a défini deux catégories de services qui regroupent des fonctions similaires.
La première porte sur l’interaction avec un employé fédéral, lorsqu’un courriel ou un formulaire en ligne est utilisé. Les observations effectuées dans cette catégorie ont permis de vérifier si les réponses aux courriels sont dans la langue officielle utilisée par le demandeur et de comparer le taux de réponse en français et celui en anglais. La deuxième catégorie porte sur le contenu mis en ligne pour consultation par le public. Les observations visaient à déterminer l’équivalence dans les deux langues officielles pour des échantillons de contenu publié sur des sites Web, des médias sociaux, des applications et des comptes en ligne d’institutions fédérales.
Méthodologie
La méthodologie a été établie en collaboration avec Statistique Canada, qui a également participé à l’interprétation et à la validation des résultats.
Contrairement aux observations faites en personne et au téléphone, où les résultats indiquent la disponibilité du service dans la langue officielle de la minorité linguistique, les résultats des observations des services interactifs par Internet comparent le nombre de réponses aux courriels ou formulaires qui ont été reçues dans la langue officielle utilisée par le demandeur, les taux de réponse, les délais de réponse et la disponibilité des informations dans les deux langues officielles.
Dans le cas des observations des services interactifs par Internet, des messages ayant des contenus équivalents en français et en anglais ont été envoyés aux institutions afin d’évaluer le respect de la langue officielle de préférence, qui correspond à la langue officielle dans laquelle le demandeur a rédigé son courriel ou rempli son formulaire, et de comparer les taux et les délais de réponse. Ces observations viennent calquer l’expérience d’un membre du public qui communique avec l’institution afin d’obtenir une information pertinente.
Les observations interactives en ligne permettent de comparer la quantité de réponses dans la langue officielle demandée, la quantité de réponses dans chaque langue officielle ainsi que le temps écoulé avant la réception d’une réponse pour chaque langue officielle.
Les observations des services interactifs par Internet ont été effectuées entre le 14 février et le 3 avril 2020. Les résultats sont donc représentatifs de cette période.
Pour le contenu publié sur le Web, les institutions fédérales ont fourni au préalable les différents sites et médias en ligne. Des observations ont eu lieu pour chaque site et média en ligne. Ces observations en ligne viennent calquer l’expérience d’un membre du public qui naviguerait en ligne pour s’informer ou pour se renseigner sur des sujets. Un jugement est porté par l’observateur sur l’équivalence de contenu entre les deux langues officielles (disponibilité du même échantillon de contenu et cibles des liens fournis). Pour les médias sociaux, une revue sommaire des publications a aussi été effectuée pour comparer la qualité de publication par langue officielle.
Les observations du contenu publié sur le Web ont eu lieu entre le 14 février et le 31 mars 2020. Les résultats sont donc représentatifs de cette période.
Annexe A : Taux et délais de réponse comparables
1) Les taux de réponse comparables
Les taux de réponse dans les deux langues officielles permettent d’établir si les institutions fédérales offrent un service comparable en français et en anglais, sans tenir compte des normes de services établies.
i. Calcul du taux de réponse en français et en anglais
-
- Taux de réponse en français : (Nombre de réponses obtenues en français ÷ Nombre de courriels et de formulaires en ligne envoyés en français) × 100 = x %
- Taux de réponse en anglais : (Nombre de réponses obtenues en anglais ÷ Nombre de courriels et de formulaires en ligne envoyés en anglais) × 100 = x %
ii. Établissement de la note
-
- Note du taux de réponse comparable : 100 % moins la différence entre les taux de réponse dans les deux langues officielles.
- Prenons par exemple l’institution A pour laquelle une réponse en français ou en anglais a été reçue pour chaque courriel et chaque formulaire en ligne durant la période d’observation. Selon la formule de calcul, il n’existe aucune différence (0 %) entre les deux taux de réponse, ce qui donne une note de 100 % pour le taux de réponse comparable – voir l’annexe B.
- Prenons comme deuxième exemple l’institution B où le taux de réponse en anglais s’établit à 90 % et celui en français, à 40 %. La différence entre ces deux taux de réponse étant 50 %, nous obtenons 100 – 50 = 50 % comme note pour le taux de réponse comparable – voir l’annexe B.
2) Délais de réponse comparables
Les moyennes des délais de réponse pour les courriels et les formulaires en ligne en français et en anglais permettent de comparer les délais de réponse dans chacune des langues officielles. Pour ce faire, nous attribuons une note qui représente la proportionnalité ou l’équivalence de la moyenne des délais de réponse dans les deux langues officielles. Plus la note tend vers 100 %, plus les délais de réponse étaient rapprochés en français et en anglais.
i. Calcul de la moyenne des délais de réponse
- Afin d’atténuer l’effet des délais extrêmes sur la moyenne, on a recours à la méthode d’estimation de winsorisation, qui consiste à déterminer un plafond6 par exemple 200 heures pour une institution quelconque, en supposant que la cause d’un délai supérieur à cela est autre que la langue. Donc, tout délai observé supérieur à 200 heures est ramené à ce plafond pour les besoins du calcul de la moyenne des délais de réponse.
- Calcul de la moyenne des délais de réponse aux courriels et aux formulaires en ligne envoyés en français et de celle aux courriels et aux formulaires en ligne envoyés en anglais
- Moyenne des délais de réponse (en heures) = Somme des délais de réponse (en heures) ÷ Nombre de réponses obtenues
- Calcul de la moyenne des délais de réponse aux courriels et aux formulaires en ligne envoyés en français et de celle aux courriels et aux formulaires en ligne envoyés en anglais
ii. Établissement de la note
-
- Note du délai de réponse comparable : 100 × Délai moyen le plus court ÷ Délai moyen le plus long.
- Prenons l’exemple de l’institution A, pour laquelle la moyenne des délais de réponse est de 75,2 heures pour les courriels et les formulaires en ligne envoyés en anglais et de 163,9 heures pour les courriels et les formulaires en ligne envoyés en français. Cela donne une note de 46 %, qui correspond à (100 × 75,2 ÷ 163,9).
- Prenons comme autre exemple l’institution B, pour laquelle la moyenne des délais de réponse est de 83,3 heures pour les courriels et les formulaires en ligne envoyés en anglais et de 62,7 heures pour les courriels et les formulaires en ligne envoyés en français. Cela donne une note de 75 %, qui correspond à (100 × 62,7 ÷ 83,3).
Annexe B : Exemples d’observations du service par Internet
| Institution | Taux de réponse en anglais | Taux de réponse en français | Note pour la disponibilité du service | Moyenne des délais de réponse en anglais | Moyenne des délais de réponse en français | Différence entre les deux moyennes des délais de réponse (heures) | Différence entre les deux moyennes des délais de réponse (%) | Note pour les délais de réponse |
|---|---|---|---|---|---|---|---|---|
| A | 100 % | 100 % | 100 % | 75,2 heures | 163,9 heures | 88,7 heures | 54 % | 46 % |
| B | 90 % | 40 % | 50 % | 83,3 heures | 62,7 heures | 20,6 heures | 25 % | 75 % |