Observations 2017-2018

Le Commissariat aux langues officielles effectue des observations sur les services offerts au public pour rendre compte des forces et des faiblesses d’institutions fédérales en ce qui concerne leurs diverses obligations en vertu de la Loi sur les langues officielles (partie IV de la Loi).

Résultats des observations pour le service au public

Résultats des observations pour le service au public

Institutions fédérales En personne :
Offre active visuelle
(%)
En personne :
Offre active
(%)
En personne :
Disponibilité du service
(%)
Au téléphone :
Offre active
(%)
Au téléphone :
Disponibilité du service
(%)
Courriel et formulaire en ligne :
Disponibilité du serviceNote de bas de page 1
(%)
Courriel et formulaire en ligne :
Délai réponseNote de bas de page 2
(%)
Clavardage :
Disponibilité du service
(%)
Contenu publié sur Internet :
Disponibilité de l'informationNote de bas de page 3
(%)
Administration canadienne de la sûreté du transport aérien 100 70 61 100 99 93 75 - 100
Affaires mondiales Canada (excluant les services en dehors du Canada) - - - 90 89 100 76 - 91
Affaires mondiales Canada (services en dehors du Canada) - - - 81 84 - - - -
Agence des services frontaliers Canada 100 63 84 100 100 93 30 - 100
Agence du revenu du Canada - - - 100 97 - - - 92
Anciens Combattants Canada 100 Note de bas de page 4 98 97 96 80 66 - 100
Banque de développement du Canada - - - 100 100 73 65 100 100
Emploi et Développement social Canada - - - 98 100 94 97 - 100
Emploi et Développement social Canada - Service Canada 98 88 92 - - - - - -
Emploi et Développement social Canada - Passeport Canada 95 70 94 - - - - - -
Immigration, Réfugiés et Citoyenneté Canada - - - 100 Note de bas de page 4 Note de bas de page 4 Note de bas de page 4 - 100
Innovation, Sciences et Développement économique Canada - - - 94 95 93 96 100 100
Ressources naturelles Canada - - - 92 91 93 35 - 100
Observations du service en personne et au téléphone

Observations du service en personne et au téléphone

Mise en contexte

Les observations du service au public qu’effectue le Commissariat aux langues officielles (Commissariat) sont au nombre des outils qui permettent de mesurer le rendement des institutions fédérales en ce qui concerne la partie IV de la Loi sur les langues officielles (service au public). Les observations visent trois modes de services offerts par les institutions : les services en personne, au téléphone et par Internet. Le présent document explique la méthodologie utilisée pour les observations en personne et au téléphone.

Dans son approche méthodologique, le Commissariat est appuyé par Statistique Canada, notamment en ce qui concerne l’échantillonnage, le calcul et la validation des résultats. Il importe de noter que les résultats obtenus donnent une indication du rendement de l’institution au moment précis où les observations sont effectuées; par conséquent, ils ne représentent pas la probabilité d’obtenir un service dans la langue de son choix.

Définitions

Observations en personne

Les observations en personne consistent à effectuer des visites anonymes aux points de service bilingues des institutions fédérales en vue d’évaluer leur capacité à servir le public dans la langue officielle de la minorité linguistique. Il s’agit donc d’observations du service en anglais au Québec et du service en français hors du Québec.

L’évaluation se fait selon les trois critères suivants :

L’offre active visuelle

L’observateur indique si « oui » ou « non » il y a une offre de service bilingue au point de service. Cette offre s’effectue au moyen des éléments visuels suivants :

  • une signalisation bilingue à l’extérieur
  • un affichage bilingue à l’intérieur
  • l’utilisation du pictogramme « Français/English »
  • la présentation de brochures, de formulaires ou de documents dans les deux langues officielles

L’observateur peut indiquer « oui » même si tous ces éléments ne sont pas présents. Par exemple, si le pictogramme « Français/English » n’est pas visible, mais que la plupart des documents et des affiches dans le point de service sont dans les deux langues officielles, il indiquera qu’il y a offre active visuelle bilingue.

L’offre active par le personnel

L’observateur indique dans son rapport « oui » ou « non » selon que le premier contact avec un préposé du point de service se fait dans les deux langues officielles, au moyen de la salutation « bonjour, Hello » ou « suivant, Next », ou une formule semblable.

La disponibilité du service dans la langue officielle de la minorité linguistique

L’observateur indique « oui » ou « non » selon qu’il obtient le service dans la langue officielle de la minorité linguistique au point de service.

Observations du service au téléphone

L’observation du service au téléphone consiste à effectuer des appels aux numéros de téléphone que les institutions mettent à la disposition du public pour entrer en contact avec elles. Lorsque le numéro de téléphone est associé à un bureau physique précis, nous adoptons la même approche que celle utilisée pour les observations en personne selon la langue officielle de la minorité linguistique. Par contre, si le numéro de téléphone est le même pour tout le pays, nous effectuons autant d’observations en français qu’en anglais.

L’évaluation se fait selon les deux critères suivants :

L’offre active au téléphone

Afin de mesurer l’offre active au téléphone, certains facteurs sont pris en compte. Par exemple, si l’institution dispose d’un numéro de téléphone pour chaque langue officielle, l’offre active est implicite. Lorsqu’un système téléphonique permet de choisir la langue officielle de service dans le menu de départ offert aux appelants, l’offre active est plutôt explicite. Pour les cas où ce choix n’est pas offert, l’offre active est mesurée selon le premier contact verbal effectué par un agent.

Ainsi, l’observateur indique si « oui » ou « non » le premier contact de l’institution au téléphone se fait dans les deux langues officielles au moyen d’une formule d’accueil bilingue, telle que « Bonjour! Hello! » ou par l’énonciation du nom de l’institution dans les deux langues officielles, par exemple, « Agence du revenu du Canada, Canada Revenue Agency ». De telles formules indiquent clairement à l’appelant que le service est disponible dans la langue officielle de son choix.

La disponibilité du service au téléphone dans la langue officielle de la minorité

L’observateur indique si « oui » ou « non » le service est disponible dans la langue officielle de la minorité linguistique.

Approche méthodologique

La méthodologie est la même pour les observations en personne et au téléphone. Elle consiste à mener un certain nombre d’observations de façon anonyme à partir d’un échantillon représentatif de l’ensemble des points de service bilingues des institutions évaluées. Au début de chaque cycle d’observation, le commissaire demande aux institutions qui feront l’objet d’observations de lui faire parvenir la liste de tous leurs bureaux bilingues ouverts au public sans rendez-vous. Cette liste est envoyée à Statistique Canada pour l’établissement de l’échantillonnage. Les points de service qui font partie de l’échantillon font l’objet d’une ou de plusieurs observations, durant une période déterminée. Les résultats obtenus donnent une indication de la disponibilité du service dans la langue officielle de la minorité linguistique.

Les résultats

L’objectif principal des observations en personne et au téléphone est d’obtenir des résultats qui sont statistiquement valables globalement pour chacun des critères d’observation. Néanmoins, lorsqu’un nombre important d’observations a été effectué dans une région (par exemple dans l’Ouest) ou dans une province, il est possible de compiler des résultats régionaux ou provinciaux. Sauf indication contraire, les observations ne permettent pas d’obtenir des résultats statistiquement valables par point de service.

Indicateur de qualité des résultats

Lorsque Statistique Canada calcule les résultats des observations, il attribue un indicateur de qualité à chacun d’entre eux. Cet indicateur précise la qualité de l’échantillon qui a fait l’objet d’observations.

  1. écart-type inférieur à 4 % (soit une marge d’erreur de moins de 8 %, 19 fois sur 20)
  2. écart-type entre 4 et 8 % (soit une marge d’erreur entre 8 et 16 %, 19 fois sur 20)
  3. écart-type entre 8 et 12 % (soit une marge d’erreur entre 16 et 24 %, 19 fois sur 20)

Statistique Canada considère que les indicateurs de qualité A, B et C sont adéquats compte tenu de l’objectif visé par les observations du Commissariat. En effet, notre enquête statistique n’est pas un sondage d’opinion et ne vise pas non plus à prédire des résultats ultérieurs.

La comparaison des résultats

Les résultats des observations sont semblables à des instantanés de la disponibilité du service aux divers points de service à un moment bien précis. Sauf indication contraire, ils ne peuvent pas être comparés d’une année à l’autre ni servir à déterminer une évolution dans le temps. Les résultats qui en découleraient ne seraient pas fiables, puisque les marges d’erreur s’accumulent lorsque sont comparés des résultats provenant d’échantillons distincts. Cependant, on peut raisonnablement conclure qu’une institution doit apporter des améliorations à ses points de service bilingues si, à chaque exercice d’observation, elle obtient des résultats faibles.

Observations du service par Internet

Observations du service par Internet

Objectif

Les observations du service au public qu’effectue le Commissariat aux langues officielles (Commissariat) sont au nombre des outils qui permettent de mesurer le rendement des institutions fédérales en ce qui concerne la partie IV de la Loi sur les langues officielles (communications avec le public et prestation des services). Les observations visent trois modes de services offerts par les institutions : les services en personne, au téléphone et par Internet. Le présent document explique la méthodologie utilisée pour les observations du service par Internet.

Cette année, le Commissariat a voulu obtenir des données selon différents modes de communication avec le public en ligne. Ainsi, dans le contexte du virage numérique, des observations ont été réalisées à partir de différentes plateformes, soit des ordinateurs et des appareils mobiles.

Différents médiums sont utilisés par les institutions fédérales sur Internet. Le Commissariat a défini deux catégories de services qui regroupent des fonctions similaires.

La première fait référence à l’aspect d’interaction avec un employé fédéral, lorsqu’un courriel, un formulaire en ligne ou le clavardage est utilisé. Les observations effectuées dans cette catégorie ont permis la comparaison du taux de réponse en français et en anglais ainsi que des délais de réponse dans les deux langues officielles. La deuxième catégorie de services fait référence au contenu mis en ligne pour consultation par le public. Les observations visaient à déterminer l’équivalence dans les deux langues officielles pour des échantillons de contenu publié sur des sites Web, des médias sociaux, des applications et des comptes en ligne d’institutions fédérales.

Méthodologie

La méthodologie a été établie en collaboration avec Statistique Canada, qui a également participé à l’interprétation des résultats.

Dans le cas des observations des services interactifs, des messages ayant des contenus équivalents en français et en anglais ont été envoyés aux institutions afin de comparer les taux et les délais de réponse. Ces observations viennent calquer l'expérience d'un membre du public qui communique avec l'institution afin d’obtenir une information pertinente.

Les observations interactives en ligne permettent de comparer le taux de réponse et le temps écoulé par langue officielle.

Les observations ont été effectuées entre le 13 mars et le 17 avril 2018. Les résultats sont donc représentatifs de cette période.

Contrairement aux observations faites en personne et au téléphone, où les résultats indiquent la disponibilité du service dans la langue officielle de la minorité linguistique, les résultats des observations des services interactifs par Internet comparent les taux de réponse, les délais de réponse et la disponibilité des informations dans les deux langues officielles.

Pour le contenu publié sur le Web, les institutions fédérales ont fourni au préalable les différents sites et médias en ligne. Puis, le Commissariat a établi un échantillon de concert avec Statistique Canada. Lors des observations, une attention particulière a été portée sur le contenu relatif aux activités des institutions fédérales affiché sur le site pangouvernemental canada.ca. Le contenu des sites de certaines institutions qui ne sont pas encore complètement intégrés au site canada.ca a aussi été examiné. Ces observations en ligne viennent calquer l'expérience d'un membre du public qui naviguerait en ligne pour s'informer ou pour se renseigner sur des sujets. Un jugement est porté par l’observateur sur l’équivalence de contenu entre les deux langues officielles (disponibilité du même échantillon de contenu et cibles des liens fournis). Pour les médias sociaux, une revue sommaire des publications a aussi été effectuée pour comparer la qualité de publication par langue officielle.

Les observations du contenu publié sur le Web ont eu lieu entre le 19 mars et le 28 mars 2018.

Annexe A : Taux et délais de réponse comparables

1) Les taux de réponse comparables

Les taux de réponse dans les deux langues officielles permettent d’établir si les institutions fédérales offrent un service comparable en français et en anglais, sans tenir compte des normes de services établies.

i. Calcul du taux de réponse en français et en anglais
    • Taux de réponse en français : (Nombre de réponses obtenues en français ÷ Nombre de courriels et de formulaires envoyés en français) × 100 = x %
    • Taux de réponse en anglais : (Nombre de réponses obtenues en anglais ÷ Nombre de courriels et de formulaires envoyés en anglais) × 100 = x %

Un rappel a été effectué après quelques jours si aucune réponse n’avait été reçue.

ii. Établissement de la note
    • Note du taux de réponse comparable : 100 % moins la différence entre les taux de réponse dans les deux langues officielles.
    • Prenons par exemple l’institution A pour laquelle une réponse en anglais ou en français a été reçue pour chaque courriel et chaque formulaire durant la période d’observation. Selon la formule de calcul, il n’existe aucune différence (0 %) entre les deux taux de réponse, ce qui donne une note de 100 % pour le taux de réponse comparable – voir l’annexe B.
    • Prenons comme deuxième exemple l’institution B où le taux de réponse en anglais s’établit à 90 % et celui en français, à 40 %. La différence entre ces deux taux de réponse étant 50 %, nous obtenons 100 – 50 = 50 % comme note pour le taux de réponse comparable-voir l’annexe B.

2) Délais de réponse comparables

Les moyennes des délais de réponse pour les courriels et les formulaires en français et en anglais permettent de comparer les délais de réponse dans chacune des langues officielles. Pour ce faire, nous attribuons une note qui représente la proportionnalité ou l’équivalence de la moyenne des délais de réponse dans les deux langues officielles. Plus la note tend vers 100 %, plus elle est élevée.

i. Calcul de la moyenne des délais de réponse
  • Afin d’atténuer l’effet des délais extrêmes sur la moyenne, on a recours à la méthode d’estimation de winsorisation, qui consiste à déterminer un plafondNote de bas de page 5 par exemple 200 heures pour une institution quelconque, en supposant que la cause d’un délai supérieur à cela est autre que la langue. Donc, tout délai observé supérieur à 200 heures est ramené à ce plafond pour les besoins du calcul de la moyenne des délais de réponse.
    • Calcul de la moyenne des délais de réponse aux courriels et aux formulaires envoyés en anglais et de celle aux courriels et aux formulaires envoyés en français
      • Moyenne des délais de réponse (en heures) = Somme des délais de réponse (en heures) ÷ Nombre de réponses obtenues
ii. Établissement de la note
  • Note du délai de réponse comparable : 1100 × Délai moyen le plus court ÷ Délai moyen le plus long.
  • Prenons l’exemple de l’institution A, pour laquelle la moyenne des délais de réponse est de 75,2 heures pour les courriels et les formulaires envoyés en anglais et de 163,9 heures pour les courriels et les formulaires envoyés en français. Cela donne une note de 46 %, qui correspond à (100 × 75,2 ÷ 163,9).
  • Prenons comme autre exemple l’institution B, pour laquelle la moyenne des délais de réponse est de 83,3 heures pour les courriels et les formulaires envoyés en anglais et de 62,7 heures pour les courriels et les formulaires envoyés en français. Cela donne une note de 75 %, qui correspond à (100 × 62,7 ÷ 83,3).

Annexe B : Exemples d’observations du service par courriel

Délais de réponse
Institution Taux de réponse en anglais Taux de réponse en français Note pour la disponibilité du service Moyenne des délais de réponse en anglais Moyenne des délais de réponse en français Différence entre les deux moyennes des délais de réponse (heures) Différence entre les deux moyennes des délais de réponse (%) Note pour les délais de réponse
A 100 % 100 % 100 % 75,2 heures 163,9 heures 88,7 heures 54 % 46 %
B 90 % 40 % 50 % 83,3 heures 62,7 heures 20,6 heures 25 % 75 %
Date de modification :
2018-10-16