Réaction

Marge d’erreur et sondages divergents

Il semble que Bryan Breguet avait répondu un peu trop rapidement mardi au tweet de Marc-Antoine Berthiaume. Ce dernier avait soulevé les divergences énormes entre les sondages de Léger et de Mainstreet sur les intentions de vote des jeunes de 18 à 34 ans à l’égard de Québec solidaire. (Pour savoir de quoi je parle ou vous rafraîchir la mémoire, lisez mon billet de mercredi, «Le vote des jeunes et la variabilité des sondages».)

Les hauts dirigeants de Mainstreet ont lancé une campagne sur Twitter pour réitérer leur confiance en leurs résultats (et au passage dire que Léger est dans l’champ). Voici un de leurs plus récents tweets en date:

Nous assistons à une croissance réelle de QS au cours des derniers jours. Nous le ressentons de manière anecdotique, et nous le voyons dans nos sondages nocturnes. Quelque chose est en train de se passer.1

(On suppose que par «sondages nocturnes», le vice-président de Mainstreet veut dire «nightly polls», ou sondages effectués tous les soirs.)

Une observatrice, Suzanne Lachance, ancienne porte-parole du Rassemblement pour l’alternative progressiste (RAP), un des grands-parents de Québec solidaire, a résumé la situation:

Bon, en plus des querelles de politiciens, nous avons droit aux querelles de sondeurs… 😉2

Les simulations de Bryan

Pour en avoir le cœur net, Bryan a fait 20000 simulations en supposant que les «vraies» intentions de vote pour QS dans le groupe d’âge se situaient en fait à la moyenne entre les deux sondages: 18,4%. Il a supposé une taille de sous-échantillon de 150 personnes (la taille de celui de Léger).

Il a trouvé que c’était hautement improbable, sans être complètement impossible, que, si QS est vraiment à 18,4% chez les 18 à 34 ans, un sondage trouve 8% et l’autre, 25,9%. Le diagramme à barres ci-dessous montre le nombre de simulations de sondage (axe vertical) pour lesquelles un certain score (axe horizontal) d’intentions de vote pour QS chez les jeunes de 18 à 34 ans a été obtenu.

Simulations au sujet des intentions de vote des 18 à 34 ans à l'égard de Québec solidaire
Source: Breguet, Bryan. «Mais possiblement en raison des faibles tailles d’échantillons (150 chez Léger, 525 chez Mainstreet, les autres entre les deux). J’ai fait 20,000 simulations avec #QS en centrant à la moyenne des sondages (18.4%). Taille d’échantillon théorique pour les simulations: 150». Tweet. @2closetocall, 30 août 2018.

Il conclut donc que l’un des deux sondages est probablement dans l’champ (mais y’a pas moyen de savoir lequel parce que ça prendrait une élection là là, pas dans un mois).

En réalité, les appuis de QS chez les 18 à 34 ans doivent être soient plus élevés, soient plus bas que 18,4%. S’ils sont plus élevés, la courbe serait décalée vers la droite, et le score de Mainstreet (25,9%) ne serait plus aussi improbable. À l’inverse, s’ils sont plus bas, la courbe serait décalée vers la gauche, et le score de Léger (8%) ne serait plus aussi improbable.

Léger et Mainstreet sont les extrêmes, mais ni l’un ni l’autre n’est complètement seul:

Diagramme à bandes des intentions de vote pour QS chez les 18 à 34 ans pour chacune des cinq firmes de sondage
Source: Breguet, Bryan. «Ok, dernier regard sur les 18-34 ans pour @QuebecSolidaire et les différences entre sondeurs. Tout d’abord, voici le score de QS aprmi les 18-34 ans (électeurs décidés et enclin) chez les 5 firmes.». Tweet. @2closetocall, 30 août 2018.

Il résume donc la situation ainsi:

En conclusion: les différences observées entre sondeurs pour QS chez les 18-34 ans ne peuvent pas être complètement expliquées par les marges d’erreur et tailles d’échantillons. Il y a quelque chose d’autre. Après, j’avoue ne pas avoir d’explication actuellement.3

Mais qu’est-ce que cette marge d’erreur dont il parle? Est-ce que c’est toujours ±3, 19 fois sur 20?

Composition de la marge d’erreur

Ok, je vais mettre une formule pour les personnes à qui ça parle, mais n’ayez pas peur, je saute directement aux implications ensuite.

La marge d’erreur à 95% (donc 19 fois sur 20), c’est 1,96 écart-type ou:

Formule de la marge d'erreur à 95%
p est une proportion (le pourcentage qu’obtient le choix de réponse dans le sondage: 8% dans Léger et 25,9% dans Mainstreet) et n est la taille de l’échantillon (le nombre de personnes sondées).

Ça veut dire que:

  • La marge d’erreur est indépendante de la taille de la population qu’on veut étudier: qu’on cherche à connaître l’opinion dans une seule circonscription ou dans l’ensemble du Québec ne change rien à la marge d’erreur d’un sondage donné.

Autrement dit, ce n’est pas parce qu’on étudie une plus petite population qu’on peut se permettre d’avoir un plus petit échantillon: la marge d’erreur dépend de la taille de l’échantillon, pas de la taille de la population.

  • La marge d’erreur augmente quand la taille de l’échantillon diminue (ça, c’est assez intuitif).
  • La marge d’erreur dépend aussi du résultat obtenu au sondage (la proportion): plus le pourcentage est bas (ou s’éloigne de 50%, pour être plus exacte), plus petite est la marge d’erreur. Ce n’est donc pas toujours ± 3 (ou la marge d’erreur indiquée au début du sondage), 19 fois sur 20.

L’intervalle de confiance s’étend de la valeur du pourcentage obtenu moins la marge d’erreur à la valeur de ce même pourcentage plus la marge d’erreur.

Visualiser la marge d’erreur

Les graphiques de Qc125 rapportant les résultats des sondages ne représentent pas la marge d’erreur et donnent l’impression d’une variation dans le temps (avec le trait qui relie les observations). Je n’aime pas ces choix de représentation graphique.

Comparaison des intentions de vote du 10 au 21 août 2018 telle que présentée par Qc125
Source: Fournier, Philippe J. «La CAQ se maintient en territoire majoritaire». L’actualité, 27 août 2018.

Au moins, la visualisation contient toute l’information nécessaire pour calculer les marges d’erreur de chaque observation: le pourcentage (p) est indiqué dans les cercles et la taille de l’échantillon (n) se trouve au bas de chaque «colonne» (au-dessus du mode de collecte de données et les dates de terrain, qui n’influencent pas la marge d’erreur4).

Dans mon prochain billet, je propose une façon légèrement différente de visualiser les résultats des sondages et discuter plus en profondeur des différences entre maisons de sondage.

Notes