Réaction

La course pour la médaille de bronze

À Tout le monde en parle, hier, Guy A. Lepage a commencé son entrevue avec les analystes politiques en leur demandant:

Le PLQ et la CAQ se chicanent ensemble, et le PQ et Québec solidaire se chicanent de leur bord. Est-ce qu’il y a deux courses parallèles entre deux partis qui pourraient former le gouvernement et deux partis qui voudraient former l’opposition?1

Comme les prévisionnistes Éric Grenier et Philippe J. Fournier, je m’intéresse davantage à la deuxième:

— Again, we’re talking about the bottom of the race, we gotta talk about the top!

— But it’s so interesting, right?2

Bien évidemment, j’ai le point de vue très particulier d’une personne qui a analysé le vote solidaire pour voir où il serait possible d’éventuellement faire des gains.

Aujourd’hui est un grand jour: c’est l’occasion pour moi de voir si les analyses que j’ai préparées en 2014 en vue des élections qui viendraient quatre ans et demi plus tard se sont avérées juste.

Commençons notre observation de la course pour la médaille de bronze avec une controverse qui a beaucoup alimenté mon fil Facebook dans les derniers jours. Vous pouvez aussi vous rendre directement à l’analyse de la répartition géographique des appuis péquistes et solidaires.

L’attrait du orange

Pancarte libérale tricolore (bleu, orange, rouge) dans Hochelaga
Source: Skelling, Yannick. Publication Facebook. 28 septembre 2018.

Des photos du PQ et du PLQ qui «récupéraient» le orange solidaire ont beaucoup circulé sur mon fil Facebook.

Cette pancarte du PLQ, posée au coin des rues Guimond et Pie-IX dans la circonscription Hochelaga-Maisonneuve, n’est pas très utile si l’objectif était de confondre l’électorat. Le candidat Julien Provencher-Proulx n’est même pas identifié…

Je ne crois donc pas que le PLQ essaie de «récupérer» la sympathie envers Québec solidaire.

Envoi postal de Carole Poirier sur fond orange
Source: Skelling, Yannick. Publication Facebook. 28 septembre 2018.

Ce dépliant du PQ illustre bien, à mon avis, la course en cours pour la médaille de bronze. Il donne l’impression, avec son fond orange, que Carole Poirier est en fait candidate de QS.

Il permet d’associer le visage de la candidate (qui se trouve sur le bulletin de vote) avec la couleur orange associée à QS pour espérer que les personnes qui ne prennent pas le temps de lire les noms de parti se trompent et votent pour elle en voulant voter pour QS.

Dans un quartier avec un taux d’analphabétisme plus élevé qu’ailleurs sur l’île3, c’est plutôt futé! (Je vous laisse juger du caractère éthique ou pas de la manœuvre.)

Macarons oranges «Solidaire avec Dave Turcotte»
Source: Bédard-Wien, Jérémie. Publication Facebook. 23 septembre 2018.

L’objectif de «récupération» du orange par Dave Turcotte laisse tant qu’à moi moins de place à l’interprétation puisque le macaron utilise également le terme «solidaire». Autant je trouve la tactique efficace dans Hochelaga, autant je la trouve désespérée dans Saint-Jean, sur la Rive-Sud de Montréal.

Dans les projections finales de Too Close To Call et de Qc125, Québec solidaire (QS) n’a aucune chance de l’emporter dans Saint-Jean. L’objectif des macarons serait donc de rallier le vote QS pour permettre au député sortant de conserver son siège.

Le problème, c’est que dans la dernière projection par circonscription de Too Close To Call avant que ne soit prise la photo (celle du 21 septembre), le PQ était à 27,2% et QS à 14,8%4. Si tout l’électorat solidaire transférait plutôt au PQ, celui-ci atteindrait 42,0%, ce qui aurait effectivement permis de potentiellement dépasser la CAQ à 38,8%5.

Il faudrait que le PQ réussisse à récupérer tout tout tout le vote solidaire dans Saint-Jean pour espérer battre la CAQ. Toutefois, la manœuvre risque d’aliéner autant de gens qu’elle réussirait à tromper (en faisant croire que Dave Turcotte est le candidat solidaire pour lequel une personne voulait voter).

Bref, il me semble vraiment désespéré de penser qu’on puisse l’emporter en trompant un maximum de 50% de l’électorat solidaire dans Saint-Jean (et ce, parmi les personnes qui voient le macaron!).

Si le 21 septembre Too Close To Call accordait 6% de chances au péquiste Dave Turcotte de conserver sa place à l’Assemblée nationale, dans ses projections finales, Saint-Jean est devenu un siège assuré pour la CAQ6. C’est également ce que projette Qc1257.

La multiplication des bleus

D’autres internautes ont fait remarqué qu’à ce titre, QS «récupérait» tout autant le bleu péquiste. Ou est-ce le bleu caquiste? (Vous remarquerez que je milite pour une CAQ mauve pour éviter la confusion dans les visualisations!)

Je n’ai pas fait d’étude systématique, mais j’ai l’impression que la quantité de bleu dans le matériel de QS a augmenté depuis sa fusion avec Option nationale. Le parti de gauche semble avoir intégré plus de bleu à son graphisme parce que c’était la couleur d’ON. (Encore un autre bleu! Une chance qu’il y a eu fusion!)

Bannière Facebook bleue de Québec solidaire
Source: Bannière Facebook. Québec solidaire, 16 septembre 2018.

On se retrouve donc effectivement avec du matériel qui ressemble à celui du PQ, quoiqu’avec une facture graphique un peu différente.

Il semble que Like-Moi en ait fait toute une parodie, de tous ces bleus.

Sketch primeur Like-Moi! | Positions politiques

[ PRIMEUR SAISON 4 ]

Soyez informés, allez voter! Une nouvelle nouveauté toute neuve de Like-Moi!

#FULLIMPACT #BLEUvsBLEU

Publiée par Like Moi sur Samedi 22 septembre 2018

 

Les prognostics

Alors c’est l’état de la course pour la médaille de bronze vue de mon fil Facebook. De quoi a-t-elle l’air dans les sondages?

Nous avons eu droit à quatre sondages de fin de campagne (dont un dernier de Forum qui a été publié à minuit moins 58: j’ai veillé tard…).

Dernière date du sondage Maison de sondage Taille de l’échantillon CAQ PLQ PQ QS
27 sept. Léger
(panel Web)
1502 28% 26% 17% 17%
27 sept. Mainstreet
(appels automatisés)
1760 28,7% 26,8% 18,4% 14,9%
28 sept. Ipsos
(2/3 en ligne et 1/3 par téléphonistes)
1250 26% 25% 14% 13%
30 sept. Forum
(appels automatisés)
1716 33% 28% 20% 17%

Les projections finales des trois sites qui donnent des projections consolidées (et non une par sondage comme le modèle Forest/Guntermann) font état d’une course pour la médaille de bronze très incertaine en nombre de sièges.

Poll Tracker9 Too Close To Call10 Qc12511
PQ QS PQ QS PQ QS
Vote populaire 19,0% 16,5% 18,4% 16,0% 19,4% 15,1%
Sièges
Minimum 1 5 4 5 1,0 3,8
Projection 10 10 8 7 11,7 6,7
Maximum 31 18 22 11 23,3 9,5

Toutes les projections placent le PQ devant QS sur le plan du vote populaire. Elles situent aussi toutes le minimum de sièges du PQ sous celui de QS. Comment est-ce possible? Le Poll Tracker placent même les deux partis souverainistes à égalité pour le nombre de sièges!

C’est parce que le vote de Québec solidaire est très concentré. Il est donc plus sûr que celui du PQ à certains endroits, mais il est aussi trop diffus ailleurs pour espérer gagner autant de sièges que le PQ avec la même proportion des voix à l’échelle provinciale.

Les défis contraires des concurrents

Bryan Breguet de Too Close To Call a accompagné sa dernière projection de ce diagramme à bandes fort utile pour comprendre les défis différents des deux partis qui s’opposent pour la troisième place.

Nombre de sièges par chances de gagner la circonscription
Source: Breguet, Bryan. «Projections finales pour Québec 2018: une majorité CAQ». Too Close To Call (blogue), 30 septembre 2018.

Complètement à gauche, on retrouve le nombre de circonscriptions dans lesquelles chaque parti n’a absolument aucune chance de l’emporter. À l’opposé, à droite, on trouve le nombre de circonscriptions que chaque parti a définitivement en banque.

Chaque parti? Remarquez qu’il n’y a pas de bande bleue complètement à droite, au-dessus de «100%». C’est parce que dans les simulations de Too Close To Call, il n’y a aucune circonscription que le PQ a gagné à chacune des 10000 simulations. Il y a toujours eu un autre parti qui a emporté une circonscription péquiste dans une ou plusieurs simulations.

À l’autre bout du spectre, Québec solidaire a beaucoup plus de circonscriptions que le PQ où il n’a aucune chance (environ 60% des circonscriptions contre 40% pour le PQ).

Le vote de Québec solidaire est tellement concentré qu’il lui assure trois sièges garantis le long de la ligne orange à Montréal, mais il fait en sorte qu’il n’est pas compétitif ailleurs.

On voit le même phénomène dans la course pour la première place où «[l]e vote PLQ est trop concentré pour être vraiment compétitif12.» Les libéraux ont plus de sièges assurés que les caquistes, mais ils ont aussi plus de circonscriptions où ils n’ont aucune chance.

L’inefficacité du vote solidaire

Cette élection devrait marquer la fin de l’ère de Québec solidaire—parti montréalais, mais ça demeure un parti exclusivement urbain.

Regardez la carte électorale de Too Close To Call: on ne voit pas de polygones oranges!

Source: Breguet, Bryan. «Projections finales pour Québec 2018: une majorité CAQ». Too Close To Call (blogue), 30 septembre 2018.

C’est parce que les 7 circonscriptions qu’il donne à QS dans sa projection sont toutes à Montréal et à Québec, des circonscriptions urbaines, donc trop petites pour être visibles quand on «zoom out» comme ça.

Projection du vote populaire (30 septembre 2018)
Source: Fournier, Philippe J. «La Coalition avenir Québec aux portes du pouvoir». L’Actualité, 30 septembre 2018.

Cette concentration des voix en ville rend le vote de Québec solidaire extrêmement inefficace cette élection-ci. Dans un mode de scrutin proportionnel, avec 13% à 17% des voix, comme le prévoit la projection finale de Philippe J. Fournier, Québec solidaire pourrait espérer obtenir entre 16 et 21 sièges. Dans le meilleur des meilleurs scénarios, Too Close To Call lui en accorde 17 et Qc125, 11.

Pourquoi Québec solidaire obtient moins de sièges avec un mode de scrutin uninominal à un tour?

Bryan Breguet dirait que c’est parce qu’il est «stupide», mais ce n’est pas très complet comme explication13. Examinons plus précisément comment ces intentions de vote se distribuent dans la province.

Les sondeurs divisent le Québec en trois à cinq régions. Les trois régions de base sont la région métropolitaine de recensement de Montréal, celle de Québec et le reste du Québec. Ipsos et Mainstreet divise la première entre l’île de Montréal et ses banlieues. Forum ajoute une couche de précision en subdivisant ces dernières en couronne Nord et couronne Sud.

Intentions de vote dans la région métropolitaine de recensement de MontréalMontréal (57 sièges)

Le tout dernier Forum est le seul à placer la CAQ devant les libéraux dans la course pour la médaille d’or. PQ et QS se mènent dans tous les sondages une chaude lutte pour la médaille de bronze.

Malheureusement, Léger ne distingue pas entre l’île et ses couronnes. Voyons ce qu’ont trouvé les autres sondages.

Intentions de vote sur l'île de MontréalÎle de Montréal (27 sièges)

D’après Mainstreet et Ipsos, les libéraux auraient une avance très solide sur l’île de Montréal. Ils trouvent également une course à trois plus ou moins serrée pour la deuxième place.

Forum, par contraste, trouve que la CAQ se détache du groupe de chasse pour obtenir définitivement la médaille d’argent sur l’île de Montréal. L’avance des libéraux n’y est pas du tout aussi éclatante. Rappelons que ces sondages ne distinguent pas entre l’est francophone et l’ouest anglophone de l’île.

Intentions de vote dans les couronnes de MontréalCouronnes nord et sud de Montréal (30 sièges)

Tous les sondeurs qui distinguent les couronnes de l’île placent les partis dans le même ordre, mais les égalités statistiques ne sont pas les mêmes.

Forum a encore une fois la CAQ plus haut, la positionnant plus solidement en avance. Elle est également en première position dans Mainstreet, mais tout juste. Les barres d’erreur des meneurs se chevauchent dans Ipsos, qui a une plus petite taille d’échantillon, donc des marges d’erreur plus grandes.

La course entre le PQ et QS est par ailleurs, sans surprise, moins serrée en banlieue de Montréal que sur l’île.

Intentions de vote dans la région métropolitaine de recensement de QuébecQuébec (13 sièges)

La région métropolitaine de recensement de Québec est la plus petite région de base qu’étudient les sondeurs. On n’y retrouve que 13 circonscriptions, soit moins de la moitié des 27 circonscriptions sur l’île de Montréal et des 30 dans les couronnes.

La petite taille d’échantillon de Mainstreet cause plus de chevauchement, mais les trois autres sondages trouvent une CAQ confortablement en avance dans la région où sa montée a commencé (avec l’élection partielle dans Louis-Hébert il y a presqu’exactement un an).

Léger, Ipsos et Forum ont tous trouvé une course serrée pour la médaille d’argent.

Intentions de vote dans le reste du QuébecReste du Québec (55 sièges)

Il n’y a que dans le dernier Mainstreet que le PQ devance QS au-delà de la marge d’erreur, et ce, uniquement dans le reste du Québec, où la CAQ par ailleurs domine.

Transposition en sièges

En somme, la CAQ est en avance partout sauf sur l’île de Montréal. Le PQ et QS sont à égalité statistique partout dans les intentions de vote sauf dans le reste du Québec. Si leur course pour la médaille de bronze est si serrée, pourquoi la variabilité des projections de la taille de la députation péquiste est si grande?

Examinons les projections par circonscription de Too Close To Call et de Qc125. Ci-dessous, la liste des circonscriptions où Québec solidaire aurait au moins 2% des chances de l’emporter (le seuil de Bryan a utilisé pour ses guides du vote stratégique14).

Région Nb de sièges Intentions de vote
Circonscriptions à 2% ou plus de chances de gagner Too Close To Call Qc125
Île de Montréal 27 sièges 11%-21%
Gouin 100% >99%
Mercier 100% >99%
Sainte-Marie—Saint-Jacques 100% >99%
Hochelaga-Maisonneuve 80% 92%
Laurier-Dorion 80% 62%
Rosemont 50% 65%
Maurice-Richard 21% 7%
Bourget 9%
Pointe-aux-Trembles 3%
Couronnes de Montréal 30 sièges 10%-21%
aucune circonscription
Région métropolitaine de recensement de Québec 13 sièges 10%-25%
Taschereau 96% 82%
Jean-Lesage 32% 15%
Jean-Talon 2%
Reste du Québec 55 sièges 13%-24%
Rouyn-Noranda—Témiscamingue 35% 23%
Sherbrooke 17% 21%
Chicoutimi 4%
Abitibi-Ouest 2%
Saint-François 2%

Les appuis de 10% à 21% de Québec ne mèneront à aucun siège dans les Couronnes de Montréal (qui en distribuent 30).

L’appui important dans le reste du Québec (13%-24%) pourrait au moins se traduire par 5 sièges sur 55 (9% de la représentation), mais ça implique que Québec solidaire gagne dans Chicoutimi, Abitibi-Ouest et Saint-François. Too Close To Call y accorde entre 2% et 4% de chances aux candidatures solidaires.

Le parti n’a, à ce que je sache, aucune ressource particulière dans ces trois derniers comtés. De plus, la gang d’Abitibi-Ouest risque d’être réquisitionnée pour appuyer Rouyn dans sa sortie de vote, et c’est assurément le cas de Saint-François, de l’autre côté de la rivière à Sherbooke.

L’appui impressionnant de Québec solidaire dans la RMR de Québec (10%-25%) pourrait permettre aux deux têtes de proue d’Option nationale, Catherine Dorion dans Taschereau et Sol Zanetti dans Jean-Lesage, d’être élus à l’Assemblée nationale. La dernière projection de Too Close To Call ajoute Jean-Talon avec 2% de chances.

Avec deux à trois sièges sur 13, QS récolterait 15% à 23% de la représentation de la région de Québec, un taux beaucoup plus efficace que dans le reste du Québec.

Il n’y a qu’à Montréal que le vote de Québec solidaire est efficacement concentré. En effet, le parti de gauche, crédité de 11% à 21% d’appuis, est en droit d’espérer récolter de sept à neuf sièges parmi les 27 de l’île. C’est entre un quart et un tiers de la représentation de la métropole!

Si le vote solidaire est si efficace à Montréal, c’est qu’il est concentré dans l’est de l’île, qui envoie 14 personnes à l’Assemblée nationale. Dans le seul Léger de cette année qui a offert des résultats ventilés entre l’est et l’ouest de l’île (mené en juin), Québec solidaire obtenait entre 16% et 28% dans l’est francophone (et anciennement péquiste) et entre 2 et 10% dans l’ouest anglophone (solidement libéral)15.

Les appuis du parti de gauche sont passés de 11% à 15% dans Léger dans la RMR de Montréal, donc on est en droit de croire que l’appui a augmenté dans l’est, mais on ne sait pas dans quelle proportion (c’est le travail des prévisionnistes)16.

Le terreau historiquement fertile de Québec solidaire pourrait lui permettre de gagner une plus grande proportion de sièges dans l’est de Montréal que son appui populaire. En effet, sept à neuf sièges dans le meilleur des meilleurs scénarios sur les 14 de l’est de l’île, c’est entre la moitié et 64% de la députation!

Même si on ne compte que les cinq sièges les plus certains, Québec solidaire gagnerait 36% des sièges de l’est de Montréal. Je resterais bien surprise que le parti obtienne un aussi haut score, même dans l’est de Montréal, sans obtenir plus de sièges.

Maman, c’est fini!

Me Marchi, Martin et moi seront réunis ce soir pour suivre la soirée électorale dans le comté de Jean-François Lisée. Suivez-nous sur Twitter pour une soirée qui s’annonce haute en couleurs!

Notes

Mise à jour

La discorde persiste concernant les appuis de Québec solidaire

Demandez (sur Twitter) et vous recevrez!

Joseph Angolano, vice-président chez Mainstreet, m’a envoyé le lien vers le rapport de Mainstreet. J’ai donc pu mettre à jour mes graphiques d’intentions de vote avant répartition (avec les barres d’erreur!).

Intentions de vote avant répartition dans les sondages complétés entre le 7 et le 10 septembre 2018

Je n’ai inclus que les derniers Mainstreet et Léger parce que les sondages de CROP, d’Ipsos et de Forum datent d’avant le déclenchement.

On constate que tous les résultats sont compatibles (les barres d’erreur se chevauchent), sauf ceux pour Québec solidaire:

Intentions de vote pour QS avant répartition dans les sondages complétés entre le 7 et le 10 septembre 2018

En effet, aucune des barres d’erreur ne touche à la ligne des 12,5%.

Hier soir, à l’annonce des résultats du sondage Léger, Bryan Breguet de Too Close To Call avait fait remarquer que Léger et Mainstreet divergaient sur les intentions de vote pour la CAQ et pour QS:

En gros Léger et Mainstreet s’entendent parfaitement sur le PLQ et le PQ, mais Léger a la CAQ 5 points plus élevé et QS 5 points plus bas. Intéressant que les différences soient entre CAQ et QS1.

Il arrive à cette conclusion à partir des résultats après répartition. Comme on a vu, avant répartition, les deux firmes de sondage s’entendent sur le fait que les intentions de vote pour la CAQ se trouvent entre 27% et 31%.

Dans son billet de ce matin, Bryan s’étendait plus longuement sur le sujet, en rappelant la différence entre les sondages locaux et nationaux de Mainstreet qu’il avait évoquée dans son billet d’hier:

Mainstreet et Léger en fait s’entendent parfaitement sur le PLQ et le PQ. Par contre ils ont des chiffres fort différents pour la CAQ et QS. Mainstreet a ces partis à respectivement 31% et 16% alors que Léger les a à 35% et 11%. Une différence de 4-5 points pour chaque parti. Qui dit vrai? Impossible d’y répondre pour sûr mais les sondages par comté de Mainstreet sont bien plus cohérents avec une Coalition à 35%-36% et QS à 11%. Ainsi je serais tenté de dire que Léger a possiblement raison ici. Mais il nous faudra attendre d’autres sondages (et en fait l’élection) pour en être sûr2.

Je vous encourage à lire par vous-mêmes son billet sur les divergences entre les sondages locaux et nationaux de Mainstreet. Pour vous titiller, voici le tableau sur lequel il se base:

Résultats moyens des partis dans les 31 circonscriptions avec des sondages locaux
Source: Breguet, Bryan. «Les sondages par circonscription indiquent un raz de marée CAQ. Ont-ils raison?» Too Close To Call (blogue), 10 septembre 2018.

Récapitulons: d’une part, les sondages nationaux de Léger et de Mainstreet continuent d’être en désaccord sur les appuis pour QS. D’autre part, les sondages locaux de Mainstreet donnent des résultats qui s’inscrivent davantage dans ceux que publie Léger (CAQ plus haute, QS plus bas).

Données sources

Vous pouvez consulter le tableur qui a permis de faire les graphiques sur Google Spreadsheets.

Notes

Réaction

Visualisation et mode de collecte de données

Je vous ai laissés en suspens vendredi dernier en vous promettant une nouvelle visualisation des plus récents sondages. Pour se rafraîchir la mémoire, la marge d’erreur dépend du pourcentage obtenu dans le sondage (elle augmente à mesure qu’il s’approche de 50%) et de la taille de l’échantillon (l’un monte quand l’autre descend), pas de la taille de la population dont on veut connaître l’opinion.

Chose promise, chose due

J’ai refait un graphique similaire à celui de Qc125 (avec les marges d’erreur cette fois) pour les trois derniers sondages du diagramme présenté. J’ai joint le sondage de Forum (effectué le 23 août auprès de 965 personnes) et le dernier Léger (effectué du 24 au 28 août auprès de 1010 personnes)1.

J’ai d’abord tenté de le faire dans Google Spreadsheets, pour que vous puissiez accéder au fichier et vérifier le tout. Toutefois, je n’avais la possibilité que de mettre une barre d’erreur constante ou en pourcentage, or, nous avons vu vendredi que c’était justement un peu plus compliqué que ça.

J’ai aussi essayé avec Excel et son équivalent en logiciel libre LibreOffice pour arriver toujours au même problème: pas moyen de définir une barre d’erreur différente pour chaque point. Ce n’est donc pas surprenant qu’on voit aussi peu de représentations des données de sondage avec leurs marges d’erreur.

J’arrivais réussi à m’en sortir en faisant des graphiques en chandeliers comme on utilise pour représenter l’évolution des cours boursiers, mais Martin trouvait ça laid. Pour plaire donc à la moitié responsable du visuel de notre duo, j’ai donc sorti l’artillerie lourde: j’ai programmé le graphique dans le logiciel libre d’analyse statistique R.

Après plusieurs heures de gossage, ç’a donné ceci2:

Intentions de vote avant répartition avec marge d'erreur dans les sondages complétés entre le 20 et le 28 août 2018

Le point situe le résultat du parti dans le sondage. Le trait vertical, délimité par deux barres horizontales, indique l’intervalle de confiance si on tient compte de la marge d’erreur à 95% (ou 19 fois sur 20). On constate que les traits en haut sont plus longs que les traits en bas. Comme on l’a rappelé au début, la marge d’erreur augmente avec la proportion (ou plutôt sa proximité à 50%).

On voit ainsi en comparant les scores des différents partis verticalement au sein d’un même sondage que:

  • dans CROP, la CAQ et le PLQ sont à égalité statistique;
  • dans Forum, le PLQ est plutôt à égalité statistique avec le PQ (et la CAQ loin devant);
  • dans Léger, les intentions de vote pour la CAQ et le PLQ se chevauchent, donc sont à égalité statistique comme dans CROP.

Différences de mode de collecte de données

Bryan Breguet de Too Close To Call s’est penché jeudi sur les scores qui divergent d’un sondage à l’autre dans un billet intitulé «Québec Solidaire à 8 ou 14%?». Il est troublé par le fait que la divergence suit la différence dans le mode de collecte de données:

Intentions de vote pour QS avec marge d'erreur avant répartition dans les sondages complétés entre le 20 et le 28 août 2018

On constate que trois sondages situent le parti sous la barre des 10% et deux, ceux qui sont effectués par appels automatisés, sont au-dessus. Plus important encore: les résultats de ces deux groupes ne se chevauchent pas, même si on tient compte de la marge d’erreur. (Aucune des barres horizontales ne touche à la ligne des 10%.)

Mainstreet et Forum, qui utilisent des appels automatisés, obtiennent donc des résultats significativement plus élevés que CROP et Léger, qui utilisent des panels Web, et Ipsos. Cette dernière firme combine une collecte de données en ligne avec la bonne vieille méthode des êtres humains qui appellent d’autres êtres humains pour leur poser des questions.

Pareil, pas pareil?

Bryan a fait 10000 simulations pour conclure que soit Mainstreet, soit Léger se trompe. Il a supposé que les intentions de vote «réelles» à l’égard de Québec solidaire se situaient à 10%. Il a simulé pour une taille d’échantillon de 1010 personnes sondées, comme dans Léger.

Sur l’axe horizontal, on trouve les intentions de vote de Québec solidaire (centrées à 10% parce que c’est l’hypothèse de départ). Sur l’axe vertical, c’est le nombre de simulations pour lesquelles Québec solidaire obtenait un pourcentage donné.

Distribution de 10000 simulations
avec QS à 10% et une taille d’échantillon de 1010

Distribution de 10000 simulations avec QS à 10% et une taille d’échantillon de 1010
Source: Breguet, Bryan. «@Alex_Blanchet Voici la distribution de 10000 simulations avec QS à 10% et taille d’échantillon de 1010. Est-ce possible d’etre sous les 8? oui mais peu probable. Et être au-dessus de 13 (avec taille ech de 2650) est quasi impossible». Tweet. @2closetocall, 30 août 2018.

Léger a Québec solidaire à 6%: on voit que très peu de simulations placent le parti de gauche sous les 7%. Pour Mainstreet, Bryan utilise les données des sondages quotidiens (pour lesquels l’accès est payant). Québec solidaire était alors à 13,1% (il a depuis passé la barre des 15%). Encore une fois, à peu près aucune simulation n’obtenait des résultats aussi hauts.

Un effet que sur les intentions de vote pour Québec solidaire

Si on regarde les résultats pour les autres partis, on constate qu’il n’y a pas de biais systématique en fonction du mode de collecte des données.

Forum (qui utilise des appels automatisés) place la Coalition avenir Québec et le Parti québécois loin devant les autres, au-delà des marges d’erreur.

Intentions de vote pour la CAQ avec marge d'erreur avant répartition dans les sondages complétés entre le 20 et le 28 août 2018 Intentions de vote pour le PQ avec marge d'erreur avant répartition dans les sondages complétés entre le 20 et le 28 août 2018

Quant au Parti libéral, c’est CROP qui le place anormalement haut.

Intentions de vote pour le PLQ avec marge d'erreur avant répartition dans les sondages complétés entre le 20 et le 28 août 2018

On va donc surveiller de près l’évolution des différences entre les intentions de vote mesurées par les différentes maisons de sondage. Elles ne semblent toutefois importantes que pour déterminer la composition de l’Assemblée nationale puisque l’identité du gouvernement semble déjà déterminée: le billet d’hier sur Too Close To Call s’intitule «La CAQ a plus de 99% de chances de gagner!» (toujours si l’élection se tenait aujourd’hui).

Données sources

Vous pouvez consulter le tableur qui a permis de faire les graphiques sur Google Spreadsheets.

Notes

Réaction

Marge d’erreur et sondages divergents

Il semble que Bryan Breguet avait répondu un peu trop rapidement mardi au tweet de Marc-Antoine Berthiaume. Ce dernier avait soulevé les divergences énormes entre les sondages de Léger et de Mainstreet sur les intentions de vote des jeunes de 18 à 34 ans à l’égard de Québec solidaire. (Pour savoir de quoi je parle ou vous rafraîchir la mémoire, lisez mon billet de mercredi, «Le vote des jeunes et la variabilité des sondages».)

Les hauts dirigeants de Mainstreet ont lancé une campagne sur Twitter pour réitérer leur confiance en leurs résultats (et au passage dire que Léger est dans l’champ). Voici un de leurs plus récents tweets en date:

Nous assistons à une croissance réelle de QS au cours des derniers jours. Nous le ressentons de manière anecdotique, et nous le voyons dans nos sondages nocturnes. Quelque chose est en train de se passer.1

(On suppose que par «sondages nocturnes», le vice-président de Mainstreet veut dire «nightly polls», ou sondages effectués tous les soirs.)

Une observatrice, Suzanne Lachance, ancienne porte-parole du Rassemblement pour l’alternative progressiste (RAP), un des grands-parents de Québec solidaire, a résumé la situation:

Bon, en plus des querelles de politiciens, nous avons droit aux querelles de sondeurs… 😉2

Les simulations de Bryan

Pour en avoir le cœur net, Bryan a fait 20000 simulations en supposant que les «vraies» intentions de vote pour QS dans le groupe d’âge se situaient en fait à la moyenne entre les deux sondages: 18,4%. Il a supposé une taille de sous-échantillon de 150 personnes (la taille de celui de Léger).

Il a trouvé que c’était hautement improbable, sans être complètement impossible, que, si QS est vraiment à 18,4% chez les 18 à 34 ans, un sondage trouve 8% et l’autre, 25,9%. Le diagramme à barres ci-dessous montre le nombre de simulations de sondage (axe vertical) pour lesquelles un certain score (axe horizontal) d’intentions de vote pour QS chez les jeunes de 18 à 34 ans a été obtenu.

Simulations au sujet des intentions de vote des 18 à 34 ans à l'égard de Québec solidaire
Source: Breguet, Bryan. «Mais possiblement en raison des faibles tailles d’échantillons (150 chez Léger, 525 chez Mainstreet, les autres entre les deux). J’ai fait 20,000 simulations avec #QS en centrant à la moyenne des sondages (18.4%). Taille d’échantillon théorique pour les simulations: 150». Tweet. @2closetocall, 30 août 2018.

Il conclut donc que l’un des deux sondages est probablement dans l’champ (mais y’a pas moyen de savoir lequel parce que ça prendrait une élection là là, pas dans un mois).

En réalité, les appuis de QS chez les 18 à 34 ans doivent être soient plus élevés, soient plus bas que 18,4%. S’ils sont plus élevés, la courbe serait décalée vers la droite, et le score de Mainstreet (25,9%) ne serait plus aussi improbable. À l’inverse, s’ils sont plus bas, la courbe serait décalée vers la gauche, et le score de Léger (8%) ne serait plus aussi improbable.

Léger et Mainstreet sont les extrêmes, mais ni l’un ni l’autre n’est complètement seul:

Diagramme à bandes des intentions de vote pour QS chez les 18 à 34 ans pour chacune des cinq firmes de sondage
Source: Breguet, Bryan. «Ok, dernier regard sur les 18-34 ans pour @QuebecSolidaire et les différences entre sondeurs. Tout d’abord, voici le score de QS aprmi les 18-34 ans (électeurs décidés et enclin) chez les 5 firmes.». Tweet. @2closetocall, 30 août 2018.

Il résume donc la situation ainsi:

En conclusion: les différences observées entre sondeurs pour QS chez les 18-34 ans ne peuvent pas être complètement expliquées par les marges d’erreur et tailles d’échantillons. Il y a quelque chose d’autre. Après, j’avoue ne pas avoir d’explication actuellement.3

Mais qu’est-ce que cette marge d’erreur dont il parle? Est-ce que c’est toujours ±3, 19 fois sur 20?

Composition de la marge d’erreur

Ok, je vais mettre une formule pour les personnes à qui ça parle, mais n’ayez pas peur, je saute directement aux implications ensuite.

La marge d’erreur à 95% (donc 19 fois sur 20), c’est 1,96 écart-type ou:

Formule de la marge d'erreur à 95%
p est une proportion (le pourcentage qu’obtient le choix de réponse dans le sondage: 8% dans Léger et 25,9% dans Mainstreet) et n est la taille de l’échantillon (le nombre de personnes sondées).

Ça veut dire que:

  • La marge d’erreur est indépendante de la taille de la population qu’on veut étudier: qu’on cherche à connaître l’opinion dans une seule circonscription ou dans l’ensemble du Québec ne change rien à la marge d’erreur d’un sondage donné.

Autrement dit, ce n’est pas parce qu’on étudie une plus petite population qu’on peut se permettre d’avoir un plus petit échantillon: la marge d’erreur dépend de la taille de l’échantillon, pas de la taille de la population.

  • La marge d’erreur augmente quand la taille de l’échantillon diminue (ça, c’est assez intuitif).
  • La marge d’erreur dépend aussi du résultat obtenu au sondage (la proportion): plus le pourcentage est bas (ou s’éloigne de 50%, pour être plus exacte), plus petite est la marge d’erreur. Ce n’est donc pas toujours ± 3 (ou la marge d’erreur indiquée au début du sondage), 19 fois sur 20.

L’intervalle de confiance s’étend de la valeur du pourcentage obtenu moins la marge d’erreur à la valeur de ce même pourcentage plus la marge d’erreur.

Visualiser la marge d’erreur

Les graphiques de Qc125 rapportant les résultats des sondages ne représentent pas la marge d’erreur et donnent l’impression d’une variation dans le temps (avec le trait qui relie les observations). Je n’aime pas ces choix de représentation graphique.

Comparaison des intentions de vote du 10 au 21 août 2018 telle que présentée par Qc125
Source: Fournier, Philippe J. «La CAQ se maintient en territoire majoritaire». L’actualité, 27 août 2018.

Au moins, la visualisation contient toute l’information nécessaire pour calculer les marges d’erreur de chaque observation: le pourcentage (p) est indiqué dans les cercles et la taille de l’échantillon (n) se trouve au bas de chaque «colonne» (au-dessus du mode de collecte de données et les dates de terrain, qui n’influencent pas la marge d’erreur4).

Dans mon prochain billet, je propose une façon légèrement différente de visualiser les résultats des sondages et discuter plus en profondeur des différences entre maisons de sondage.

Notes

Réaction

Le vote des jeunes et la variabilité des sondages

Je me suis réveillée ce matin avec ceci dans mon fil Facebook:

Diagramme en bandes des intentions de vote des 18-34 ans auquel il a été ajouté «qui répondent au téléphone» superposé au-dessus d'une image de Ozzy Osbourne qui dit «What the fuck is that?» lorsque sonne un téléphone
Source: Franjeançois Vrobençal, Facebook, 28 août 2018

En haut, on trouve un diagramme en barres tiré d’un article du Devoir paru hier soir à 21h121 et amendé par Jean-François Provençal des Appendices. En bas, on retrouve ce qu’on appelle un meme. On y voit une image de l’émission de télé-réalité The Osbournes dans laquelle le métalleux déchu Ozzy Osbourne ne sait pas ce qui se passe lorsque le téléphone sonne2.

Il faut lire jusqu’au bout

L’ajout de «qui répondent au téléphone» après «18-34 ans» suppose que les sondages sont encore menés en appelant des numéros de téléphone tirés au hasard du bottin. Comme j’ai expliqué dans la section Sondages du b.a.-ba des élections, les maisons de sondage ont développé des nouvelles méthodologies pour s’adapter aux nouvelles habitudes communicationnelles.

Et justement, si on lit l’article du Devoir jusqu’à la fin, on retrouve cet encadré concernant la méthodologie:

Méthodologie

Le nouveau sondage Web de Léger a été réalisé auprès de 1010 Québécois ayant le droit de vote du 24 au 28 août, alors que la campagne était commencée. Par comparaison, un échantillon probabiliste similaire aurait une marge d’erreur d’environ plus ou moins 3%, 19 fois sur 20. (je souligne)

Donc le «problème» avec ce sondage n’est pas une méthode périmée dans notre monde de téléphones intelligents.

Sondages divergents

Capture d'écran du Baromètre élections 2018 pour les 18-34 ans en date du 28 août 2018
Source: Berthiaume, Marc-Antoine. Tweet. @maberthiaume2, 28 août 2018.

Marc-Antoine Berthiaume a soulevé sur Twitter un questionnement beaucoup plus pertinent:

Comment expliquer que chez @leger360, pour les 18-34 ans, #QS arrive en 5ème place avec 8% et que @MainStResearch place en 2ème position avec 23,4%? C’est un écart de 15,4%!

Il contraste ainsi le diagramme du Devoir basé sur les données du sondage Léger avec les données du Baromètre élections 2018 de Mainstreet. Cet outil est financé par le Groupe Capitales Médias qui regroupe des quotidiens francophones de Gesca (filiale de Power Corporation) qui ont été rachetés par Martin Cauchon3. L’abonnement pour les particuliers est payant4.

Bryan Breguet de Too Close To Call lui a répondu:

Facile: tailles d’échantillon petites. Donc variance est grande

mais a rapidement ajouté:

Cela étant dit la différence est un peu grande ici, je l’avoue

Regardons de plus près en plaçant les données côte à côte:

Mainstreet
avant répartition
Léger5
après répartition
Écart
n pondéré = 602 (sur 2350) 165 (sur 1012)
CAQ 25,3% 26% +1
QS 23,4% 8% -15
PLQ 22,1% 35% +13
PQ 12,1% 16% +4
PVQ 4,7% 9% +4
PCQ 1,2% 3% +2
NPDQ 3% +3
Autres 1,6% 0% -2
Indécis 9,7%

On constate tout d’abord que les données de Mainstreet sont avant répartition puisqu’elles comprennent un pourcentage de personnes indécises. Les résultats ventilés de Léger sont toujours après répartition.

Il est donc normal que les pourcentages de Léger soient plus élevés que ceux de Mainstreet: la somme des intentions de vote pour Léger est de 100% tandis qu’elle est de 90% dans Mainstreet6. Ça explique tout le bleu qu’on retrouve dans la colonne qui indique la différence entre les deux.

On peut par ailleurs supposer que la présence de 1,6% de jeunes qui ont l’intention de voter pour un autre parti dans Mainstreet et leur absence dans Léger est compensé par la présence dans ce dernier sondage de 3% de jeunes qui voteraient pour le NPD Québec. Autrement dit, probablement qu’une bonne part des jeunes qui voteraient pour un «autre» parti dans Mainstreet voterait en fait pour le NPD Québec.

Sauf que ce n’est pas cette différence qui a fait sursauter les Zinternetz. En plaçant les données côte à côte et en ordonnant les partis en fonction de leur score dans Mainstreet, on voit immédiatement là où les sondages divergent: les intentions de vote pour Québec solidaire et pour le Parti libéral du Québec (toujours chez les 18 à 34 ans).

Alexandre Blanchet, docteur en science politique, démontre bien l’incertitude inhérente aux sondages dans un exposé intitulé «Sous le capot des sondages: Un petit guide pour les journalistes et autres geeks». (Attention: les deux fois que j’ai ouvert la page, elle semble avoir fait planter ma connexion Internet.)

la bonne question à se poser n’est souvent pas de savoir quel sondage est meilleur qu’un autre, mais plutôt de savoir de quelle réalité il est le plus probable que ces sondages émanent. Les sondages sont une manifestation de la réalité qui nous intéresse. Ils en sont une manifestation plus ou moins précise, et parfois plusieurs réalités différentes pourront être cohérentes avec les sondages que nous observons. Avec le scénario de l’élection de 2003 où la réalité était claire et nette, nous avons obtenu des sondages qui étaient eux aussi très clairs: le PLQ menait, le PQ était deuxième et l’ADQ était troisième. Avec le scénario de l’élection de 2012, où les intentions de vote étaient beaucoup plus serrées, plusieurs réalités étaient concordantes avec les sondages que nous obtenions.7

En effet, les sondages peuvent changer sans que la réalité sous-jacente ne change.

En attendant que j’aie le temps de me plonger dans le sondage de Léger, je vous invite à lire le délicieux article de The Gazette sur le sujet, qui conclut en disant que:

many Quebecers are still indulging in a favourite pastime, which is to vote strategically8

(Le débat a continué sur Twitter: pour savoir où il en est rendu, il suffit de lire le billet suivant, «Marge d’erreur et sondages divergents».)

Notes