Réaction

Tartes aux pommes et recettes secrètes

Ça faisait longtemps que j’avais envie de comparer les choix méthodologiques des modèles de projection. Jeudi, j’ai décidé que je me gâtais. Maintenant que j’ai reçu les réponses à mes questions, je peux publier la comparaison.

Lundi dernier, une page Facebook dédié au voisinage des quartiers montréalais contigus de Rosemont, Petite-Patrie et Villeray a diffusé les projections de Qc125 dans les circonscriptions de Rosemont, Gouin et Laurier-Dorion. Je me suis empressée d’ajouter en commentaire celles de Too Close To Call, constatant au passage une différence importante dans les deux modèles pour leurs projections concernant Laurier-Dorion.

Voici leurs projections en date d’aujourd’hui pour Laurier-Dorion, qui regroupe les quartiers Villeray et Parc-Extension.

Too Close To Call1 Qc1252
Québec solidaire 39,8% 36,4%
Parti libéral du Québec 34,2% 32,4%
Coalition avenir Québec 12,8% 12,2%
Parti québécois 10,0% 15,9%
Parti vert du Québec 2,3%
NPD du Québec 0,6%
Parti conservateur du Québec 0,2%

La collaboratrice à cette page Facebook qui fait office de média hyperlocal a sagement ajouté:

L’écart est très grand en effet!

On est pas des experts ici, mais les simulateurs de projections électorales sont un peu comme des tartes aux pommes de grand-mères. Chaque grand-mère a sa recette secrète […]

C’est aussi un rappel qu’il faut pas trop prendre au sérieux les sondages ou les projections3.

Que sait-on de leurs recettes secrètes?

Voici nos concurrents

J’ai connaissance de quatre modèles de projection: Too Close To Call de Bryan Breguet, Qc125 de Philippe J. Fournier, le Poll Tracker du doyen des prévisionnistes au Canada, Éric Grenier, et le modèle Guntermann/Forest.

J’avais présenté le dernier dans un billet en début de campagne.

Logo du site de projection électorale Qc125Too Close to Call / Si la tendance se maintient - logoLes principaux modèles de projection cités au Québec sont ceux de Bryan Breguet à Si la tendance se maintient (mieux connu sous le nom anglais du site, Too Close To Call), fondé en 2010, et de l’astrophysicien Philippe J. Fournier, qui a créé Qc125 en 2017.

Toutes les projections de Bryan présentent quatre données pour chaque parti: une prévision du pourcentage du vote populaire, une prévision du nombre de sièges, un intervalle du nombre de sièges qu’obtient le parti dans ses simulations et le pourcentage de chances qu’un parti l’emporte.

Extrait du projection de Too Close to Call
Source: Breguet, Bryan. «Les meilleurs et pires scénarios pour chaque parti en ce début de campagne». Too Close To Call (blogue), 21 août 2018.
Schématisation de l'Assemblée nationale représentant le nombre de sièges projetés pour chaque parti
Source: Fournier, Philippe J. «La victoire pour la CAQ, le vote populaire pour le PLQ?» L’Actualité, 23 septembre 2018.

Philippe donne la même information mais à l’aide de visualisations (graphiques, schématisation des sièges de l’Assemblée nationale et cartes). Il donne des intervalles de confiance à la fois pour ses projections du vote populaire et des sièges.

Durant la campagne électorale, ces visualisations ne sont pas toutes disponibles sur son site Web, sans doute pour donner l’exclusivité à L’Actualité. Il y publie dans ses «Carnets de campagne» une ou deux fois par semaine.

Le Poll Tracker d’Éric est un peu différent. Il donne la liste des sondages utilisés ainsi que leur pondération, ce que les deux autres sites de projection ne font pas, mais il ne présente pas ses projections par circonscription.

Le Poll Tracker donne une place de choix aux moyennes pondérées des sondages accompagnées de la variation depuis la dernière projection.

CBC News Quebec Poll Tracker: Poll Averages
Source: Grenier, Éric. «CBC News Quebec Poll Tracker». CBC News, 29 septembre 2018.

En-dessous, un diagramme en bandes illustre la projection du nombre de sièges et une liste à puces décrit différentes probabilités (probabilité pour un parti d’obtenir un gouvernement majoritaire ou le plus de sièges). Par la suite, un paragraphe résume l’état de la course.

Ensuite, un graphique interactif représente l’évolution dans le temps d’une de ces trois données pour chaque parti (moyenne pondérée des sondages, nombre de sièges, chances de gagner), au choix. Finalement, un paragraphe résume l’évolution de la course.

Voici leurs recettes

Comme l’explique Bryan Breguet dans la FAQ de Too Close To Call:

There exists a lot of models and they usually share the core principle: the results in a specific riding this election are a function of the past election’s results as well as of the current level of supports for each party4.

Commençons donc par ces deux éléments:

  • les résultats des dernières élections;
  • les intentions de vote actuelles.

Les résultats de quelles élections sont pris en compte?

Tous les modèles utilisent les résultats de la dernière élection générale, celle de 2014. Depuis, il y a eu des élections partielles dans 15 circonscriptions5. Certains modèles en tiennent compte. Le tableau ci-dessous montre également jusqu’à quelle élection chaque modèle remonte pour constituer son historique de vote dans une circonscription.

Poll Tracker Too Close To Call Qc125 Modèle Guntermann / Forest
Élections partielles x x x
2014 x x x x
2012 x x
2008 x x
2003 x
1998 x

Philippe J. Fournier indique que «[l]es élections récentes possèdent, évidemment, une pondération plus importante» tout comme Éric Grenier, qui précise la pondération exacte6. Ce dernier spécifie également comment il tient compte des élections partielles et comment il calcule la situation initiale pour les candidatures indépendentes et dans les circonscriptions où un parti n’avait pas présenté de candidature à l’élection précédente.

Seul Benjamin Forest explique comment il tient compte du récent changement de carte électorale. Il y en a eu également en 2001 et en 2011. Rappelons que Forest est géographe, d’où son intérêt pour la question. Éric Grenier et Bryan Breguet sous-traitent la transposition des résultats.

Comment sont calculées les intentions de vote?

Comme l’explique Philippe:

Plus le sondage «vieillit», plus sa pondération diminue dans le temps. Cette méthode de calcul permet d’amortir les fluctuations normales des sondages.»7

Tous les modèles qui agrègent les sondages utilisent ce principe. Le modèle Guntermann/Forest n’utilise qu’un seul sondage par projection.

Poll Tracker Too Close To Call Qc125
Agrégation des sondages oui, mais uniquement les sondages publics oui, sondages publics et payants oui, sondages publics et payants
Facteurs compris dans la pondération des sondages Taille d’échantillon

Date de terrain

Justesse des prévisions antérieures

Taille d’échantillon

Date de terrain en fonction des événements importants

Choix éditorial

Taille d’échantillon

Date de terrain

Choix éditorial

Répartition des personnes discrètes Celle des sondeurs (généralement proportionnelle)8 40% au PLQ
30% à la CAQ
20% au PQ
10% à QS9
Recette secrète10

Éric donne le poids de chaque sondage dans la liste des sondages compris dans le Poll Tracker et explique dans l’article sur la méthodologie comment ce poids est calculé.

Quels autres facteurs sont intégrés à la projection?

Le modèle Guntermann/Forest s’arrête là. Toutefois, les trois autres intègrent beaucoup d’autres paramètres dans leur modèle.

Poll Tracker Too Close To Call Qc125
Effets régionaux 3 régions 12 régions 21 régions
Identité des personnes candidates Candidatures vedettes

Député sortant ou députée sortante

Chef

Candidatures vedettes

Député sortant ou députée sortante

Chef

Candidatures vedettes
Sondages locaux oui Choix éditorial oui
Taux de participation dans chaque circonscription non oui oui
Nombre de personnes inscrites sur la liste électorale dans chaque circonscription non non oui
Données démographiques non non oui

Éric précise la plupart de ses effets dans sa documentation.

J’attendrai probablement après le scrutin pour comparer comment tout ça est mis ensemble, question de donner le temps de respirer à un prévisionniste particulièrement occupé. Si vous comprenez l’anglais, vous pouvez en apprendre plus en écoutant la conversation d’Éric et de Philippe au dernier épisode du CBC Election Pollcast.

Notes