Les sondages sont-ils devenus fous ?

La qualité des enquêtes politiques

Piste verte Le 12 mai 2009  - Ecrit par  Avner Bar-Hen, Jean Chiche Voir les commentaires (2)

Chacun a en mémoire quelques erreurs de prévision majeures des
sondages réalisés lors de campagnes électorales récentes.

Les statistiques sont les mêmes quelle que soit la discipline.
Alors que penser : les sondages sont ils devenus fous ? Erreurs
d’échantillonnage, mode de recueil des données posant problème,
fausses déclarations des électeurs, questionnaires trop
facilement décodés par les personnes interrogées, indécision
d’une frange de plus en plus importante du corps électoral
jusqu’au jour même de l’élection ?

Cette série de questions n’est pas exhaustive mais doit être
abordée si l’on souhaite améliorer la qualité des enquêtes
quantitatives.

Introduction

Les citoyens, les médias, et les acteurs politiques se sont
longtemps servis des sondages politiques, et plus
particulièrement des enquêtes d’intentions de vote, comme
d’instruments de prévision électorale. Cette utilisation a été
largement remise en question par les « échecs » retentissants
qu’ont subis les sondages électoraux comme outils de prévision
infaillibles des résultats. Il y a plus de trente ans, Frédéric
Bon publiait un livre au titre évocateur « Les sondages peuvent
ils se tromper ? » (Calmann-Lévy, 1974). A cette question, qui
paraissait à l’époque bien académique, l’auteur donnait une
réponse mesurée. Tout en soulignant quelques échecs notables
— entre autres l’erreur des sondages britanniques en 1970 —
il notait que « sur dix-neuf expériences tentées à l’occasion de
sept scrutins, les instituts britanniques affichent dix-sept
succès. » Rappelons qu’en 1970, M. Wilson était tellement sûr
de rester au 10 Downing Street, qu’il avait vendu son logement
personnel. Finalement E. Heath fut élu.

Quelle réponse donnerions nous aujourd’hui à la même question
en examinant les performances des instituts de sondage dans les
dernières campagnes d’intentions de vote ?

Chacun a en mémoire quelques erreurs de prévision majeures
des sondages réalisés lors de campagnes électorales récentes.
L’erreur la plus grave aura été, à l’élection présidentielle de
2002, de ne pas avoir clairement annoncé le ballottage entre
Jean-Marie Le Pen et Jacques Chirac. Cette « erreur » a, en
partie, produit le séisme du 21 avril. Si l’élimination de
Lionel Jospin n’a pas été clairement annoncée, elle ne pouvait
être écartée à la lecture des intentions de vote et des courbes
respectives des 3 principaux candidats. L’opinion publique et
les médias ont sévèrement reproché aux sondages et à leurs
« fabricants » cette erreur et les en ont tenus pour responsables.
Les politiques eux-mêmes ont incriminé le thermomètre.
L’analyse politique de l’échec de Lionel Jospin a été accompagnée d’une sévère
critique des sondages. Cette critique est nécessaire, mais elle
implique que tous les acteurs, commanditaires, sondeurs,
médias, commentateurs et analystes sachent comment est produite
une enquête par sondage. Il faut aussi savoir ce que l’on peut
en tirer et ce que l’on ne peut dire à partir des données
recueillies. Un chercheur en sciences sociales, qu’il soit
sociologue ou politologue, analysera les données d’enquêtes
pour modéliser des comportements, pour mettre des attitudes en
évidence. Il s’attachera à la structure des opinions et non au
niveau des réponses à quelques questions particulières. Même si
l’intention de vote dans les enquêtes pré-électorales ou les
déclarations du vote dans les enquêtes post-électorales sont
des questions cruciales souvent considérées comme facteurs
structurants des analyses.

A quoi attribuer la série de résultats trop approximatifs des
campagnes de sondages récents, tant en France que dans les
grandes démocraties où l’analyse de l’opinion publique est
considérée comme essentielle ?

L’exigence de qualité des enquêtes politiques doit elle être
nécessairement différente de celle des enquêtes
épidémiologiques ou des enquêtes de marketing ? Est-on condamné
à de l’à peu près ?

Les facteurs principaux qui peuvent faire la différence sont,
on le sait depuis très longtemps, liés plus à des facteurs
économiques et à des spécificités du comportement politique
qu’à des problèmes techniques. Les statistiques sont les mêmes
quelle que soit la discipline. Alors, que penser : les sondages
sont ils devenus fous ? La volatilité des électeurs, voire
leurs sautes d’humeur rendent-ils désormais à peu près
impossible toute prévision convaincante du résultat ? A quoi
attribuer cette série de résultats trop approximatifs :
erreurs d’échantillonnage ? fausses déclarations des sondés ?
indécision d’une frange de plus en plus importante du corps
électoral jusqu’au jour même de l’élection ?

Notre déception à
propos de la précision des sondages ne vient-elle pas aussi du
fait que nous en attendons trop ? Avons-nous peu à peu oublié
que, pour un échantillon aléatoire de 1000 personnes,
l’intervalle de confiance est (au seuil de probabilité de
0.05) de plus ou moins 3.1% ? Transposons-nous cette loi
statistique à des échantillons par quotas sans assurance
qu’elle s’y applique également ? Le but de cet article est de
faire un rapide tour de ces différentes questions. Notons enfin
que cet article n’a aucune vocation a revenir sur les notions
de fluctuation aléatoire d’un échantillon ou d’intervalle de
confiance
.
Nous n’avons pas non plus l’intention de reprendre la
définition mathématique des plans de
sondage
.

Les sondages ont-il un effet sur l’opinion publique ? Dans les
enquêtes sur le sujet, les français disent que ceux-ci ont peu
d’influence sur eux mais peuvent en avoir sur les autres. Le
même type de réponse est obtenu aux questions posées sur les
médias. Les sondages sont à considérer comme l’un des éléments
d’information des citoyens. L’un parmi beaucoup d’autres.
Redressements, filtres ne sont que des techniques. Ils ne sont
pas pensés comme devant « réorienter » des résultats bruts, qui
seraient la vérité.

Problèmes d’échantillonnage

Lors des enquêtes politiques, on interroge le plus souvent des
citoyens inscrits sur les listes électorales. C’est-à-dire des
nationaux de 18 ans et plus. En France la liste électorale,
fichier mis à jour et agrégeant toutes les listes électorales
au niveau communal, est gérée par
l’INSEE et est
confidentielle. La conséquence la plus importante pour les
praticiens des sondages est qu’il n’existe pas de plan de
sondage. On ne peut donc construire facilement un échantillon
aléatoire de la population ciblée. De manière très simplifiée,
dans un échantillon aléatoire (parfois appelé simple) chaque
individu à la même probabilité d’être choisi. Pour construire
un tel échantillon, il faudrait mailler le territoire,
reconstruire les bases d’adresses et/ou de numéros de téléphone
de tous les citoyens Français âgés de 18 ans et plus inscrits
sur les listes électorales. C’est économiquement hors de
question. Seuls les instituts en charge de la statistique
publique ont les moyens humains et financiers de mener de
telles études dans les domaines de l’économie, de la
démographie ou de la santé. Les enquêtes politiques partent
donc avec un handicap qu’il s’agira de combler avec d’autres
moyens. Sans échantillons aléatoires, les marges d’erreurs
classiquement calculées par la statistique sont peu
utilisables. Il faut donc des échantillons de très grande
taille pour minimiser les biais liés à la sélection des
personnes interrogées. Les échantillons le plus souvent
construits pour les enquêtes politiques sont des échantillons
par quotas. Cette méthode d’échantillonnage consiste à
s’assurer de la représentativité d’un échantillon en lui
affectant une structure similaire à celle de la population de
base. L’utilisation de la méthode des quotas, qu’il s’agisse de
sondages « face-à-face » ou « téléphone », suppose une définition
aussi exacte que possible des objectifs que l’on cherche à
atteindre et une réalisation précise de ces objectifs.
Habituellement, outre la stratification en taille
d’agglomération et en région, on retient trois quotas : le
sexe, l’âge et la profession de la « personne de référence »
(c’est à dire, en termes anciens, du « chef de ménage »). La
structure recherchée est définie à partir des données fournies
par les enquêtes de l’INSEE, c’est-à-dire le recensement
général de la population. Si l’on observe la représentativité des
échantillons sur d’autres critères que ceux prévus par les
quotas de recrutement des interviewés, il semble que les
sondages s’éloignent parfois sensiblement de la réalité
sociale. Ainsi il existe aujourd’hui beaucoup d’incertitudes
sur la représentativité des sondages en matière de niveaux de
diplôme. Quelques comparaisons entre les données disponibles à
l’INSEE et les résultats observés dans les échantillons
indiquent que le niveau de diplôme de ceux qui sont recrutés
pour donner leur opinion dans les sondages serait
significativement plus élevé que dans la réalité. Cette
distorsion culturelle paraît d’ailleurs encore plus accentuée
lorsqu’il s’agit de sondages effectués par téléphone (voir
tableau ci-dessous). En réalité, la comparaison n’est pas
parfaitement rigoureuse puisque les sondeurs cherchent à
recruter des personnes inscrites sur les listes électorales,
alors que les statistiques de l’INSEE portent sur la population
totale, inscrite ou non sur les listes électorales. Mais il
n’existe pas d’informations sur les niveaux de diplôme comparés
des inscrits et des non-inscrits.

Niveau de diplôme dans l’enquête emploi INSEE 1995 et dans trois bases de données SOFRES (en %).
Enquête emploi de l’INSEE (1995) SOFRES Présidentielle 1995 (face-à-face, 17 vagues) SOFRES Présidentielle 1995 (Téléphone, 2 vagues [1]) SOFRES Régionales 1998 (Téléphone, 6-7 mars)
Sans diplôme 22.3 11.7 8.2 7.8
Certificat d’Études Primaires 17.7 17.8 15.7 12.1
BEPC 9.3 8.9 10.430.7
CAP BEP 23.7 26.5 23.2
BAC 11.4 11.5 14 16.3
BAC + 2 7.9 10.6 12.1 15.3
Supérieur 7.7 12.5 15 17.7
Sans Réponse0 0.5 1.3 0.2

Le tableau suivant montre que cette distorsion sur les diplômes commence à être intégrée dans les enquêtes.

Enquête post-électorale réalisée en mai 2007 par téléphone auprès d’un échantillon de personnes inscrites sur les listes électorales par l’IFOP pour le Cevipof et le ministère de l’intérieur et de l’aménagement du territoire.
Objectifs (d’après enquête emploi INSEE 2007)Echantillon interrogé
Individus(%) Individus(%
4000 100 4006 100
Sans diplôme 577 14.4 572 14.3
Certificat d’études, Ancien brevet, BEPC 1104 27.6 1098 27.4
CAP, BEP 1053 26.3 1069 26.7
Baccalauréat technique ou professionnel 283 7.1 275 6.9
Baccalauréat général 265 6.6 260 6.5
Niveau bac+2 346 8.7 342 8.5
Diplôme de l’enseignement supérieur 372 9.3 390 9.7

Une seconde distorsion probable entre données de sondage et
réalité sociale tient au problème des inactifs. Globalement les
ménages au sein desquels la personne de référence est inactive
représentent environ un tiers de la population. Cette catégorie
est effectivement représentée à ce niveau dans les échantillons
de sondage. Mais la composition interne de ces « inactifs » est
sans aucun doute extrêmement hétérogène puisque le groupe est
constitué pour l’essentiel de retraités qui appartiennent, si
l’on considère leur ancienne profession, à tous les secteurs
de la société (voir tableau ci-dessous). Ces distorsions culturelles
ont-elles des conséquences pratiques sur la fiabilité des résultats ?
On sait que, dans l’ensemble, le critère du niveau de diplôme
n’est pas absolument déterminant en politique, du moins en ce
qui concerne la répartition globale entre gauche et droite.
Mais il existe des exceptions importantes à cette règle
générale. C’est par exemple le cas du Front National, beaucoup
plus fréquemment choisi par les personnes faiblement diplômées.
Or pour de multiples raisons le score du Front National est
toujours sous-évalué dans les échantillons à l’état brut (c’est-
à-dire avant redressement). Et il est très probable que cet
écart tient aussi pour partie à cette surévaluation culturelle.

Pourcentages de diplômés parmi les inactifs dans l’enquête emploi 1995 (INSEE) dans les enquêtes SOFRES présidentielle de 1995 et dans l’enquête régionales des 6-7 mars. 1998
Inactifs Enquête emploi (1995) SOFRES Présidentielle 1995 (face-à-face) SOFRES Présidentielle 1995 (Téléphone) SOFRES Régionales 1998 (Téléphone)
Sans diplôme 32.5 20.1 10.4 13.5
Certificat d’Études Primaires 31.3 36.3 30.7 24.4
BEPC 6.7 10.7 15.4 30.7
CAP BEP 13.5 14.3 14.3
BAC 7.8 6.9 10.9 10.3
BAC + 2 3.8 3.7 4.2 7.4
Supérieur 4.4 7.4 11.4 13.7
Sans Réponse 0 0.6 2.7 0

Le cas du niveau culturel est exemplaire car il démontre que le
respect scrupuleux des quotas ordinaires ne suffit pas
nécessairement à assurer la qualité de l’échantillonnage. Il
se peut aussi que d’autres « variables cachées » tendent à
biaiser la représentativité des échantillons de sondage. Ceux
qui acceptent de recevoir l’enquêteur diffèrent peut-être de la
population d’ensemble : ils sont sans doute par exemple plus
« intéressés » par la politique, et plus disposés à se
reconnaître une compétence dans ce domaine.

A l’inverse on peut imaginer que les enquêteurs n’arrivent pas
à recruter certaines sous-catégories de la population, soit
parce que la procédure de l’enquête ne le permet pas, soit parce
que ces personnes refusent systématiquement de répondre aux
questions des sondeurs (communes isolées, quartiers considérés
comme dangereux, cadres surchargés de travail impossibles à
joindre par l’enquêteur). Une personne interrogée qui refuse
de répondre ou qui est injoignable, va être remplacée par son
sosie sociologique. Ce n’est pas pour autant son sosie
« politique ». Les biais ainsi induits ne sont pas
quantifiables et aucune marge d’erreur ne viendra les corriger.

Faudrait-il, pour mieux représenter la population abandonner la
méthode des quotas et se fier aux procédures de sélection
aléatoire ? C’est ce que préconise la théorie, mais jusqu’ici,
il n’est pas sûr que la concurrence entre sondages aléatoires
et sondages par quotas ait toujours tourné à l’avantage des
premiers. Du reste, réaliser un véritable sondage aléatoire
lors d’une campagne électorale (où le facteur temps est
décisif) n’est pas facile. Les méthodes aléatoires sont longues
et coûteuses. Au téléphone, une fois sélectionnée par tirage au
sort à l’intérieur du foyer la personne à interroger, il faut
réussir à la joindre en rappelant autant de fois que
nécessaire. Outre le prix de ces contacts, on considère
habituellement qu’une procédure de rappel peut étirer le temps
de réalisation du terrain d’enquête à quatre ou cinq jours,
durée problématique dans les derniers jours de la campagne
électorale. Malgré ces difficultés il faut souhaiter que
l’expérimentation des méthodes aléatoires se développe.
Contrairement à l’opinion commune, les instituts de sondage
français ne sont pas les seuls en Europe à utiliser la méthode
des quotas.

Mode d’administration des enquêtes

Le mode d’administration des enquêtes joue alors un rôle prépondérant.

Les trois principaux moyens utilisés sont aujourd’hui le
téléphone, le face-à-face et Internet.

Chacun de ces modes a ses avantages et ses inconvénients. On ne
fera pas ici le panorama bien connu des défauts et qualités de
chacun de ces moyens (voir par exemple
ici).
Attachons-nous à estimer les évolutions.

Les enquêtes en face-à-face sont plus rares parce que plus
onéreuses. Les gens ont de plus en plus de réticences à ouvrir
leur porte (sécurité, disponibilité). Les enquêteurs doivent
se faire très malins pour pénétrer dans des immeubles à
digicode.

Les enquêtes par téléphone, qui se sont massivement
généralisées ces quinze dernières années, sont de plus en plus
altérées par la multiplicité des opérateurs de téléphonie,
voire par de nouveaux usages du téléphone (portables,
téléphonie sous IP). Les principaux instituts de sondage privés
ont réfléchi à ces questions et proposent des solutions dites
« mobile only ». Mais ces solutions augmentent les tarifs de
près de 25% !

Les sondages administrés par Internet ont l’avantage d’être peu
onéreux, de réintroduire du visuel, voire de faire entendre des
sons. Mais l’ensemble de la population ne dispose pas encore
d’Internet à haut débit. Ce qui limite les enquêtes à des
Access Panels. C’est-à-dire qu’on tire dans des fichiers
d’internautes ayant laissé leur adresses électroniques et prêts
à répondre à des questionnaires de tous ordre, le plus souvent
moyennant rétribution. Les échantillons peuvent être tirés au
hasard parmi les internautes inscrits (par exemple via le
fichier des voyageurs de la SNCF qui seront rémunérés par des
points de fidélité leur donnant des kilomètres gratuits). On constate, sur Internet, des taux de
réponse beaucoup plus importants.

Ces dernières années les refus de répondre aux
enquêtes ont augmenté de façon considérable. Un baromètre
politique établi sur 5000 réponses peut nécessiter plus de
80000 coups de téléphones (voir tableau ci-dessous).

</TR

Bilan d’appels fourni par l’IFOP pour la troisième vague du Baromètre Politique Français (décembre 2006)
Total 83997
Pas de réponse 18251 21.7
Occupé 1461 1.7\
Disque France Télécom (Faux Numéro) 4708 5.6
Composition interrompue 960 1.1
Répondeur 13099 15.6
Fax/Modem 530 0.6
Autres 1292 1.5
ABANDON du fait de l’interviewé 1353 1.6
Entrevue complétée5240 6.2
HORS QUOTA AVEC RAPPEL 1552 1.8
HORS QUOTA SANS RAPPEL 839 1.0
RAPPELER PLUS TARD 10914 13.0
(INTRO) Ca décroche 71 0.1
REFUS (sans autre indication) 14151 16.8
REFUS (de sondage en général) 6805 8.1
REFUS (lié au commanditaire de l’étude) 390.2
REFUS (lié à la durée du questionnaire) 13421.6
HORS CIBLE - Numéro de société 196 0.2
HORS CIBLE - Nationalité 471 0.6
HORS CIBLE - Non inscrit 623 0.7

Les questionnaires et les fausses déclarations

Nous sommes exposés à un flot d’informations et de nouvelles
politiques, souvent contradictoires. Les personnes les plus
intéressées par la politique font le tri, elles en retiennent
ce qui va dans le sens de leurs valeurs et de leur idéologie,
de manière à la fois critique et sélective. Leurs réponses
seront cohérentes et stables. Mais la majorité du public se fait son opinion à mesure
qu’il découvre les questions, puisant dans le stock
d’informations disponibles en fonction du contexte de
l’interview. La même question posée à un autre moment ou d’une
autre manière est susceptible de susciter une toute autre
réponse. Face à ces critiques, il y a deux manières de réagir.
La première est de faire le procès des sondages et de
disqualifier leurs usages. La seconde est de se pencher sur les
conditions de production de l’opinion et d’améliorer
l’instrument.

Un questionnaire portant sur la politique doit être homogène et
cohérent. Le citoyen qui devra répondre aux questions ne veut
pas passer un examen. Il faut l’intéresser et le stimuler. Il
ne faut pas non plus le prendre pour plus ignorant qu’il n’est.
Aujourd’hui, surtout pendant les campagnes électorales, les
électeurs sont bombardés d’informations. Les sondages en font
partie. Répondre à une enquête politique est alors non
seulement valorisant - on donne son avis - mais aussi un
moyen de montrer que l’on est au courant de l’actualité
politique. Un sondage en période électorale, c’est pour le
répondant savoir et faire savoir. Souvent une ou deux
questions politiques, posées dans une enquête omnibus [2], ne sont pas structurées et on a
bien du mal a en interpréter les résultats. Dans bien des cas
les répondants biaisent et au lieu de dire le fond de leur
pensée disent ce qu’ils pensent convenable de dire.

Pour quelles raisons le répondant aurait-il tendance à
dissimuler son intention de vote réelle et à faire une fausse
déclaration ? Probablement parce que, dans la relation qui
s’établit entre enquêteur et enquêté, ce dernier cherche à
donner de lui même une image socialement valorisée et donc, le
cas échéant, à déclarer un comportement électoral « acceptable ».
Il est difficile d’avouer un vote pour des partis qui se
définissent comme extrémistes, c’est-à-dire comme se situant, de
fait, aux marges du système républicain (Parti Communiste
autrefois, Front National aujourd’hui).

Une théorie, celle de la « spirale du silence », a essayé de
rendre compte de ces phénomènes. Elle se fonde sur l’idée
que, dans les sociétés modernes, le public ressent certaines
opinions comme socialement moins légitimes que d’autres et donc
plus difficiles à avouer à l’enquêteur. Le public tend donc,
vis-à-vis des enquêteurs, à taire ses propres convictions pour
se conformer à celles qui sont perçues comme dominantes,
entretenant par là même un cercle vicieux ou, selon
l’expression devenue célèbre, une spirale du silence.

On peut distinguer, dans le cas français, deux modalités
différentes de la dissimulation de vote par les électeurs. Boy
et Chiche [BC] distingue deux types de spirales du silence :

  • La première, que l’on évoquait plus haut, serait une
    spirale du silence de nature « structurelle ». Dans cette
    catégorie se range par exemple la tendance à dissimuler le
    vote pour des formations extrémistes. Cette sous-estimation est
    connue par les instituts de sondage qui connaissent, par
    expérience, des méthodes de correction du phénomène : le
    redressement de la force sous-estimée par les valeurs observées
    dans le passé proche suffit souvent à remédier au mal. A
    l’inverse certains mouvements politiques bénéficient d’une
    légitimité supérieure à leur force réelle et deviennent en
    période d’élection des refuges pour le répondant qui n’a pas
    pris sa décision ou qui souhaite dissimuler une intention de
    vote jugée moins avouable. Cela a été le cas très souvent des
    écologistes, dont la position politiquement centrale et les
    valeurs consensuelles, font office de valeur refuge pour les
    enquêtés. Là aussi des corrections, mais cette fois « à la
    baisse », sont souvent indispensables.
  • Un deuxième
    type de « spirale du silence » serait de nature conjoncturelle.
    Elle regrouperait des phénomènes propres à la dynamique
    d’une campagne électorale et concernerait les phénomènes
    de domination, de légitimation et donc de surestimation d’un
    parti ou d’un candidat attribuable à la conjoncture politique
    spécifique de cette élection. C’est le cas, par exemple de
    l’élection présidentielle de 1995 où l’on assiste
    entre janvier et mars à un processus de « ciseaux », c’est-à-dire
    de croisement des courbes d’intention de vote des deux
    candidats de la droite modérée, qui fait perdre à Balladur la
    première place au profit de Chirac. Comment expliquer qu’un
    vote considéré comme socialement valorisé se démonétise en
    quelques semaines et devienne par la suite difficilement
    avouable ? Comment expliquer par conséquent qu’une spirale
    s’inverse à un moment de son développement ?

A la différence du premier cas, on ne dispose pas de moyens
sûrs de corriger ce phénomène conjoncturel puisqu’il n’y a pas, par
définition, de valeur structurelle ou historique qui
permettrait le redressement.

Les déclarations incertaines

L’incertitude sur la fermeté des intentions de vote a conduit
les instituts de sondage à multiplier les précautions : on
cherche d’abord à savoir si la personne interrogée a
effectivement l’intention (ferme ou non) de se déplacer le jour
du vote pour déposer un bulletin dans l’urne. Or l’action
d’aller voter demeure très probablement dans les mentalités un
acte socialement valorisé. Avouer à l’enquêteur que l’on va
s’abstenir est difficile surtout dans les cas où l’élection est
décisive. Du reste on ne retrouve pas, dans les sondages pré ou
post-électoraux, des pourcentages de non-votants potentiels
correspondant au taux d’abstentionnisme réellement observé.
Ceux qui renoncent finalement à exercer leur droit de vote se
répartissent-ils à peu près à proportion des différentes forces
politiques de sorte que leur absence n’affecte pas les
équilibres politiques, qui ont été mesurés en prenant en compte
leur intention de vote ? Il n’y pas de réponse claire à cette
question.

Parmi ceux qui affirment leur intention d’aller voter, une
fraction refuse d’indiquer son choix politique. Enfin, au sein
même de l’ensemble de ceux qui acceptent de déclarer à l’enquêteur leur
intention de vote, on s’enquiert du caractère plus ou moins
définitif de ce choix. Là encore il y a une incertitude
puisqu’une partie d’entre eux reconnaît que le choix qu’ils
viennent d’indiquer à l’enquêteur « pourrait encore changer ».
Comment prendre en compte les choix politiques incertains ?
Faut-il les éliminer d’emblée et ne fonder sa prévision que sur
les seuls « certains d’aller voter et sûrs de leur choix ».
C’est, on le verra plus loin, une solution qui est souvent
adoptée. Elle suppose implicitement que ces électeurs hésitants
vont finalement s’abstenir. Il est certain que la tendance à
hésiter au sein d’un camp politique ou entre les camps en
présence affecte la sûreté des intentions de vote établies par
les instituts de sondage.

Redressement et filtrage

Ce n’est un secret pour personne : entre les résultats « bruts »,
c’est-à-dire sortis tels quels du sondage qui a été effectué, et
les résultats « établis » par l’institut de sondage, il existe
une série d’opérations qui aboutissent à modifier sensiblement
les données initiales. Les sondeurs n’effectuent pas cette
série d’opérations sans respecter certaines règles du métier
car ils peuvent être tenus de s’expliquer devant la Commission
des Sondages. Cette Commission composée de professionnels
veille au respect de ces règles en disposant du pouvoir de
demander à un sondeur le détail précis des opérations qu’il a
effectuées pour aboutir à tel ou tel résultat.

De quelles armes disposent alors les instituts de sondage pour
approcher plus exactement le résultat réel ? Essentiellement de
deux méthodes, le redressement et le filtrage.

Par redressement on entend l’opération qui consiste à pondérer
les données, c’est-à-dire à modifier le poids des individus,
qui initialement vaut 1, en fonction de critères
socio-démographiques ou politiques. Le premier type de
redressement vise à corriger le fait que les quotas
socio-démographiques ne sont parfois qu’imparfaitement
respectés. Ainsi, si l’on observe dans son échantillon un
pourcentage d’ouvriers inférieur à l’objectif attendu, on peut
choisir de multiplier le poids de chaque ouvrier d’un
coefficient tel que l’ensemble des ouvriers, après cette
opération se trouve égal à la valeur attendue. Inversement il sera
nécessaire de « dépondérer » telle autre catégorie qui a été surreprésentée de façon à ce que le total boucle à 100 %. Le
deuxième type de redressement, en fait le plus important pour
modifier les données initiales, porte sur les variables
politiques. Les politologues ont imaginé, pour mieux mesurer
les intentions de vote, de poser des questions de
reconstitution des votes antérieurs. Le souvenir politique
n’est ni plus ni moins fragile que tout autre souvenir. Parier
sur la robustesse de ces souvenirs a longtemps été payant et a
permis de bien prendre en compte les sous-déclarations en
faveur des partis extrémistes. Mais, durant la période récente,
la participation électorale a été fluctuante et les trajets
électoraux passent souvent par l’abstention. La fragmentation
de l’offre électorale entre candidats d’un même camp a créé de
l’hésitation quant au choix exprimé dans les enquêtes d’abord,
puis dans les urnes ensuite. Ceci a plus amené au séisme du 21
avril 2002 que l’erreur des sondages. Il se peut aussi que les
élections antérieures ne fournissent pas des bases de
comparaison réellement efficaces parce que les forces
politiques ne sont pas identiques entre l’élection précédente
et l’élection que l’on cherche à prévoir. La pondération repose
d’autre part sur l’hypothèse implicite que les individus dont
le poids est ainsi artificiellement gonflé « représentent » la
catégorie politique ou sociale à laquelle ils appartiennent.
Cette hypothèse est discutable.

La deuxième méthode, utilisée le plus souvent conjointement avec
le redressement, est le choix de « filtres » qui sélectionnent les
individus en fonction de leurs réponses à des questions
concernant la certitude des choix politiques. Nous avons évoqué
ces méthodes plus haut : elles consistent à tenter d’éliminer
de la base de sondages des personnes dont on pense qu’en
réalité elles ne participeront pas au vote. Deux catégories de
questions sont généralement posées, la première portant sur la
probabilité de participer au scrutin, la seconde sur la fermeté
du choix partisan qui a été déclaré. Il est évidemment logique
de ne pas prendre en compte les personnes que l’on tient pour
des abstentionnistes probables et dans cette perspective ceux
qui reconnaissent qu’ils ne sont pas fermement décidés à aller
voter peuvent être écartés en priorité. Mais que faire de ceux
qui, tout en affirmant leur intention de participer au scrutin,
signalent que leur choix peut encore changer ? La situation de
doute dans laquelle ils se trouvent va-t-elle les conduire à
l’abstention ? C’est d’autant plus probable qu’ils
appartiennent à des segments de la population, de fait, un peu
plus abstentionnistes que la moyenne ? Et si ces hésitants
votaient le feraient-ils comme la moyenne de la population
(alors peu importe qu’ils n’aient pas été pris en compte) ou
selon des orientations politiques spécifiques ?

Il reste que les pondérations effectuées sur des
reconstitutions de vote différentes donnent parfois des
résultats très éloignés. Panacher ces différents paramètres
pour estimer l’état des forces politiques au moment du sondage
demeure par conséquent un art difficile. Mais dans
l’établissement de ce résultat le sondeur est aussi très
probablement influencé, d’abord par ce qu’il a lui-même rendu
public lors de la vague de sondage précédente, et ensuite par ce
que publient ses homologues, c’est-à-dire les autres sondeurs.
Pour admettre que la courbe publiée précédemment s’inverse, que
tel candidat a dépassé tel autre qui le surpassait jusqu’ici, il
faut disposer de sérieux arguments.

Conclusions

Les sondages d’intentions de vote se trompent, mais ce défaut
provient d’une qualité rare dans les sciences humaines, celle
d’énoncer des propositions réfutables. C’est la réalité même de
l’élection qui tranche régulièrement de la qualité des
intentions de vote mesurées quelques jours ou quelques heures
avant le jour du vote. Et cette épreuve de vérité pousse
régulièrement les responsables d’instituts de sondage à
chercher à améliorer leurs méthodes.

Des progrès sont toujours possibles dans les enquêtes.
L’expérimentation dans l’écriture des questionnaire en est un.
D’autres progrès sont sans doute possibles, notamment dans le
traitement de l’indécision politique : repérer les
abstentionnistes potentiels, déceler les choix « clignotants »,
raisonner non plus en termes de certitudes de choix mais de
probabilités d’intentions de vote affectés à tel candidat,
faire entrer en ligne de compte le poids de la conjoncture
économique telle que la perçoivent les électeurs. Enfin, ni l’enseignement des mathématiques ni l’instruction civique n’inculquent
une culture de la présentation de l’incertitude du
sondage. La seule présentation du nombre de sondés est une
représentation bien trop imparfaite de la qualité d’une enquête
et d’autres indicateurs doivent être mis au point. Enfin il
n’y a pas de fatalité à voir les enquêtes politiques, même
quand elles sont bien faites, démenties par la réalité.

Références

  • Bon F. Les sondages
    peuvent ils se tromper,
    Paris, Calmann-Lévy (1974).
  • Boy D.,
    Chiche J.
    La qualité des enquêtes d’intentions de vote :
    « L’état de l’opinion 1999 »
    dir. Duhamel O., Mechet P.,
    Seuil (1999).
  • Brehm J. The Phantom respondant,
    University of Michigan Press (1996).
  • Charlot M. Les
    sondages et les élections législatives britanniques (18 juin
    1970)
    Revue française de science politique, 20:5, 951 -
    963 (1970) .
  • Chiche J. La qualité des enquêtes
    politiques.
    Les cahiers du Cevipof. 47. Regards croisés
    sur les sondages d’opinion (Catalogne, Espagne, France) (2007).
  • Chiche J., Mayer N., Tiberj V. Une enquête
    expérimentale sur la démocratie : l’effet enquêteur.
    L’Etat de
    l’opinion 2002. Dir. Duhamel O., Teinturier B., Seuil (2002).
  • Durand, C., Blais A. « A la recherche des
    déterminants culturels de la non-réponse »
    in Droesbeke,
    Jean-Jacques, ed. Actes du deuxième colloque francophone sur
    les sondages, Bruxelles, Juin 2000. Dunod
  • Gschwend,
    T.
    Analyzing Quota Sample Data and the Peer-review
    Process.
    French Politics 3(1), 88-91 (2005).
  • Lebart L.
    La qualité de l’information dans les enquêtes,
    Paris, Dunod éd. (1992).
  • Lewis-Beck M. Le vote du
    porte-monnaie
    p 239-251 dans Daniel Boy et Nonna Mayer (dir.)
    L’électeur a ses raisons, Paris, Presses de Sciences Po (1997).
  • Noëlle-Neumann E. Theory of Public Opinion : the
    concept of Spiral of Silence
    , Communication Yearbook,
    256-287 (1991) .
Article édité par Jacques Istas

Notes

[1Vague : période de collecte des données sur le terrain

[2Enquête omnibus : enquête
administrée pour le compte de plusieurs entreprises ; où à chaque
entreprise sont affectées une ou plusieurs des questions
posées. Le principe de l’omnibus permet d’amortir les coûts de
réalisation de l’enquête sur plusieurs commanditaires.
L’enquête omnibus peut être ponctuelle ou réalisée
périodiquement sur un panel.

Partager cet article

Pour citer cet article :

Avner Bar-Hen, Jean Chiche — «Les sondages sont-ils devenus fous ?» — Images des Mathématiques, CNRS, 2009

Commentaire sur l'article

  • Les sondages sont-ils devenus fous ?

    le 7 juin 2009 à 08:03, par Olivier Garet

    Bonjour à tous les deux, et merci pour votre texte, qui est très intéressant.

    Malheureusement, à mon sens, le problème n’est pas tant que les sondages se « trompent », que l’usage qu’en font les éditorialistes politiques, qui utilisent habituellement le sondage comme une validation scientifique de leur propre pensée, participant ainsi, il faut le dire, à une manipulation de l’opinion.

    On en a eu l’exemple pendant cette campagne européenne : les premiers sondages, donnant l’UMP légèrement devant le PS (26/24, soit un écart inférieur à la dernière élection présidentielle) ont immédiatement été commentés comme le signe d’un PS malade, divisé, ce qui a certainement contribué à l’amener autour de 20% dans les enquêtes qui ont suivi.

    La concentration des medias dans les mains de quelques groupes financiers vivant partiellement de la commande publique pose des problèmes évidents pour le bon fonctionnement de la démocratie.
    Je vous suggère de lire les attendus d’une proposition de loi dont je vous laisse deviner le succès.

    http://www.assemblee-nationale.fr/13/propositions/pion1094.asp

    Répondre à ce message
  • Les sondages sont-ils devenus fous ?

    le 9 décembre 2009 à 20:02, par Sylvia

    Sur les sondages et sur toute operation de communication qui se veulent
    « fins » de nombreux objets posent question.
    D’une part ; peut être citons un outil « préalable » utile mais couteux...
    C’est un programme de sémantique / lexicologie qui classifie les individus selon les vocables et le lexique qu’ils utilisent. D’ où un premier « tri » possible...

    D’autre part ; on doit avouer que les sondés ( sauf cibles spécifiques ) souvent
    « comprennent ou voient peu les choses »...
    D’où un certain nombre d’autres questions corollaires...N’est ce pas cela aussi la « complexité » des sociétés...

    Répondre à ce message

Laisser un commentaire

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?

Suivre IDM