Biais cognitif : les échelles choisies impactent-elles les réponses à un sondage ?
Biais cognitif dans les sondages : le Pew Research Center a testé l'impact des échelles (0 à 6 vs. 1 à 7) sur les réponses à une question de positionnement politique.
Biais cognitif
Si on vous demande de vous positionner pour un critère sur une échelle de 1 à 7, répondrez-vous la même chose que si celle-ci est numérotée de 0 à 6 ?
Le Pew Research Center l'a testé en 2017 en Europe de l'Ouest, dans une enquête concernant la religion et le pluralisme. La question était "Certaines personnes parlent de politique en termes de gauche, de centre et de droite. Sur une échelle gauche-droite de 0 à 6, 0 indiquant l'extrême gauche et 6 indiquant l'extrême droite, où vous placeriez-vous?", ou la même question indiquant une échelle de 1 à 7.1
Résultats
Les résultats donnés par Jonathan Evans sur Pew Research Center: Decoded ont montré que passer d'une échelle 0-6 à une échelle 1-7 :
- Ne changeait rien au nombre de personnes se disant d'extrême-gauche (réponse 0 ou 1)
- Augmentait le nombre de personnes se disant de gauche (0-2 ou 1-3), sauf en UK ou seule la deuxième option (1 ou 2) était impactée, toujours au détriment surtout du Centre (3 ou 4)
- "Au niveau démographique, une seule différence statistique a été trouvée : sur l'échelle 0-6 en France, une majorité de la Gauche est masculine (56%), tandis que sur l'échelle 1-7" une minorité de la Gauche est masculine (41%)"2
Jonathan Evans conclut :
"Si le but d'un chercheur est de connaître la taille relative de la gauche politique, du centre ou de la droite dans un pays, il peut exister des différences significatives selon que l'on utilise l'échelle 0–6 ou l'échelle 1–7 - en particulier lorsqu'il se rapproche de l'extrémité de l'échelle la plus proche de 0. Des recherches supplémentaires sont nécessaires pour déterminer quelle échelle représente une mesure plus valable de l'idéologie politique.
Cependant, le profil démographique d’un groupe idéologique, sa propension à l’égard de certains partis politiques et ses attitudes vis-à-vis d’autres questions importantes ne changent pas radicalement lorsque différentes valeurs numériques sont utilisées sur une échelle de sept points. L’impact global de l’utilisation d’une échelle de 0 à 6 ans ou de 1 à 7 comme variable indépendante ou témoin pour la recherche en sciences sociales semble minime."
Jonathan Evans (6 mars 2019)3
Commentaires
Tout d'abord il semble d'après les chiffres même du PRC que le caractère "minime" de l'impact dépend du côté où on se place : il n'y a que sur les données démographiques qu'ils n'ont pas trouvé d'impact, or le nombre de personnes interrogées était trop faible pour une telle analyse. A l'opposé, l'impact sur le grand nombre semble très significatif : si les exrêmistes ne sont pas atteints, ceux qui en sont proches tiennent à montrer un chiffre plus petit.
Mais on peut aussi remarquer qu'il y a peut-être une explication simple à ces différences : nous sommes habitués à répondre sur des échelles de 1 à 5, pas à celles de 0-6 ou 1-7. Or les échelles 1-5 et 0-6 ont le même milieu (3), et pas celle de 1-7 (où c'est 4). Cette dernière échelle a donc pu perturber ceux qui voulaient se positionner juste à gauche du centre.
Sources
On a scale from 1 to 10, how much do the numbers used in survey scales really matter? Jonathan Evans. Pew Research Center: Decoded. 6 mars 2019
(L'image est extraite de l'article de Jonathan Evans)
Notes
-
Traduction depuis :
We conducted this experiment as part of a 2017 telephone survey about religion and pluralism in Western Europe. (For the survey methodology, see here.) To carry it out, we randomly assigned respondents in France, Germany and the United Kingdom our political ideology question with one of two 7-point scales: either 0–6 or 1–7. The full question wording using our traditional 0–6 scale was this: “Some people talk about politics in terms of left, center and right. On a left-right scale from 0 to 6, with 0 indicating extreme left and 6 indicating extreme right, where would you place yourself?”
Jonathan Evans (6 mars 2019) -
Traduction depuis :
"Looking at the demographic makeup of these categories, there is only one statistically significant difference: Using France’s 0–6 scale, a majority of the Left is male (56%), while on the 1–7 scale, a minority of the Left is male (41%)."
Jonathan Evans (6 mars 2019) -
Traduction depuis :
"If a researcher’s goal is to get a sense of the relative size of the political left, center or right within a country, there can be meaningful differences depending on whether one uses the 0–6 scale or the 1–7 scale — especially when it comes to the end of the scale closest to 0. Further research is required to know which scale presents a more valid measure of political ideology.
However, an ideological group’s demographic profile, favorability toward specific political parties and attitudes on other important issues do not drastically change when different numeric values are used in a seven-point scale. The overall impact of using a 0–6 scale or a 1–7 scale as an independent variable or control for social research appears minimal."
Jonathan Evans (6 mars 2019)
©Philippe Gouillou - Dimanche 10 mars 2019