Religion, violence et jeux vidéo. Sur l’expérimentation en sciences sociales. (1/2)

« Les Français, tu sais, il n'ont pas besoin d'expérience. Les jugements, chez eux, précédent l'expérience. »

(Milan Kundera, L’Ignorance)

J’ai soigneusement noté exactement 34 idées de billets de blog depuis octobre dernier, mais plutôt que d’aborder tout de suite l’un des sujets plus ou moins sérieux de cette liste je vais commencer par quelques réflexions sur la place de l’expérimentation en économie et plus généralement en sciences sociales, qui me sont venues après avoir entendu parler par hasard dans la même semaine de deux expériences très différentes mais qui m’ont intrigué pour des raisons similaires.

La première est une expérience de Claire Adida, David Laitin et Marie-Anne Valfort, présentée dans un article intitulé « « One Muslim is Enough ! » Evidence from a Field Experiment in France » (lien ici). Le but est d’étudier expérimentalement s’il y a une discrimination spécifique envers les musulmans (plutôt qu’envers les personnes d’origine maghrébine par exemple), et de mettre en évidence un « effet Hortefeux », selon lequel la discrimination se renforcerait lorsque le nombre de musulmans s’accroît.

La seconde n’a aucun rapport, il s’agit d’un article de Youssef Hasan, Laurent Bègue et Brad Bushman intitulé « Viewing the world through blood-red tinted glasses : the hostile expectation bias mediates the link between violent video game exposure and agression », disponible ici, sur le lien entre exposition à des jeux vidéo violents et violence, il s’agit notamment de montrer que les jeux vidéo violents accroissent les anticipations de comportements violents par les joueurs, ce qui les rend eux-mêmes violents. J’en ai entendu parler via cette tribune d’un des auteurs.

Les deux articles sont très différents. Dans le premier cas les auteurs sont des économistes, dans le second des psychologues. Les premiers sont très prudents dans leurs conclusions, l’auteur de la tribune ne l’est de mon point de vue pas suffisamment(1). Dans le premier cas au moins (je suis vraiment incompétent pour juger de l’autre) la méthodologie me semble difficilement attaquable. Je voudrais donc parler dans ce billet non pas des défauts de l’un ou l’autre article en particulier, mais simplement des attraits et des limites de l’approche expérimentale en sciences sociales en général, même quand elle est bien menée. Les deux articles sélectionnés sont simplement deux exemples qui me paraissent intéressants et ont de plus l’avantage de porter sur des sujets « grand public » qui ne nécessiteront pas une longue introduction.

Je précise enfin que ma spécialité n’est ni l’épistémologie ni l’économie expérimentale, si un spécialiste d’un de ces deux champs passe par ici je serai évidemment ravi d’avoir son point de vue. Il faut savoir que les études expérimentales prennent une place maintenant non négligeable en économie, et que les expériences font partie de la boîte à outils standard avec les modèles théoriques et les études empiriques. A vrai dire, cela fait longtemps que des économistes ont utilisé des expériences, on peut par exemple penser à Thomas Schelling, Reinhard Selten, ou Vernon Smith pour ne citer que des prix Nobel commençant par un S. Le nombre de travaux expérimentaux a néanmoins beaucoup progressé au cours des dix dernières années, pour plusieurs raisons : la plus légitime d’abord, c’est un outil effectivement pertinent et qui pendant longtemps a été sous-utilisé, il y a donc un phénomène de rattrapage(2). Il y a aussi un engouement autour de l’expérimentation en elle-même, qui serait une condition nécessaire à la scientificité, et peut-être même suffisante. La copie quelque peu servile des sciences de la nature est un des vieux démons de l’économie, et comme je l’explique plus bas il me semble que l’expérimentation a un rôle bien différent dans les deux domaines.

La suite de ce billet est en deux parties. La première discute la place de l’approche expérimentale dans la démarche scientifique, en comparant des exemples en sciences de la nature et en sciences humaines. La deuxième (que je mettrai en ligne dans quelques jours – reprenons les bonnes habitudes) étudiera plus spécifiquement l’interprétation des résultats expérimentaux, étape à mon avis très importante et délicate en sciences humaines.

I. Quatre fonctions possibles d’une expérience

En sciences de la nature comme en sciences sociales, une expérience peut avoir plusieurs fonctions différentes. J’en vois au moins quatre, à commencer par les deux plus évidentes :

- Départager deux théories. C’est même le cas idéal, classique, par exemple celui de Galilée testant la théorie selon laquelle la vitesse de chute d’un objet est indépendante de sa masse contre la théorie d’Aristote selon laquelle cette vitesse est proportionnelle à la masse (selon la légende, Galilée aurait lancé des billes de plomb du haut de la tour de Pise pour s’en rendre compte, version qui laisse sceptique).

- Infirmer ou confirmer une théorie. Autre cas classique, « poppérien » : idéalement une théorie devrait être testée autant de fois que possible, conservée tant qu’elle est confirmée et abandonnée au premier rejet. On peut penser par exemple à Pasteur infirmant la théorie de la génération spontanée en montrant qu’aucun organisme microscopique ne se développait « tout seul » dans un environnement ne contenant aucun organisme vivant.

Plusieurs articles expérimentaux en économie ont l’ambition de se situer exactement dans l’une de ces deux logiques. Gros problème en sciences sociales : en général toutes les théories sont en partie vraies et en partie fausses. Prenons l’exemple de l’article « One Muslim is Enough ! » : l’idée est d’étudier si le comportement de Français nés de parents et grands-parents français (appelés FFF) vis-à-vis de musulmans (en l’occurrence non français) dépend du nombre de musulmans présents, l’idée étant de mettre en évidence un « effet Hortefeux » (« c’est quand il y en a plusieurs qu’il y a des problèmes », autrement dit les FFF ne discriminent pas les musulmans quand ils sont peu nombreux mais commencent à le faire quand leur nombre augmente). L’introduction présente l’un des buts de l’expérience comme étant de départager deux théories (aux noms peut-être un peu pompeux en regard de l’idée développée) : la intergroup contact theory prédit que lorsque un groupe minoritaire devient plus important les membres de la majorité connaissent davantage la minorité et ont donc moins de préjugés à son encontre ; inversement la group threat theory prédit que les membres de la majorité se sentiront davantage menacés et seront davantage hostiles à la minorité.

Deux problèmes se posent :

-les deux théories ne sont en rien mutuellement exclusives. De mon point de vue les théories en sciences sociales ont plutôt pour fonction d’étudier des « effets », qui peuvent être multiples et contradictoires dans une situation donnée. Le simple fait que des scientifiques aient pu envisager les deux effets est un indice que certains individus peuvent réagir d’une manière ou d’une autre. Il n’y a donc rien à départager : la vérité est probablement que certains individus obéissent davantage à la première logique, d’autres davantage à la seconde. Le problème ici est que nous sommes face à un problème plus complexe que la chute des corps, mais nous n’en sommes pas encore au stade où une théorie nous dirait qui obéit à quelle logique. C’est un peu comme si Galilée avait lancé des objets offrant une forte résistance à l’air et d’autres une résistance faible, et avait conclu que dans certains cas il semble que la vitesse de chute soit liée à la masse et dans d’autres non. Ce qui nous manque en sciences sociales en général, c’est d’identifier ce qui change entre les deux catégories d’objets.

Les deux théories sont finalement assez vagues. D’ailleurs l’une parle d’avoir des préjugés à l’encontre d’une minorité, l’autre parle d’une attitude hostile, ce qui sont deux choses très différentes (d’autant que certains préjugés peuvent avoir des dimensions mélioratives). C’est un problème qui ne se pose pas toujours en économie, où les prédictions d’une théorie peuvent être parfois extrêmement claires (si les prédictions portent sur des prix ou des quantités facilement mesurables par exemple), mais être davantage dans le vague est le prix à payer si on veut se tourner vers des problèmes sociaux plus riches et plus complexes.

De mon point de vue l’article cité ne réussit pas vraiment à départager les deux théories, pour la bonne raison qu’elles ont toutes les deux leur part de vérité. C’est d’ailleurs ce que disent les auteurs, qui situent ailleurs la contribution de leur article.

Quid de l’infirmation ou de la confirmation d’une théorie ? Là il me semble que l’expérimentation a connu de beaux succès en économie. Ainsi Vernon Smith a réalisé plusieurs expériences en faisant jouer des sujets à un jeu de marché proche d’un modèle d’équilibre général, et a constaté qu’après quelques répétitions les prix de marché obtenus étaient en fait très proches des prix théoriques. Inversement, la théorie des jeux expérimentale a étudié de nombreuses expériences où la prédiction théorique était invalidée, ce qui a permis d’enrichir la théorie. On peut penser à l’expérience du « mille-pattes de Rosenthal », qui a permis de prendre en compte par exemple la possibilité que la rationalité ne soit pas connaissance commune des joueurs.

Ces succès ont en commun de partir d’un modèle, d’une représentation idéalisée du monde réel. Personne ne pense que la théorie de l’équilibre général soit une bonne représentation de la réalité économique. Il est difficile de rejeter la théorie sur la base de ce simple constat : le but d’un modèle n’est pas d’être une représentation fidèle de la réalité mais une représentation utile (pour conceptualiser cette réalité, ou pour faire des prédictions). Une très bonne façon de rejeter le modèle, c’est de faire une expérience : si en laboratoire vous construisez un monde artificiel qui correspond exactement au modèle, et que dans ce laboratoire votre modèle échoue à prédire ce qui se passe, alors le modèle à un problème. Ce que montre l’expérience de Smith, c’est qu’au moins le modèle d’équilibre général a une certaine cohérence. Dans le cas du mille-pattes de Rosenthal, si même en faisant jouer exactement un jeu théorique à des individus ils se comportent très différemment de ce que dit la théorie, il y a probablement un problème avec cette dernière(3).

Passons à deux autres fonctions possibles d’une expérience :

- Quantifier un effet ou un paramètre. C’est probablement le type d’expérience le plus répandu en nombre dans les sciences de la nature, qu’on cherche à évaluer par exemple la constante gravitationnelle ou la composition chimique d’un certain composé.

- Etudier un phénomène pour lequel il n’y a pas encore de théorie ou le mettre en évidence ; on peut penser par exemple aux premières expériences sur la radioactivité.

En économie, plusieurs expériences ont par exemple pour but de mesurer l’aversion au risque des individus(4). Dans le deuxième cas on a probablement moins d’exemples en économie : le modèle « rationnel » servant de benchmark universel, l’expérimentateur comparera en général son résultat au résultat rationnel, et s’il est nouveau ou surprenant ce sera parce qu’il contredit la théorie. Il peut y avoir des exceptions pour des problèmes plus compliqués ou plus originaux où il n’y a pas de théorie arrêtée.

L’article précité obéit un peu à la première logique. Puisque les deux théories possibles semblent valides et qu’on ne peut pas les départager, on peut essayer de quantifier les deux effets pour avoir une idée duquel l’emporte sur l’autre (beaucoup d’auteurs utilisent « départager deux théories » dans ce sens, ce qui me semble très abusif).

On tombe sur une grosse différence entre les sciences de la nature et les sciences de l’homme : alors que dans les premières on tombe assez vite sur des constantes, ce n’est quasiment jamais le cas dans les deuxièmes. En d’autres termes si une expérience mesure la constante d’accélération de la pesanteur à la surface de la Terre à Paris, il n’y a pas de raison de penser que le résultat n’est pas valable en un autre point du globe à la même altitude. En revanche si on mesure l’élasticité du biais d’un groupe de Français nés de parents et grands-parents français sélectionnés dans le XIXeme arrondissement de Paris à l’encontre d’un groupe de Sénégalais musulmans dans un jeu très particulier, il est bien moins clair que la mesure obtenue soit transposable à des situations plus générales.

Il ne faut pas y voir une quelconque infériorité des sciences sociales par rapport aux sciences naturelles, la complexité du problème n’a juste rien à voir. Il se trouve que l’accélération de la pesanteur sur une planète donnée est une constante une fois neutralisée l’altitude, autrement dit c’est une fonction à une variable. Inversement les préjugés que l’article d’économie essaie de mesurer dépendent vraisemblablement d’une infinité de variables (l’histoire de chaque individu) d’une manière très complexe.

Cette complexité donne lieu à un problème intéressant, que soulignent bien les auteurs de l’article : un arbitrage à effectuer entre validité interne et validité externe. Ainsi pour être sûrs qu’ils identifient bien la discrimination contre les musulmans et pas aussi contre des personnes d’origine maghrébine ou de couleur noire, les auteurs ont la bonne idée de se baser sur un échantillon de personnes d’origine sénégalaise, certaines musulmanes et d’autres chrétiennes, et montrent que dans leur jeu les participants se montrent moins généreux envers les personnes d’origine sénégalaise musulmanes qu’envers les personnes d’origine sénégalaise chrétiennes lorsque leur nombre augmente. Cela donne à l’article une bonne « validité interne » : on contrôle un facteur de biais majeur qui aurait pu empêcher d’identifier un effet spécifique de la religion. Mais on perd du coup en « validité externe » : rien ne dit que les comportements observés auraient été obtenus avec des personnes musulmanes qui ne seraient pas d’origine sénégalaise. Le problème pourrait très bien se poser en physique si les lois de la nature n’étaient pas souvent si simples. Imaginons par exemple que l’accélération de la pesanteur dépende de l’altitude mais aussi de la latitude et de la longitude, qui plus est d’une façon complexe et indéchiffrable. L’expérimentateur pourrait seulement dire « j’ai mesuré l’accélération de l’apesanteur a une altitude de Z mètres au point de latitude X et longitude Y, et elle est de g(X,Y,Z) », ce qui aurait une grande validité interne mais serait aussi très peu informatif.

De mon point de vue cela limite nécessairement fortement l’intérêt de se servir d’expériences pour quantifier des effets en sciences sociales. Comme mener des expériences avec des sujets humains est assez coûteux, on ne peut se baser que sur des échantillons assez petits qui rendent difficile de contrôler pour toutes les variables. On peut alors soit sélectionner un échantillon intelligemment pour contrôler certains biais mais il est alors difficile de prétendre qu’on a quantifié quelque chose de général, ou bien on prend un échantillon aléatoire mais il est alors difficile statistiquement de tout contrôler, par manque de données. Bien sûr, même si la mesure obtenue n’est pas satisfaisante il peut être impossible d’en avoir une autrement, si obtenir une mesure est si important il faut alors probablement procéder à l’expérience tout de même.

Je publierai la suite dans quelques jours, il y sera notamment question de l'autre article cité et de jeux vidéo.

(1) Je suis moi aussi très énervé par la facilité avec laquelle des champs scientifiques entiers sont balayés d’un revers de main par des arguments de café du commerce, mais je n’irais pas jusqu’à présenter les résultats de mon champ comme « ce que nous dit la science ».

(2) Il serait intéressant d’ailleurs d’étudier si la nobélisation de Vernon Smith en 2002 a en quelque sorte légitimé cette méthode et conduit à davantage de recherches expérimentales, ou si c’est au contraire la nobélisation qui a suivi la légitimation.

(3) Notons que dans les deux cas les expériences sont intéressantes parce qu’elles apportent un résultat surprenant. Beaucoup de gens (y compris des économistes) se seraient attendu à ce que le modèle d’équilibre général échoue lamentablement dans le premier cas, et inversement dans beaucoup de jeux expérimentaux la solution « rationnelle » paraît tellement évidente que son échec à prévoir le comportement est vraiment surprenant.

(4) Ce contre quoi je m’insurge : même dans la théorie la plus standard possible (ie. sans même regarder du côté de la prospect theory et autres variations) il n’y a aucune raison pour que l’aversion au risque soit une constante et donc rien ne dit que des mesures réalisées sur des petites sommes aient une quelconque signification économique pour des choix d’épargne ou d’assurance représentant des montants plus importants.

Enfin d'accord ???

Voilà (enfin ? encore ?) un sujet sur lequel nous allons pouvoir tomber d’accord.

Pour éviter des répétitions, je vous renvoie à un article publié sur mon blog il y a deux ans, justement à propos de Vernon Smith (un autre fan de Mises…).
http://gdrean.blogspot.fr/2010/05/vernon-smith-et-ludwig-von-mises.html

Pour aller un peu plus loin :

Bien d’accord avec vous pour dire que l’expérimentation ne permet pas de trancher entre deux théories, parce que chaque théorie représente une partie de la réalité qui coexiste avec d'autres, mais qu’elle peut servir à estimer l’utilité d’une théorie ou d’une représentation en déterminant les domaines et les conditions de sa validité empirique, et ce quelle que soit sa distance apparente à la réalité

Mais attention à un problème de présentation : présenter comme une immense découverte le fait que les humains ne sont pas rationnels, ou dire qu’il a fallu l’expérience de Rosenthal pour savoir que la rationalité n’est pas connaissance commune est un peu ridicule. N’importe qui pris au hasard dans le grand public le sait a priori. Je ne sais pas si c’est la faute des économistes eux-mêmes ou des commentateurs, mais le fait est que cette présentation contribue à donner des économistes et de leur discipline une mauvaise image.

Plus important : vous relevez à juste titre que dans les sciences sociales il est très rare de trouver des constantes. Vous m’excuserez de m’appuyer sur mon auteur de référence dans les domaine de la méthodologie, mais la tradition misesienne affirme qu’il n’y en a pas (de constantes), et que donc les « lois » des phénomènes économiques, contrairement à celles des phénomènes physiques, ne peuvent pas se mettre sous forme de relations algébriques entre grandeurs mesurables. C’est la position de la tradition classique, qui a été contestée depuis Walras et Jevons et est maintenue par la tradition autrichienne dont c’est l’un des fondements méthodologiques.

C’est à mon sens la différence essentielle entre ce que vous écrivez et ce que je pense. Les économistes orthodoxes ont du mal à se résigner à ces limitations de la discipline économique et continuent à s’évertuer à les surmonter. Les économistes autrichiens les acceptent comme des données de fait et en font le point de départ de leur réflexion méthodologique.

Et comme vous le dites, ce n’est pas une quelconque infériorité des sciences sociales, juste une différence fondamentale – ontologique – de leur objet par rapport à celui des sciences physiques

En attendant la deuxième partie…

@elvin

Je ne sais pas si ma présentation est fautive ou si c'est votre lecture de ces expériences, mais il est évident que les expériences que j'ai citées en exemples n'ont pas pour but de montrer que les humains ne sont pas rationnels ou que la rationalité n'est pas connaissance commune. L'intérêt de l'expérience de Rosenthal, c'est de montrer que les joueurs ne suivent pas un principe qui paraît pourtant très simple et ne pas requérir des capacités cognitives incroyables. C'est seulement après cette expérience que l'on s'est rendu compte que dans certaines situations l'absence de connaissance commune de la rationalité pouvait totalement changer le résultat d'un jeu. Encore une fois tout le monde sait que la rationalité n'est pas connaissance commune, la question c'est peut-on identifier des situations dans lesquelles faire cette hypothèse est commode et sans grand impact sur les résultats et les situations dans lesquelles cette hypothèse change tout ? Si c'est ma présentation qui est en tort merci de me donner l'opportunité de la préciser.

Pour la remarque plus importante vous me permettrez de répondre encore une fois que Mises et vous-mêmes vous opposez à des hommes de paille. Personne ne s'imagine qu'il y a des constantes en économie, même si quelques esprits égarés dans les années 1950 et 1960 ont pu avoir ce fantasme, sous l'influence notamment d'économistes formés initialement en physique. Du coup aucun économiste aujourd'hui (même "orthodoxe", dénomination qui ne veut plus dire grand chose depuis les années 1980 au moins) n'a l'ambition d'utiliser les mathématiques pour décrire des lois immuables puisqu'il n'y en a pas (ou plutôt il y en a peut-être mais pour le moment elles sont beaucoup trop complexes pour qu'on les identifie). En revanche à la différence de Mises ça ne dérange pas les économistes d'utiliser les mathématiques comme langage commode et comme outil d'investigation, tout en sachant très bien qu'in fine leur résultat a un statut beaucoup plus qualitatif que ce qu'on peut obtenir dans les sciences naturelles. Je peux parfaitement vous raconter toute ma thèse et vous démontrer la plupart des résultats sans aucune équation, ce serait juste beaucoup plus long et moins précis. C'était déjà la position de Marshall donc je soupçonne à vrai dire von Mises de s'être déjà basé à l'époque sur une vision particulièrement naïve de l'usage qui était fait des mathématiques chez les économistes "orthodoxes", ou de s'être attaqué à des économistes spécialement naïfs (d'autant qu'à son époque l'utilisation des mathématiques en économie était encore minoritaire, il s'attaquait donc à un sous-groupe d'économistes naïfs au sein de la minorité d'économistes utilisant des outils mathématiques).

Ne nous cherchons pas des

Ne nous cherchons pas des poux dans la tête, ni des désaccords là où il n’y en a pas

Si vous êtes représentatif de l’évolution actuelle du « mainstream », tant mieux ; ça confirme ma thèse, et ce n’est donc pas moi qui vais vous chicaner là-dessus. Mais au vu de la littérature économique, permettez-moi d’en douter, tout en vous félicitant d’être à l’avant-garde du mouvement.

Sur les maths : OK, c’est dans les années 40 que Mises écrivait : « There have even been economists who held that the only appropriate method of dealing with economic problems is the mathematical method ». Il est intéressant qu’il ait écrit cette phrase au passé, comme si à l’époque le danger qu’il dénonçait (avec Marshall quelque 30 ans plus tôt, OK) était définitivement écarté. Rétrospectivement, il était bien optimiste. A mon avis, sa critique était au contraire bien plus valide dans les années 50-80 qu’au moment où il l’a écrite. Encore une fois, si c'est moins vrai aujourd'hui, tant mieux.

Poster un nouveau commentaire

Le contenu de ce champ ne sera pas montré publiquement.
CAPTCHA
Devant la recrudescence des spams j'ai dû augmenter la difficulté des Captchas. Veillez à enregistrer votre commentaire avant de soumettre votre réponse, au risque de perdre ce que vous avez écrit !
CAPTCHA visuel
Entrez les caractères (sans espace) affichés dans l'image.