Dilemme du Prisonnier, Schibboleth, et Génocide
Une simulation de Dilemmes du Prisonnier avec évolution montre que les machines qui réussissent sont celles qui mettent en place une stratégie tribale avec génocide des autres...
Simon DeDeo et ses collègues ont programmé un monde virtuel où des agents coopèrent ou trahissent à des Dilemmes du Prisonnier, et évoluent de génération en génération. Ils s'attendaient à ce que la coopération se développe, au travers de stratégies types Tit For Tat (Donnant-Donnant), qui sont celles qui permettent la réussite de tous.
A l'opposé, comme il l'explique sur Nautilus, ils ont observé un comportement très marqué :
"Après une période initiale chaotique, une seule machine s'élevait rapidement à un niveau de domination, prenant le contrôle de son monde imaginaire pendant des centaines de générations jusqu'à ce que, tout aussi soudainement, elle s'effondre, entraînant le monde dans un chaos de conflits dont le cycle suivant est issu. Un archéologue d'un tel monde aurait rencontré d'épaisses couches de prospérité alternant avec des périodes de cendres et d'os. Au lieu d'un terrain de jeu ordonné, régi par des coopérateurs prudents et fiers, la population a produit des configurations bizarres qui n'avaient aucun sens pour nous. C'est-à-dire, jusqu'à ce qu'un soir, au bureau et après avoir rempli des blocs de papier millimétré, nous soyons tombés sur la vérité. Les machines dominantes avaient pris les actions des joueurs pour être un code par lequel ils pouvaient reconnaître quand ils étaient confrontés à des copies d'eux-mêmes."
Simon DeDeo1
C’est-à-dire :
"Dans les premiers coups de la partie, ils se servent d'un modèle distinct : coopérer, tricher, tricher, tricher, coopérer, tricher, coopérer (par exemple). Si leur adversaire réagissait exactement de la même manière, trichant lorsqu'ils trichaient, coopérant lorsqu'ils coopéraient, ils finissaient par passer à une phase de coopération permanente, récompensant l'adversaire avec les avantages de l'action à son avantage mutuel.
Malheur, cependant, à ceux qui ne connaissaient pas le code. Tout écart par rapport à la séquence prévue était récompensé par une guerre totale et permanente. Une telle réponse pourrait faire tomber les deux machines, dans une sorte d'attaque suicide numérique. Parce que la séquence était si difficile à trouver par accident, seuls les descendants des machines dirigeantes pouvaient profiter de l'ère de la coopération désintéressée du post-code. Tous les autres ont été tués, y compris ceux qui utilisaient la stratégie " Tit For Tat". Cette domination durerait jusqu'à ce qu'il y ait suffisamment d'erreurs accumulées dans le code transmis de génération en génération pour que les machines dominantes cessent de se reconnaître entre elles. Ensuite, elles se retourneraient l'une contre l'autre aussi violemment qu'elles s'étaient retournées contre les étrangers, dans une sorte de maladie auto-immune au niveau de la population.
Tant que les codes ont duré, nous les avons appelés Shibboleths, après le génocide tribal raconté dans l'Ancien Testament du Livre des Juges."
Simon DeDeo2
Wikipédia définit le shibboleth comme :
"Un schibboleth, en hébreu : שִׁבֹּלֶת, prononcé [ ʃibɔlɛt] en français, est une phrase ou un mot qui ne peut être utilisé – ou prononcé – correctement que par les membres d'un groupe. Il révèle l'appartenance d'une personne à un groupe national, social, professionnel ou autre. Autrement dit, un schibboleth représente un signe de reconnaissance verbal."
Schibboleth — Wikipédia
Cette simulation est bien sûr trop simple pour expliquer La durée de vie des civilisations (Evoweb : 27 juillet 2019), mais elle suffit à montrer que les espoirs d'un monde plus rationnel s'opposent au jeu de la vie qui est de transmettre ses gènes, pas de créer un monde meilleur.
Référence
Barasz, M., Christiano, P., Fallenstein, B., Herreshoff, M., LaVictoire, P., & Yudkowsky, E. (2014). Robust Cooperation in the Prisoner’s Dilemma: Program Equilibrium via Provability Logic. ArXiv, 1401.5577
Liens
Is Tribalism a Natural Malfunction? What computers teach us about getting along. Simon DeDeo. Nautil.us. August 22, 2019 (This article was originally published in our “The Hive” issue in September, 2017).
La durée de vie des civilisations. Gouillou, Philippe. Evoweb. Samedi 27 juillet 2019
Images
- Victims of the 1994 Rwandan genocide. Wikimedia Commons
- Shibboleth Machines. Nautilus
Notes
-
Traduction depuis :
After an early, chaotic period, a single machine would rise rapidly to dominance, taking over its imaginary world for hundreds of generations until, just as suddenly, it collapsed, sending the world into a chaos of conflict out of which the next cycle arose. An archaeologist of such a world would have encountered thick layers of prosperity alternating with eras of ash and bone.
Instead of an orderly playground ruled by cautious, prideful cooperators, the population produced bizarre configurations that made no sense to us. That is, until one evening, in the office and after filling up pads of graph paper, we stumbled onto the truth. The dominant machines had taken players’ actions to be a code by which they could recognize when they were faced with copies of themselves.
Simon DeDeo -
Traduction depuis :
In the opening moves of the game, they would tap out a distinct pattern: cooperate, cheat, cheat, cooperate, cheat, cooperate (for example). If their opponent responded in exactly the same fashion, cheating when they cheated, cooperating when they cooperated, they would eventually switch to a phase of permanent cooperation, rewarding the opponent with the benefits of action to mutual advantage.
Woe, however, to those who did not know the code. Any deviation from the expected sequence was rewarded with total and permanent war. Such a response might take both machines down, in a kind of a digital suicide attack. Because the sequence was so hard to hit upon by accident, only the descendants of ruling machines could profit from the post-code era of selfless cooperation. All others were killed off, including those using the tit-for-tat strategy. This domination would last until enough errors accumulated in the code handed down between generations for dominant machines to stop recognizing each other. Then, they would turn against each other as viciously as they once turned against outsiders, in a kind of population-level autoimmune disease.
As long as the codes lasted we called them Shibboleths, after the tribal genocide recounted in the Old Testament Book of Judges.
Simon DeDeo
©Philippe Gouillou - Vendredi 23 août 2019