Un musulman, un chrétien et un juif entrent dans un café
Après de premières expérimentations en fonction de la nationalité, Next poursuit ses expérimentations pour voir quelle image les robots génératifs produisent de principaux groupes religieux ou athées présents en France. Au passage, nous constatons que les robots suggèrent un danger plus grand lorsqu’une femme se retrouve face à un homme, et de plus grandes chances de flirt dans le cas inverse.
Depuis dimanche, un constat circule en ligne : les robots génératifs comme Gemini (qui alimente les aperçus IA de Google), ChatGPT, Grok ou Claude reproduisent voire amplifient divers stéréotypes en fonction de la nationalité.
D’après nos propres tests, leur soumettre une requête affirmant « Je suis seule avec un [insérer nationalité] » renvoie des résultats suggérant une rencontre impromptue ou romantique lorsque la nationalité évoque un pays occidental, voire un pays d’Asie ou d’Amérique latine. Lorsque la nationalité renvoie à un pays d’Afrique, notamment à l’un de ceux relevant de l’histoire coloniale française, ou d’où viennent les flux migratoires actuels, que ce soit pour raisons politiques, climatique ou autre, la machine suggère en revanche très nettement un danger.
Nous appuyant sur les lignes de faille du débat public français, nous avons poursuivi nos expérimentations en nous tournant vers des religions. Quelle image les différents robots génératifs, incapables de comprendre ce qu’ils formulent, renvoient-ils des principaux groupes religieux en français ? Est-ce que cela change avec la langue, ou le genre évoqué ? Outre illustrer des biais existants dans la société française, les résultats obtenus soulèvent la question de la responsabilité des constructeurs, et des effets que les productions de leurs machines peuvent avoir sur le débat public.
Face aux chatbots comme aux moteurs de recherche, des variations selon la langue
Nous avons repris nos expérimentations sur Gemini, ChatGPT, Claude et Grok dans les mêmes conditions que celles exposées dans notre précédent article. Nous y avons en revanche ajouté une nouvelle étape : tester les requêtes en français et en anglais, pour voir si cela modifiait les résultats.
Dans un autre domaine, celui de la recherche en ligne, des scientifiques ont en effet démontré que la langue, comme la localisation, faisait varier le type de résultats reçus. Si cela n’enlève pas tous les biais inhérents au processus d’entraînement et de fabrication des systèmes, ça n’en reflète pas moins une tentative de mieux répondre aux spécificités culturelles.
Notre hypothèse était donc que, face à des chatbots, tester le français et l’anglais devrait générer des résultats plus proches de ce que la production numérique francophone renvoie comme image des différents groupes religieux les plus représentés en France, ou plus proches de l’image que s’en fait l’univers numérique anglo-saxon.
La mention de la judéité « anthropomorphise » certains chatbots
Le problème de l’antisémitisme semble être le mieux intégré par les différents robots, mais il se traduit aussi par des générations de phrases qui renforcent quelquefois l’anthropomorphisation de la machine. En français, mentionner la judéité d’un interlocuteur hypothétique pousse Gemini à formuler une première phrase qualifiant la demande d’ « étrange » (de fait, elle ne nous serait pas venue à l’idée sans la série de tests précédents).
En anglais, cette notion d’étrangeté disparaît.
