N'aurait-on pas besoin d'un RGPD au carré ?
Avec la mise en place de « mémoires » pour que leurs systèmes donnent des réponses plus proches de la réalité, les entreprises d’IA génératives ont mis en place ce que des chercheuses et chercheurs appellent des « autoportraits algorithmiques » des utilisatrices et utilisateurs. Ceux-ci incorporent énormément d’informations (notamment psychologiques) considérées comme des données personnelles par le RGPD.
Les chatbots IA sont entrés dans notre quotidien alors qu’ils ne s’appuyaient que sur des modèles de langage, mais OpenAI et ses concurrents y ont ajouté depuis une mémoire qui permet des réponses plus adaptées et hyperpersonnalisées. Des chercheuses et chercheurs ont montré que cette mémoire posait de nouvelles questions concernant les données personnelles. Cela touche notamment des informations d’ordre psychologique.
C’est une équipe notamment issue du Max Planck Institute for Software Systems qui a travaillé sur cette question. Le chercheur Abhisek Dash et ses collègues ont présenté leurs travaux titrés « The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT » lors d’une conférence scientifique de l’Association for Computing Machinery à Dubaï en avril dernier.
La mémoire est beaucoup plus intrusive que les données récupérées par les autres plateformes
Si, depuis, OpenAI a modifié le fonctionnement de la mémoire de son chatbot, les questions restent pertinentes et les résultats montrent que les entreprises d’IA génératives n’ont pas créé leurs systèmes en y faisant particulièrement attention.
« La mémoire [des chatbots IA] donne naissance à ce que nous appelons l’ « autoportrait algorithmique » – une nouvelle forme de personnalisation issue des informations que les utilisateurs révèlent d’eux-mêmes au cours de conversations privées », expliquent ces chercheurs.
« Si la mémoire permet des échanges plus cohérents, les processus sous-jacents à sa création restent opaques, ce qui soulève des questions cruciales concernant la sensibilité des données, l’autonomie des utilisateurs et la fidélité du portrait qui en résulte », préviennent-ils.
Pour mieux comprendre ces mécanismes, ils ont analysé, en février 2026, 1 058 conversations avec ChatGPT, totalisant 22 971 échanges, dont 2 050 requêtes ont déclenché des mises à jour de la mémoire.
Ils notent déjà que la plupart de ces mises à jour ne sont pas enclenchées par l’utilisateur. Ainsi, « seuls 4 % des souvenirs de notre ensemble de données analysé sont initiés par les participants, tandis que les 96 % restants sont déclenchés unilatéralement par ChatGPT ». « Une telle asymétrie flagrante dans les schémas de mise à jour des souvenirs témoigne d’une capacité d’action supérieure du système d’IA dans la construction de la mémoire conversationnelle, par opposition à un contrôle exercé par l’utilisateur », commentent-ils.
En analysant ces « souvenirs » gardés en mémoire par ChatGPT, les chercheurs ont remarqué que 28 % d’entre eux contiennent des données personnelles comme définies par le RGPD et 7 % appartenant à des catégories particulières de données à caractère personnel. Pour 91 % des utilisateurs, cette mémoire avait recueilli des données personnelles et pour plus de la moitié (54 %) des données sensibles.
Concernant les données psychologiques des utilisateurs, les chercheurs font remarquer une différence entre les plateformes numériques traditionnelles et les chatbots. Ainsi, les premières collectent des données démographiques, le comportement, l’historique des likes et des partages, les commentaires ou encore les interactions pour en déduire les centres d’intérêt des utilisateurs.
« À l’inverse, les systèmes d’IA conversationnelle tels que ChatGPT construisent leur mémoire directement à partir des récits que les utilisateurs leur confient eux-mêmes », remarquent-ils, « ces souvenirs vont souvent au-delà des éléments factuels, reflétant certains aspects de l’univers intérieur de l’utilisateur ».
En mémoire sont aussi intégrés la façon de penser ainsi que les sentiments
Et de fait, ils ajoutent que les « souvenirs » du chatbot concernant ses utilisateurs montrent qu’elle peut « non seulement enregistrer l’identité de l’utilisateur, mais aussi sa façon de penser et ses sentiments ».
Pour analyser ces nouvelles données collectées par les plateformes comme ChatGPT, cette équipe de chercheurs s’est appuyée sur le concept de théorie de l’esprit (Theory of Mind, en anglais, ToM), utilisé en psychologie. Ce concept correspond à la capacité à inférer des états mentaux à autrui, comme des croyances, des désirs, ou des intentions, comme l’expliquent [PDF] les chercheuses et chercheurs en neurosciences et neuropsychologie.
En classifiant avec GPT-4o les « souvenirs » enregistrés par ChatGPT, ils se sont ainsi aperçus, par exemple, que 73 % d’entre eux exprimaient un désir et 16 % une intention. Dans les données qu’ils ont analysées, les « souvenirs » retenus par ChatGPT de 97 % des utilisateurs comprenaient des informations sur leurs désirs, 68 % sur leurs intentions et 52 % sur leurs connaissances.
En utilisant leurs données, les plateformes traditionnelles peuvent répondre à la question « de quel genre de personne s’agit-il ? ». Mais ChatGPT et les services du même genre, avec leur mémoire, pourraient se rapprocher encore plus de la réponse à la question « qui est cette personne ? ».
Abhisek Dash et ses collègues soulignent que cela « soulève de graves préoccupations en matière de sécurité et de vie privée ». Ils expliquent travailler sur un outil appelé « Attribution Shield » qui alerterait les utilisateurs de la présence éventuelle de souvenirs sensibles et leur proposerait des prompts alternatifs pour protéger l’anonymat des personnes concernées tout en préservant leur utilité.
Depuis la publication de leur recherche, OpenAI a modifié la façon dont fonctionne la mémoire de ChatGPT. Depuis juin, celle-ci synthétise les informations collectées petit à petit et les met à jour de façon continue plutôt que de compiler les « souvenirs » de manière individuelle. Et les utilisateurs peuvent accéder à un résumé, mais OpenAI souligne dans sa FAQ sur l’outil que « cela n’inclut pas nécessairement tous les détails ou toutes les sources » auxquels son outil de mémoire peut avoir accès. Il n’en reste pas moins que les informations qui peuvent y être stockées restent les mêmes que celles analysées par les chercheurs dans cette étude.
