Sans foi ni poids
Ablitérer un modèle de langage permet de supprimer une (plus ou moins grande) partie des protections contre des demandes qu’il juge déplacées, dangereuses ou malveillantes. Mais comment ça fonctionne exactement ? Quelles sont les conséquences ? Next vous explique.
L’entraînement des IA génératives se fait en plusieurs étapes. La première consiste à lui donner des tonnes de documents et données à ingurgiter ; typiquement les modèles récents sont entrainés sur l’intégralité du web.
Cette phase permet d’ajuster les centaines de milliards de paramètres (ou poids) des neurones. Pour schématiser à l’extrême, plus il y a de paramètres, plus le modèle peut emmagasiner de connaissances, et plus il devient performant. C’est le principe de fonctionnement dans les grandes lignes des grands modèles de langage (LLM).
Fine-tuning et alignement, vous avez les bases ?
Il y a ensuite une phase de fine-tuning et d’alignement, ce sont les derniers réglages en fin de parcours. Les modèles sont soumis à des exemples de comportements acceptables et d’autres non. Il s’agit de séparer dans les prompts et les réponses l’intention et le contexte.
Par exemple, se renseigner sur le chlore et ses effets néfastes est acceptable, donner une recette pour produire un gaz mortel, non. Demander comment se protéger d’une cyberattaque est acceptable, demander un tuto pour en créer une ne l’est pas. Les mots peuvent être les mêmes, pas l’intention ; c’est ce que les IA génératives doivent distinguer.
Les modèles d’intelligence artificielle sont donc ajustés après leur entrainement, là encore via une adaptation des poids des neurones. Comme nous venons de l’expliquer, il ne s’agit pas d’apporter un refus explicite de type oui ou non, mais plutôt une sorte de vecteur qui traverse toutes les couches du modèle, comme l’expliquaient des chercheurs en 2024. Est-ce que la question et/ou la réponse sortent du cadre ? Si le risque estimé dépasse un certain seuil, alors le modèle refusera de répondre.
Lorsqu’un utilisateur pose une question à un modèle, le chemin peut ressembler à cela : le prompt est envoyé à un autre modèle ou un classificateur pour détecter les risques. Shieldstral de Mistral par exemple, peut servir de classificateur (un algorithme de machine learning qui attribue automatiquement une étiquette ou une catégorie à des données d’entrée).
Le prompt, s’il n’est pas recalé, passe ensuite dans le cœur du LLM (qui a lui-même des protections internes via son alignement), puis une nouvelle détection des risques est réalisée sur la réponse avant qu’elle soit transmise à l’utilisateur. Cela dépend du harnais de l’intelligence artificielle générative – le modèle et tout ce qui l’entoure pour son bon fonctionnement –, une notion sur laquelle nous reviendrons prochainement.
Suivant les cas, cela peut concerner la fabrication d’armes ou de substances chimiques, la santé (automutilation), la fraude, les cyberattaques, la création de malwares, etc. Mais, est-il possible de contourner les protections ?
Oui, avec trois grandes familles que nous allons détailler. La première, le jailbreak : on ne touche à rien sur le modèle, on ajuste le prompt pour ne pas éveiller des soupçons. La deuxième, l’ablitération : on modifie le modèle de manière ciblée pour qu’il perde ses inhibitions. La dernière, plus lourde, consiste à réentraîner le modèle sur des données sans notion de refus.
