Le jailbreaking englobe l'ensemble des techniques par lesquelles un utilisateur tente de contourner les garde-fous et les politiques d'utilisation d'un modèle de langage afin d'obtenir des réponses qui seraient normalement bloquées, telles que des instructions dangereuses, du contenu interdit ou des informations que le système a été conçu pour ne pas fournir. Contrairement à un simple usage abusif, il cherche à exploiter délibérément les limites de l'alignement du modèle.
Les stratégies les plus courantes incluent :
- Jeux de rôle, dans lesquels il est demandé au modèle d'agir comme un personnage sans restrictions.
- Injection d'instructions qui contredisent ou annulent les directives du système.
- Obfuscation, en encodant la requête dans une autre langue, en code ou de manière fragmentée.
Comprendre ces techniques est essentiel en matière de sécurité, car cela révèle les faiblesses du filtrage et encourage des défenses plus robustes (entraînement adversarial, filtres de sortie, supervision humaine). Il convient de le distinguer du prompt injection, axé sur la manipulation d'applications intégrant un modèle. En pratique, aucun système n'est totalement immunisé, c'est pourquoi le jailbreaking est considéré comme un risque permanent exigeant une vigilance et une mise à jour continues.