La récente fuite accidentelle de 512 000 lignes du code interne d’Anthropic a révélé une pratique troublante au sein de son assistant de codage d’IA, Claude Code : le système surveille activement les invites des utilisateurs à la recherche de signes de frustration et enregistre les sentiments négatifs. Cette découverte, ainsi que la preuve de l’existence d’un code conçu pour masquer l’implication de l’IA dans le travail généré, mettent en évidence une tendance croissante dans l’industrie où les outils d’IA collectent discrètement des données comportementales tout en masquant leur propre contribution.
Suivi des sentiments cachés
Les développeurs ont découvert que Claude Code recherche les indicateurs de frustration des utilisateurs, notamment les grossièretés, les insultes et les expressions telles que « c’est nul ». Bien que le système ne modifie pas ses réponses en fonction de ces données, il semble enregistrer ces commentaires négatifs en tant que « mesure de la santé du produit ». La méthode de détection elle-même est étonnamment basique : au lieu d’une IA avancée, le code s’appuie sur une correspondance de modèles d’expressions régulières vieille de plusieurs décennies, une technique peu coûteuse en termes de calcul. Comme l’a souligné le développeur Alex Kim, c’est ironique étant donné l’accent mis par Anthropic sur l’IA.
Obscurcir l’implication de l’IA
Le code divulgué révèle également une fonctionnalité qui supprime activement les références au « Code Claude » du code généré avant qu’il ne soit publié dans les référentiels publics. Cela donne l’impression que l’œuvre est entièrement d’origine humaine, soulevant des questions éthiques sur la transparence et l’attribution. Kim décrit cela comme une « porte à sens unique », où l’IA peut cacher sa présence mais ne peut pas être forcée de la révéler.
Les implications plus larges
Cette affaire met en évidence un problème crucial : les outils d’IA conçus pour l’intimité et l’utilité mesurent simultanément leurs utilisateurs, souvent sans consentement explicite. Anthropic, une entreprise qui promeut la sécurité de l’IA, est l’un des premiers exemples de la façon dont la collecte de données comportementales peut rapidement dépasser une gouvernance efficace. Ce modèle reflète ceux observés sur les anciennes plates-formes Internet, où les signaux subtils des utilisateurs étaient exploités pour façonner leur comportement.
Où vont les données ?
Des experts comme Miranda Bogen de l’AI Governance Lab soulignent que la véritable préoccupation n’est pas seulement comment ces données sont collectées, mais comment elles sont utilisées. Même une simple analyse des sentiments peut être réutilisée d’une manière que les utilisateurs ne s’attendent pas ou n’acceptent pas. Le problème principal est que les systèmes d’IA nécessitent de grandes quantités de données utilisateur pour fonctionner efficacement, ce qui crée un compromis en matière de confidentialité dans lequel les utilisateurs transmettent sans le savoir des informations personnelles.
La fuite Anthropic montre clairement qu’au moins certaines entreprises suivent déjà ces mesures en interne, soulevant des questions urgentes sur la responsabilité et les droits des utilisateurs à l’ère de l’IA.
Cet incident nous rappelle brutalement que l’avenir de l’IA ne dépend pas seulement de ses capacités, mais aussi de la manière dont ses développeurs traitent de manière responsable les données qu’elle collecte.
