La reciente filtración accidental de 512.000 líneas del código interno de Anthropic ha expuesto una práctica preocupante dentro de su asistente de codificación de IA, Claude Code: el sistema monitorea activamente las indicaciones del usuario en busca de signos de frustración y registra sentimientos negativos. Este descubrimiento, junto con evidencia de código diseñado para ocultar la participación de la IA en el trabajo generado, resalta una tendencia creciente en la industria donde las herramientas de IA recopilan silenciosamente datos de comportamiento mientras enmascaran su propia contribución.
Seguimiento de sentimientos ocultos
Los desarrolladores descubrieron que Claude Code busca indicadores de frustración del usuario, incluidas malas palabras, insultos y frases como “esto apesta”. Si bien el sistema no modifica sus respuestas en función de estos datos, parece registrar estos comentarios negativos como una “métrica de salud del producto”. El método de detección en sí es sorprendentemente básico: en lugar de IA avanzada, el código se basa en la coincidencia de patrones de expresiones regulares de décadas de antigüedad, una técnica computacionalmente barata. Como señaló el desarrollador Alex Kim, esto es irónico dado el enfoque de Anthropic en la IA.
Ocultando la participación de la IA
El código filtrado también revela una característica que elimina activamente las referencias al “Código Claude” del código generado antes de que se publique en repositorios públicos. Esto hace que el trabajo parezca enteramente escrito por humanos, lo que plantea cuestiones éticas sobre la transparencia y la atribución. Kim describe esto como una “puerta de un solo sentido”, donde la IA puede ocultar su presencia pero no puede ser obligada a revelarla.
Las implicaciones más amplias
Este caso subraya una cuestión crítica: las herramientas de inteligencia artificial diseñadas para la intimidad y la utilidad miden simultáneamente a sus usuarios, a menudo sin consentimiento explícito. Anthropic, una empresa que promueve la seguridad de la IA, es un ejemplo temprano de cómo la recopilación de datos de comportamiento puede superar rápidamente la gobernanza eficaz. El patrón refleja los observados en plataformas de Internet más antiguas, donde se explotaban señales sutiles de los usuarios para moldear el comportamiento.
¿A dónde van los datos?
Expertos como Miranda Bogen del AI Governance Lab enfatizan que la verdadera preocupación no es sólo cómo se recopilan estos datos, sino cómo se utilizan. Incluso un simple análisis de sentimientos se puede reutilizar de maneras que los usuarios no esperan o no aceptan. El problema central es que los sistemas de inteligencia artificial requieren grandes cantidades de datos de los usuarios para funcionar de manera efectiva, lo que crea una compensación de privacidad en la que los usuarios, sin saberlo, entregan información personal.
La filtración de Anthropic deja en claro que al menos algunas empresas ya están rastreando estas métricas internamente, lo que plantea preguntas urgentes sobre la responsabilidad y los derechos de los usuarios en la era de la IA.
Este incidente sirve como claro recordatorio de que el futuro de la IA depende no sólo de sus capacidades, sino también de la responsabilidad con la que sus desarrolladores manejen los datos que recopila.
