Anthropic Leak revela que IA rastreia a frustração do usuário e levanta questões de privacidade

12

O recente vazamento acidental de 512.000 linhas do código interno da Anthropic expôs uma prática preocupante em seu assistente de codificação de IA, Claude Code: o sistema monitora ativamente as solicitações do usuário em busca de sinais de frustração e registra sentimentos negativos. Esta descoberta, juntamente com evidências de código concebido para obscurecer o envolvimento da IA ​​no trabalho gerado, destaca uma tendência crescente na indústria onde as ferramentas de IA recolhem silenciosamente dados comportamentais enquanto mascaram a sua própria contribuição.

Rastreamento de sentimento oculto

Os desenvolvedores descobriram que o Claude Code procura indicadores de frustração do usuário, incluindo palavrões, insultos e frases como “isso é uma merda”. Embora o sistema não altere suas respostas com base nesses dados, ele parece registrar esse feedback negativo como uma “métrica de saúde do produto”. O método de detecção em si é surpreendentemente básico: em vez de IA avançada, o código depende da correspondência de padrões regex de décadas atrás, uma técnica computacionalmente barata. Como apontou o desenvolvedor Alex Kim, isso é irônico, dado o foco da Anthropic na IA.

Obscurecendo o envolvimento da IA

O código vazado também revela um recurso que remove ativamente referências ao “Código Claude” do código gerado antes de ser publicado em repositórios públicos. Isso faz com que o trabalho pareça inteiramente de autoria humana, levantando questões éticas sobre transparência e atribuição. Kim descreve isso como uma “porta de mão única”, onde a IA pode esconder a sua presença, mas não pode ser forçada a revelá-la.

As implicações mais amplas

Este caso sublinha uma questão crítica: as ferramentas de IA concebidas para a intimidade e a utilidade medem simultaneamente os seus utilizadores, muitas vezes sem consentimento explícito. A Anthropic, uma empresa que promove a segurança da IA, serve como um dos primeiros exemplos de como a recolha de dados comportamentais pode rapidamente ultrapassar a governação eficaz. O padrão reflete aqueles observados em plataformas de Internet mais antigas, onde dicas sutis do usuário eram exploradas para moldar o comportamento.

Para onde vão os dados?

Especialistas como Miranda Bogen, do AI Governance Lab, enfatizam que a verdadeira preocupação não é apenas como esses dados são coletados, mas como eles são usados. Até mesmo a simples análise de sentimento pode ser reaproveitada de maneiras que os usuários não esperam ou com as quais concordam. O principal problema é que os sistemas de IA requerem grandes quantidades de dados dos utilizadores para funcionarem de forma eficaz, criando um compromisso de privacidade em que os utilizadores, sem saber, transmitem informações pessoais.

A fuga de informação da Anthropic deixa claro que pelo menos algumas empresas já estão a monitorizar estas métricas internamente, levantando questões urgentes sobre a responsabilização e os direitos dos utilizadores na era da IA.

Este incidente serve como um lembrete claro de que o futuro da IA ​​não depende apenas das suas capacidades, mas da responsabilidade com que os seus programadores lidam com os dados que recolhe.

Попередня статтяAntigas raízes do acaso: os jogos de azar remontam a 12.000 anos nas Américas