La recente fuga accidentale di 512.000 righe del codice interno di Anthropic ha messo in luce una pratica preoccupante all’interno del suo assistente di codifica AI, Claude Code: il sistema monitora attivamente i prompt degli utenti per rilevare segni di frustrazione e registra il sentiment negativo. Questa scoperta, insieme all’evidenza di un codice progettato per oscurare il coinvolgimento dell’IA nel lavoro generato, evidenzia una tendenza crescente nel settore in cui gli strumenti di intelligenza artificiale raccolgono silenziosamente dati comportamentali mascherando il proprio contributo.
Monitoraggio del sentiment nascosto
Gli sviluppatori hanno scoperto che Claude Code cerca indicatori di frustrazione degli utenti, tra cui volgarità, insulti e frasi come “questo fa schifo”. Sebbene il sistema non modifichi le sue risposte sulla base di questi dati, sembra registrare questo feedback negativo come una “metrica di salute del prodotto”. Il metodo di rilevamento in sé è sorprendentemente semplice: invece dell’intelligenza artificiale avanzata, il codice si basa sulla corrispondenza di modelli regex vecchia di decenni, una tecnica computazionalmente poco costosa. Come ha sottolineato lo sviluppatore Alex Kim, questo è ironico data l’attenzione di Anthropic sull’intelligenza artificiale.
Oscurare il coinvolgimento dell’IA
Il codice trapelato rivela anche una funzionalità che rimuove attivamente i riferimenti al “Codice Claude” dal codice generato prima che venga pubblicato nei repository pubblici. Ciò fa sembrare l’opera interamente creata da esseri umani, sollevando questioni etiche sulla trasparenza e l’attribuzione. Kim la descrive come una “porta a senso unico”, dove l’intelligenza artificiale può nascondere la sua presenza ma non può essere costretta a rivelarla.
Le implicazioni più ampie
Questo caso sottolinea una questione critica: gli strumenti di intelligenza artificiale progettati per l’intimità e l’utilità misurano contemporaneamente i propri utenti, spesso senza un consenso esplicito. Anthropic, un’azienda che promuove la sicurezza dell’intelligenza artificiale, costituisce un primo esempio di come la raccolta di dati comportamentali possa rapidamente superare una governance efficace. Il modello rispecchia quelli osservati sulle piattaforme Internet più vecchie, dove i sottili segnali degli utenti venivano sfruttati per modellare il comportamento.
Dove vanno i dati?
Esperti come Miranda Bogen dell’AI Governance Lab sottolineano che la vera preoccupazione non è solo come vengono raccolti questi dati, ma come vengono utilizzati. Anche la semplice analisi del sentiment può essere riproposta in modi che gli utenti non si aspettano o non accettano. Il problema principale è che i sistemi di intelligenza artificiale richiedono grandi quantità di dati degli utenti per funzionare in modo efficace, creando un compromesso sulla privacy in cui gli utenti trasmettono inconsapevolmente informazioni personali.
La fuga di notizie di Anthropic chiarisce che almeno alcune aziende stanno già monitorando questi parametri internamente, sollevando domande urgenti sulla responsabilità e sui diritti degli utenti nell’era dell’intelligenza artificiale.
Questo incidente serve a ricordare chiaramente che il futuro dell’intelligenza artificiale non dipende solo dalle sue capacità, ma anche dal modo responsabile in cui i suoi sviluppatori gestiscono i dati raccolti.
