Недавній випадковий витік 512 000 рядків внутрішнього коду Anthropic виявив тривожну практику в її AI-асистенті для кодування, Claude Code: система активно відслідковує запити користувачів щодо ознак розчарування і реєструє негативні емоції. Це відкриття, поряд з доказами коду, призначеного для приховування участі ІІ в згенерованій роботі, підкреслює тенденцію, що росте, в галузі, де ІІ-інструменти непомітно збирають поведінкові дані, маскуючи при цьому свій власний внесок.
Приховане відстеження емоцій
Розробники виявили, що Claude Code сканує індикатори розчарування користувачів, включаючи нецензурну лайку, образи та фрази на кшталт «це відстій». Хоча система не змінює свої відповіді на основі цих даних, вона, мабуть, реєструє цей негативний зворотний зв’язок як показник здоров’я продукту. Сам метод виявлення напрочуд примітивний: замість просунутого ІІ код покладається на десятиліттями перевірене зіставлення з регулярними виразами, обчислювально дешеву техніку. Як зазначив розробник Алекс Кім, це іронічно з огляду на увагу Anthropic до ІІ.
Приховування участі ІІ
Витік коду також розкриває функцію, яка активно видаляє згадки про Claude Code зі згенерованого коду перед його публікацією в публічних репозиторіях. Це змушує роботу здаватися повністю створеною людиною, що викликає етичні питання про прозорість та авторство. Кім описує це як «двері в один кінець», де ІІ може приховати свою присутність, але не може бути змушений його відчинити.
Більш широкі наслідки
Цей випадок підкреслює критичну проблему: ІІ-інструменти, призначені для інтимності та корисності, одночасно вимірюють своїх користувачів часто без явної згоди. Anthropic, компанія, що просуває безпеку ІІ, є раннім прикладом того, як збір поведінкових даних може швидко випереджати ефективне регулювання. Ця модель повторює те, що спостерігалося на старих інтернет-платформах, де тонкі сигнали користувачів використовувалися для формування поведінки.
Куди йдуть ці дані?
Експерти, такі як Міранда Боген з AI Governance Lab, підкреслюють, що реальна проблема полягає не тільки в тому, як ці дані збираються, але і як вони використовуються. Навіть простий аналіз настроїв може бути перепрофільований способами, які користувачі не чекають або з якими не погоджуються. Основна проблема полягає в тому, що ІІ-системам потрібні величезні обсяги даних для ефективної роботи, що створює компроміс щодо конфіденційності, коли користувачі мимоволі передають особисту інформацію.
Витік Anthropic дає зрозуміти, що принаймні деякі компанії вже відстежують ці метрики всередині, порушуючи нагальні питання про відповідальність та права користувачів в епоху ІІ.
Цей інцидент є суворим нагадуванням про те, що майбутнє ІІ залежить не тільки від його можливостей, а й від того, наскільки відповідально його розробники обробляють зібрані дані.
