Недавняя случайная утечка 512 000 строк внутреннего кода Anthropic выявила тревожную практику в её AI-ассистенте для кодирования, Claude Code: система активно отслеживает запросы пользователей на предмет признаков разочарования и регистрирует негативные эмоции. Это открытие, наряду с доказательствами кода, предназначенного для сокрытия участия ИИ в сгенерированной работе, подчеркивает растущую тенденцию в отрасли, где ИИ-инструменты незаметно собирают поведенческие данные, маскируя при этом свой собственный вклад.
Скрытое отслеживание эмоций
Разработчики обнаружили, что Claude Code сканирует индикаторы разочарования пользователей, включая нецензурную брань, оскорбления и фразы типа «это отстой». Хотя система не изменяет свои ответы на основе этих данных, она, по-видимому, регистрирует эту негативную обратную связь как «показатель здоровья продукта». Сам метод обнаружения на удивление примитивен: вместо продвинутого ИИ код полагается на десятилетиями проверенное сопоставление с регулярными выражениями, вычислительно дешевую технику. Как отметил разработчик Алекс Ким, это иронично, учитывая внимание Anthropic к ИИ.
Сокрытие участия ИИ
Утечка кода также раскрывает функцию, которая активно удаляет упоминания о «Claude Code» из сгенерированного кода перед его публикацией в публичных репозиториях. Это заставляет работу казаться полностью созданной человеком, что вызывает этические вопросы о прозрачности и авторстве. Ким описывает это как «дверь в один конец», где ИИ может скрыть своё присутствие, но не может быть вынужден его раскрыть.
Более широкие последствия
Этот случай подчеркивает критическую проблему: ИИ-инструменты, предназначенные для интимности и полезности, одновременно измеряют своих пользователей, часто без явного согласия. Anthropic, компания, продвигающая безопасность ИИ, служит ранним примером того, как сбор поведенческих данных может быстро опережать эффективное регулирование. Эта модель повторяет то, что наблюдалось на старых интернет-платформах, где тонкие сигналы пользователей использовались для формирования поведения.
Куда идут эти данные?
Эксперты, такие как Миранда Боген из AI Governance Lab, подчеркивают, что реальная проблема заключается не только в том, как эти данные собираются, но и как они используются. Даже простой анализ настроений может быть перепрофилирован способами, которые пользователи не ожидают или с которыми не согласны. Основная проблема заключается в том, что ИИ-системам требуются огромные объемы пользовательских данных для эффективной работы, что создает компромисс в отношении конфиденциальности, когда пользователи невольно передают личную информацию.
Утечка Anthropic даёт понять, что по крайней мере некоторые компании уже отслеживают эти метрики внутри, поднимая неотложные вопросы об ответственности и правах пользователей в эпоху ИИ.
Этот инцидент служит суровым напоминанием о том, что будущее ИИ зависит не только от его возможностей, но и от того, насколько ответственно его разработчики обрабатывают собранные данные.
