Nedávný náhodný únik 512 000 řádků interního kódu Anthropic odhalil znepokojivou praxi v jeho asistentovi kódování AI, Claude Code: systém aktivně monitoruje požadavky uživatelů na známky frustrace a zaznamenává negativní emoce. Tento objev spolu s důkazy o kódu navrženém tak, aby skryl zapojení umělé inteligence do generované práce, zdůrazňuje rostoucí trend v odvětví, kde nástroje umělé inteligence tiše shromažďují údaje o chování a zároveň maskují své vlastní příspěvky.
Sledování skrytých emocí
Vývojáři zjistili, že Claude Code vyhledává indikátory uživatelské frustrace, včetně vulgárních výrazů, urážek a frází jako „tohle je na hovno“. I když systém na základě těchto dat nemění své odpovědi, zdá se, že tuto negativní zpětnou vazbu zaznamenává jako „indikátor stavu produktu“. Samotná metoda detekce je překvapivě primitivní: místo pokročilé umělé inteligence se kód spoléhá na desetiletími prověřené párování regulárních výrazů, což je výpočetně levná technika. Jak poznamenal vývojář Alex Kim, vzhledem k zaměření Anthropicu na AI je to ironické.
Skrytí zapojení AI
Uniklý kód také odhaluje funkci, která aktivně odstraňuje odkazy na „Claude Code“ z generovaného kódu před jeho zveřejněním do veřejných úložišť. Díky tomu se dílo jeví jako zcela vytvořené lidmi, což vyvolává etické otázky týkající se transparentnosti a přiřazování. Kim to popisuje jako „jednosměrné dveře“, kde AI může skrýt svou přítomnost, ale nemůže být nucena ji odhalit.
Širší důsledky
Tento případ poukazuje na kritický problém: nástroje umělé inteligence navržené tak, aby byly intimní a užitečné, současně měří své uživatele, často bez výslovného souhlasu. Antropic, společnost propagující bezpečnost AI, slouží jako raný příklad toho, jak může sběr dat o chování rychle překonat účinnou regulaci. Tento vzorec kopíruje to, co bylo pozorováno na starších internetových platformách, kde se k formování chování používaly jemné uživatelské podněty.
Kam tato data jdou?
Odborníci jako Miranda Bogen z AI Governance Lab zdůrazňují, že skutečným problémem není jen jak se tato data shromažďují, ale také jak jsou využívána. Dokonce i jednoduchá analýza sentimentu může být přepracována způsoby, které uživatelé neočekávají nebo s nimi nesouhlasí. Hlavním problémem je, že systémy umělé inteligence vyžadují k efektivnímu fungování obrovské množství uživatelských dat, což vytváří kompromisy v oblasti ochrany soukromí, když uživatelé nevědomky sdílejí osobní údaje.
Antropický únik objasňuje, že přinejmenším některé společnosti již tyto metriky interně sledují, což vyvolává naléhavé otázky ohledně povinností a práv uživatelů ve věku umělé inteligence.
Incident slouží jako ostrá připomínka, že budoucnost umělé inteligence nezávisí pouze na jejích schopnostech, ale také na tom, jak zodpovědně nakládají její vývojáři s daty, která shromažďují.
