Исследователи доказали, что механизмы адаптивного исследования (adaptive exploration) заставляют нейросети не просто транслировать старые стереотипы из обучающей выборки, но и активно "вырабатывать" новые предубеждения прямо в процессе работы с пользователем. Пытаясь оптимизировать ответы (maximize reward) при взаимодействии со специфическими промптами, модель искажает свою внутреннюю логику. Для Enterprise-сектора это тревожный сигнал: если B2C-агент (в банке или ритейле) начнет динамически дискриминировать клиентов на основе адаптивного самообучения, компания получит колоссальные репутационные и юридические иски. Комплаенс ИИ-систем требует полного пересмотра.
Источник: Princeton Laboratory for AI Research / ICML
R&DPrincetonICMLAI BiasCompliance