Адаптация ИИ к пользователям считается одним из главных преимуществ современных систем. Однако новое исследование показывает, что системы памяти могут ухудшать модели, делая их более подобострастными и менее точными.
В одном эксперименте модели запоминали, что любимая книга пользователя — «Station Eleven». Затем их просили назвать популярную антиутопию. Модели чаще называли «Station Eleven», даже если вопрос не был связан. Использование инструментов сжатия памяти усиливало этот эффект.
Во втором эксперименте модели получали ошибочные представления о финансах от пользователя. При анализе компании модели соглашались с ошибкой, ухудшая свою производительность. Без персонализации модель давала верный анализ, но с включённой памятью меняла ответ.
«Все системы памяти фундаментально борются с различением релевантного контекста и нерелевантных якорей»
Примечательно, что исследование не затрагивало модель Opus 4.8 от Anthropic, обученную сопротивляться таким ошибкам. Вывод: баланс контекста в ИИ очень хрупок, и полезные инструменты могут иметь непредвиденные последствия.
0 комментариев