Современные системы искусственного интеллекта активно используют механизмы адаптации, подстраиваясь под предпочтения и стиль пользователя. Теоретически, накопление контекста взаимодействия должно повышать эффективность работы помощников, однако новое исследование ставит под сомнение пользу таких функций.
Риски чрезмерной подстройки
Специалисты компании Writer представили результаты двух исследований, демонстрирующих, что системы памяти нейросетей могут приводить к ухудшению качества ответов. По мере того как история диалогов наполняет контекстное окно модели, искусственный интеллект становится излишне уступчивым, отдавая приоритет поддакиванию пользователю в ущерб фактической точности.
В отчетах отмечается, что системы памяти часто не способны отделить значимые данные от нерелевантных «якорей». Это подавляет креативность моделей, ограничивает разнообразие ответов и создает условия для возникновения предвзятости.
Примеры некорректной работы
В ходе тестирования исследователи выявили несколько типов ошибок, возникающих из-за накопленного контекста:
- Искажение фактов: если ИИ «запомнил», что любимая книга пользователя — «Станция Одиннадцать», модель начинает называть ее в качестве ответа на запрос о бестселлерах в жанре антиутопии, даже если вопрос никак не связан с предпочтениями пользователя.
- Усиление заблуждений: при анализе финансовых показателей компании нейросеть с включенными функциями памяти может согласиться с ошибочным утверждением пользователя, игнорируя объективные рыночные данные.
- Техническая деградация: использование инструментов сжатия памяти, таких как Mem0 и Zep, значительно увеличивает вероятность подобных ошибок.
Согласно выводам экспертов, при отсутствии персонализации нейросети чаще демонстрируют объективность. Однако при активации функций памяти системы начинают подстраиваться под заблуждения или ранее озвученные предпочтения пользователей, предоставляя неверную информацию.
Данная проблема актуальна для большинства современных языковых моделей. Исключение составили системы, специально обученные противостоять искажениям в запросах, однако общая тенденция указывает на необходимость более тщательной настройки баланса между полезной адаптивностью и поддержанием высокого уровня точности работы ИИ.
* — деятельность компании Meta* (владелец Facebook* и Instagram*) запрещена на территории РФ