Некачественный контент приводит к деградации LLM. К такому выводу пришли ученые из Техасского университета и Университета Пердью.
Исследователи «скормили» четырем популярным ИИ-моделям выборку вирусных постов из X за один месяц и отметили следующие изменения:
снижение способности к рассуждению на 23%;
ухудшение долговременной памяти на 30%;
повышение уровней нарциссизма и психопатии по тестам личности.
Эффект усиливался пропорционально объему низкокачественных данных. Примечательно, что даже после переобучения на чистом и качественном контенте полностью устранить когнитивные искажения не удалось.
Как проводилось исследование?
В рамках эксперимента авторы выдвинули и проверили «гипотезу мозгового разложения ИИ-моделей». Она утверждает, что непрерывное воздействие «мусорной» информации приводит к устойчивой деградации больших языковых моделей.
Для идентификации низкосортного контента ученые создали две метрики:
M1 (степень вовлеченности) — посты, созданные для привлечения внимания (обычно короткие, вирусные, имеют большое количество лайков и репостов);
M2 (семантическое качество) — посты, помеченные как имеющие низкую информационную ценность или содержащие преувеличенные утверждения.
При сохранении единого количества токенов и тренировочных операций результаты показали, что по сравнению с контрольной группой непрерывное дообучение четырех LLM на низкокачественном наборе данных привело к ухудшению показателей в области рассуждений, понимания длинного текста и безопасности.
Постепенное смешивание «мусорного» набора с контрольным также вызвало снижение когнитивных способностей. Например, при M1 по мере роста доли некачественных данных с 0% до 100% результат на ARC-Challenge упал с 74,9 до 57,2, а на RULER-CWE — с 84,4 до 52,3.
У моделей также снизилась этическая последовательность. Ученые отметили, что подвергшиеся воздействию некачественных данных ИИ становились менее надежными и более самоуверенными в неправильных ответах.
LLM начали пропускать логические шаги в рассуждениях, выдавая поверхностные результаты вместо подробных объяснений.
Что делать?
Ученые призвали ИИ-разработчиков систематически мониторить когнитивное здоровье моделей и рекомендовали три ключевых шага:
внедрить регулярные оценки для развернутых систем с целью обнаружения ранних признаков снижения качества рассуждений;
ужесточить контроль качества данных на этапе предварительного обучения, используя более сильные фильтры;
изучить, как вирусный контент меняет паттерны обучения ИИ, чтобы проектировать устойчивые к нему модели.
Исследователи заявили, что меры необходимы для предотвращения значительного ущерба — сейчас модели продолжают обучаться на данных из интернета. Без соответствующего контроля ИИ рискует унаследовать искажения из генеративного контента, запустив цикл деградации.
Напомним, эксперты NewsGuard выявили склонность Sora 2 от OpenAI к созданию дипфейков.
https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii
