В России разработали способ предотвращения "галлюцинаций" у нейросетей

/ 7 июня 2026 09:24

Команда из Университета Решетнева разработала методику, позволяющую избавлять нейросети от недостоверных или выдуманных фактов. Новая разработка может быть использована в образовании, государственных сервисах, медицине и юриспруденции.

В университете отметили, что одной из основных проблем нейросетей является их склонность к так называемым "галлюцинациям", когда система уверенно сообщает ложную информацию. Для борьбы с такими ошибками обычно применяются RAG-системы — сначала нейросеть ищет релевантные сведения в базе знаний, а затем формирует ответ. Однако даже такой подход не полностью исключает ошибки, которые могут возникать из-за опечаток, противоречивых запросов или недостаточно полной базы данных.

Чтобы повысить надежность работы нейросетей, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала наиболее распространённые сценарии появления "галлюцинаций" и разработала их классификатор. После этого был создан автоматизированный пайплайн стресс-тестирования: система формирует тестовые запросы, сравнивает полученные ответы с эталонными, а затем оценивает их точность с помощью специальных метрик и показателей семантического сходства.

Главным достижением проекта стал прототип модуля мониторинга, который работает в режиме реального времени. Он фиксирует все входящие запросы и контекст диалога, оценивает вероятность появления некорректного ответа и присваивает модели баллы уверенности. В случае обнаружения ошибки или низкой уверенности система сигнализирует об этом оператору.

В вузе подчеркнули, что главное преимущество методики — ее универсальность. Она не зависит от типа используемой нейросети и может быть внедрена в различные сферы, включая чат-боты для абитуриентов, государственные сервисы, медицинские и юридические консультации.

Общество