Эксперт предложил решение для сокращения галлюцинаций нейросетей при генерации текста

При запросе пользователя отредактировать текст нейросеть может галлюцинировать, так как не проверяет на правильность общий смысл каждой фразы, рассказал газете ВЗГЛЯД директор по прикладным исследованиям и разработкам Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Денис Деркач. Он посоветовал снижать «температуру генерации», чтобы уменьшить галлюцинации сети.

Пользователи Сети пожаловались на то, что в задачах переписывания и редактуры текста нейросети «галлюцинируют» и выдумывают отсутствующие в исходном тексте факты.

«В принципе, для сети разницы в задачах и причинах галлюцинаций при исправлении текста или генерации нового текста нет. Галлюцинация – отход сети от того, что нам кажется логичным продолжением мысли, в другие вероятные текстовые генерации. В этом смысле сеть не проверяет, что общий смысл фразы является правильным», – говорит Деркач.

По его словам, формально, если это важно задающему, специалисты могут сделать дополнительную сеть, которая будет проверять смысл фраз и снижать галлюцинации в финальном результате. Однако такая задача будет достаточно трудоемка для специалистов. Поэтому в качестве альтернативного решения данной проблемы можно привлечь дополнительные гиперпараметры, такие как, например, температура генерации. Это даст менее разнообразный текст, зато уменьшит галлюцинации нейросети.

«Температура генерации – это вероятность того, что генерация перескочит из одного минимума в другой. Нейросети действуют на основании примеров. Соответственно, если пользователь пишет текст, который с большой вероятностью может быть продолжен в разные смыслы, то он должен быть готов к тому, что будут галлюцинации», – объясняет эксперт.

Собеседник поясняет, что каждое следующее слово или выражение имеет какую-то вероятность, исходя из предыдущего текста. Если пользователь хочет более насыщенный текст, он может рассматривать менее вероятные исходы. Например, во фразе «я иду» вероятное продолжение «в магазин» или «на работу», а менее вероятное – «лететь в космос». Однако в некоторых случаях такие выражения тоже могут пригодиться.

«Вообще, мы «повышаем температуру генерации» и даем возможность нейросети генерировать что-то более разнообразное. При этом, галлюцинации тоже могут быть включены. Поэтому, каждый для себя сам должен решить, как ему лучше вести в той или иной ситуации», – заключил Деркач.

Ранее зампредседателя комитета Госдумы по информационной политике, информационным технологиям и связи Олег Матвейчев в беседе с газетой ВЗГЛЯД рассказал, что депутаты обсуждают возможность введения обязательной маркировке использующих нейросети устройств. Он не исключил, что данный законопроект будет сформирован уже этой осенью.