Учёные ЮФУ заявили, что ИИ не победит в «Что? Где? Когда?» среднего россиянина

В Южном федеральном университете придумали новый способ тестировать ИИ на способность работать в реальных ситуациях использования русского языка.

Ответственный исполнитель проекта «Фронтирная лаборатория рентгеноспектральной нанометрологии» Центра наукоемкого приборостроения ЮФУ Богдан Проценко и его коллеги на практике делают ставку не на языковые-модели гиганты, а на модели ИИ поменьше, обученные на заведомо более качественных данных, как в случае линейки моделей LLaMa3.

Создатели ИИ часто исходят из позиции, что логическое мышление и способность рассуждать («ризонинг») нейросетей не страдает от того, на каком языке ИИ «подумает», главное, чтобы он умел грамотно формулировать ответ на языке пользователя. Доказать обратное нетрудно: можем спросить у большой языковой модели, например, на языке хинди, какие предметы и темы проходят десятиклассники по школьной программе. И он вам ответит на грамотном литературном хинди, но только расскажет так, как проходят в десятом классе в американских школах, а не в индийских.

«Русского, например, в данных для предтренировки всех зарубежных моделей ощутимо меньше английского, потому модель пишет и мыслит «умнее» и грамотнее, если её спросить на английском и попросить на нём же ответить. Бенчмарки, «линейки», которыми измеряют качество моделей и их работы на разных языках – как правило, просто перевод с одного из языков, обычно английского, на другие. Такой расклад не отражает качества работы модели в реальной языковой ситуации, — объяснил Богдан Проценко. — Мышление и языки близки. Как победы ИИ над человеком в шахматы и го были яркими ключевыми моментами развития ИИ в конце прошлого века, так «Что? Где? Когда?» и «Своя игра» — вызовы сегодняшнего дня. Способность успешно отвечать на вопросы, написанные умными телезрителями для ещё более умных знатоков, появляется только в самых больших и умных LLM, причем моделям с большим количеством русского языка в предтренировочной выборке обычно проще».

Необычный способ тестировать ИИ интеллектуальными играми прокомментировал научный журналист, популяризатор науки и лектор Алексей Паевский — участник «Своей игры» и автор вопросов для «Что? Где? Когда?».

«Решать вопросы «Своей игры» искусственному интеллекту определённо будет легче, поскольку они обычно направлены на эрудицию и личные знания игрока, а вот вопросы «Что? Где? Когда?» скорее на способность команды знатоков мыслить и догадываться. Для ответа на средний вопрос «ЧГК» русскому человеку обычно не нужны никакие специальные знания свыше школьной программы и общей культуры, другое дело, что зачастую вопросы «завёрнуты» так, что лишь единицы поймут о чём речь. Если сообщество авторов вопросов «ЧГК» узнает, что ИИ научился на их вопросы отвечать с лёгкостью, это их замотивирует закручивать новые вопросы так, что у ИИ не будет шансов, а для знатоков при этом сложность останется прежней», — поделился Алексей Паевский.

Это может означать что этап инструктирования LLM, (instruction tuning), когда модели учат быть «покорными» и отвечать по существу, можно делать с учетом этой специфики, тем самым делая модели ещё умнее в сценариях саморефлексии и самокритики.

«В терминологии «ЧГК» есть термин «щелчок». Ответ, который «щёлкает», не только подходит под условия вопроса и под все подсказки в вопросе, но и красиво ложится на общекультурный контекст. Это не элемент озарения, это способ проверить свой ответ, со всеми ли зацепками вопроса он бьётся, выдерживает ли он внутреннюю критику. Прекрасно, если можно настроить алгоритм ИИ по схожему принципу, при этом, конечно, не нужно обманываться, будто бы ИИ обладает умом, он обладает способностью подбирать решение к задачам, аналогичным той, на которой он тренировался», — прокомментировал Алексей Паевский.

ИИ глобально уступает человеку не в умении отвечать на вопросы, у которых уже есть заведомо правильный ответ, а в способности к творчеству и созидательной деятельности, к таким результатам мышления, как озарение и открытие. Но пока большие языковые модели не обучатся на русских базах данных, они будут проигрывать нам даже в викторинах.