Люди понятны, LLM — нет: эксперты не смогли объяснить логику моделей
Когда мы смотрим на результаты тестов, кажется естественным предполагать, что искусственный интеллект решает задачи «как человек»: использует те же понятия, правила и рассуждения. Однако новое исследование ставит это допущение под сомнение. Учёные выяснили, что скрытые структуры, которые определяют ответы LLM, в большинстве случаев не поддаются человеческой интерпретации — даже у профильных экспертов.
Что именно проверяли
Авторы работы (arXiv:2608.17810) — Алона Стругацки, Ликоль Зейнфельд, Джейсон Купер и их коллеги — взяли ответы людей и шести разных LLM на задания по количественным рассуждениям и химии. С помощью эксплораторного факторного анализа они выделили для каждой группы скрытые латентные факторы, которые предположительно стоят за успешностью выполнения этих заданий.
Затем предметные эксперты вслепую изучали полученные структуры и пытались приписать факторам педагогический смысл: например, «умение работать с формулами» или «понимание стехиометрии». Слепой формат исключал подсказки — специалисты не знали, относятся ли графы к людям или к моделям.
Результат: разрыв в интерпретируемости
Эксперты почти без проблем разобрались в факторах, полученных на основе человеческих ответов. Большинство конструктов получило осмысленное объяснение, которое легко было перевести в рекомендации для обучения или диагностики.
С LLM картина оказалась иной:
- В количественных рассуждениях эксперты не смогли осмысленно интерпретировать ни один из факторов, выявленных для моделей.
- В химии ситуация была чуть лучше, но всё равно далекой от идеала: удалось объяснить лишь около половины структур.
Что это значит
Авторы делают важный вывод: когда LLM показывают высокие результаты на тестах, это не означает, что они рассуждают привычным нам образом. Модели могут находить статистически эффективные, но совершенно «чужие» для человека способы решения задач. Их внутренние механизмы работают на уровне паттернов, которые не несут понятного педагогического или когнитивного смысла.
Это наблюдение бросает вызов распространённой практике, когда по результатам ИИ пытаются делать выводы об уровне знаний или компетенций. Если мы не можем объяснить, какие именно конструкции стоят за ответами, мы рискуем приписывать моделям несуществующие способности — или наоборот, пропускать реальные ограничения.
Куда двигаться дальше
Исследование не утверждает, что интерпретировать LLM невозможно в принципе. Оно лишь показывает, что классический подход, созданный для изучения человеческого познания, не переносится на модели напрямую. Возможно, потребуется разрабатывать принципиально новые методы анализа — такие, которые учитывают «нечеловеческую» природу латентных структур.
Пока же остаётся открытым вопрос: если эксперты не могут объяснить логику моделей, можем ли мы полагаться на их использование в образовании и оценке знаний? Ответ, вероятно, потребует пересмотра как подходов к проверке ИИ, так и наших ожиданий от «интеллекта» машин.
