CARAT: проверяют, выводят ли материаловедческие LLM структуру или пересказывают подсказку

Почему точность не доказывает рассуждение

Языковая модель для материаловедения может дать верный ответ по двум разным причинам. Она либо выводит его из структурных данных, либо воспроизводит значение, уже присутствующее во входе. Обычная метрика точности эти случаи не различает. Структурное описание может содержать поле, по которому оценивают ответ, и тогда балл отражает чтение подсказки.

Бенчмарк CARAT построен вокруг этого различения. Он проверяет, рассуждают ли материаловедческие LLM на основе структурных данных или пересказывают подсказку. Авторы статьи — Jiajun Wu, Jian Yang, Zixiang Ni, Zhenzhu Li и Bin Chong; работа подана 29 сентября 2026 года.

Практический критерий: высокая точность на структурных данных сама по себе ничего не доказывает. Смотреть нужно на условия, в которых ответ получен.

Как устроено сопоставленное сравнение

Вопрос и эталонный ответ сохраняются неизменными для восьми сопоставленных представлений. Структурные отношения обозначаются отдельно, в GraphSpace.

К этому добавляются сопоставленное дообучение, маскирование ответов, добавление свидетельств, парный инференс и правило, позволяющее воздержаться от утверждения.

Фиксированный вопрос убирает объяснение через формулировку задания. Маскирование ответов мешает модели подставить готовое значение.

Вывод: сравнивать представления имеет смысл только при неизменных вопросе и эталоне. Иначе разница покажет качество текста задания, а не работу со структурой.

Чему равен разрыв между GraphSpace и простым графом

GraphSpace превосходит простой периодический граф на 19.3 points. Этот разрыв складывается из двух разных эффектов.

Когда базового представления достаточно для ответа, преимущество почти исчезает. Когда нужных полей в нём нет, разрыв становится большим. Авторы отмечают: основной результат сравнения отражает нехватку данных в базовом представлении, а не способ представления свидетельств.

Практический критерий: перед выводом о превосходстве одного представления проверяйте, какие поля в нём есть. Иначе измеряется полнота данных, а не метод.

Обходные стратегии и переработка бенчмарка

Проверка вскрыла слабое место набора задач. Правило, которое пропускает ссылку и читает список напрямую, отвечает на четыре из семи усложнённых семейств задач. Модель может не разбираться в отношении, а просто обходить его.

Бенчмарк переработали. Одиннадцать таких обходных стратегий стали давать результаты, близкие к случайным.

Вывод: набор задач годится для оценки рассуждения только после проверки на обходные пути. Если простое правило решает часть семейств, замеряет оно не рассуждение.

Ссылка в ответе и опора на отношение

Замороженная модель цитирует ссылку, но при её перенаправлении даёт тот же ответ в 95.6% парных случаев. Модель повторяет отношение, не используя его.

После сопоставленного обучения показатель достигает 99.8%. Удаление ссылки снижает его до 23.4%, что ниже 27.0%, которые даёт лучшая обходная стратегия. Авторы заключают, что оба шага обучения — использованию отношения и опоре на ссылку — поддаются освоению.

Критерий: цитирование ссылки не равно её использованию. Проверять нужно поведение модели при перенаправлении и при удалении ссылки.

Что из этого следует для оценки инструментов

• Проверяйте, не содержит ли вход готовый ответ на поставленный вопрос.
• Смотрите на результаты при перенаправлении и удалении ссылки, а не только на цитирование.
• Требуйте описания контроля: неизменные вопрос, эталон и несколько представлений.
• Уточняйте, обновлён ли набор задач после проверки на обходные стратегии.
• Оценивайте заявленный разрыв вместе с составом данных, а не отдельной цифрой.

Критерий выбора: результат заслуживает доверия, если его нельзя объяснить наличием нужного поля в подсказке или действием простого обходного правила.