Графы знаний — это удобный способ хранить факты и связи между ними: люди, компании, события, научные публикации и тысячи типов отношений. Но главная ценность такого графа не в базе данных, а в возможности рассуждать: находить скрытые факты, опираясь на уже известные связи. Последние годы эту задачу всё чаще пытаются решать с помощью больших языковых моделей — они хорошо работают с текстом и умеют дообучаться «на лету». Однако у такого подхода есть тонкое, но важное ограничение: модель может запомнить правдоподобный ответ, а не вывести его из структуры графа.
В свежем препринте на arXiv (2608.17443) группа исследователей — Xingrui Zhuo, Jiapu Wang, Manzong Huang, Gongqing Wu и Xindong Wu — описывает модель SIRLM, которая пытается справиться с этой проблемой за счёт генерации структурных правил. Но прежде чем разбирать решение, стоит понять, что именно ломается.
Что такое «дрейф восприятия свидетельств рассуждения»
Когда языковая модель работает с графом знаний, она обычно получает его не как граф, а как последовательность текстовых троек: субъект, отношение, объект. Сама по себе такая подача удобна для LLM, ведь модель обучена на тексте. Но граф — это не просто список фактов, это ещё и ограничения: транзитивность, симметричность, иерархия типов, запрет на противоречия. При переходе от структуры к тексту эти ограничения частично теряются.
Авторы называют проблему «смещением восприятия свидетельств рассуждения» (reasoning evidence perception drift). Суть в том, что параметрические знания модели — всё, что она «выучила» во время обучения на миллиардах текстов — начинают доминировать над структурными подсказками из графа. Модель может легко ответить на вопрос, потому что она уже видела похожую тему в обучающих данных, а не потому, что вывод действительно следует из связей в графе. Это опасная ситуация: ответ выглядит уверенным, но не является достоверным с точки зрения логики графа.
Как SIRLM восстанавливает связь со структурой
Идея SIRLM — не просто подсказывать модели правила, а встроить структурные знания в саму модель рассуждения. Для этого используется генерация структурных правил: модель учится строить правила вида «если есть связь A и связь B, то, скорее всего, есть связь C», а затем проверяет эти правила на графе. Такой подход связывает параметрическое обучение с формальной проверкой результата: модель не может просто «вспомнить» ответ, ей приходится согласовывать свой вывод с реальными путями в графе.
Генератор правил SIRG
Ключевой компонент модели — генератор структурных правил SIRG. Он устроен как блок in-context обучения, дополненный памятью структурных отношений. Если обычный in-context learning позволяет модели использовать примеры из контекста, то память структурных отношений добавляет к этому знания о том, какие типы связей вообще характерны для данного графа. За счёт этого модель лучше координирует параметрические знания и текущую структуру.
Отдельно у SIRG есть два важных механизма:
- Токенизатор графа на основе обучения структурной инвариантности — он учится представлять узлы и связи так, чтобы одинаковые структурные позиции давали похожие представления, даже если сами объекты разные.
- Нейросимволический рассуждатель на основе распространения сообщений, ограниченного правилами — он распространяет сигналы по графу, но только по тем путям, которые разрешены сгенерированными правилами. Это даёт обратную связь от реального исполнения правил: если правило привело к подтверждению факта, модель получает позитивный сигнал.
Такая связка позволяет получать обучаемые структурные представления и при этом проверять их достоверность через исполнение правил.
Интеграция в стандартные циклы обучения
Одна из сильных сторон SIRLM — инженерная практичность. Модель не требует какой-то экзотической архитектуры и может быть встроена в стандартные парадигмы обучения LLM, включая SFT (дообучение на размеченных примерах) и GRPO (групповую оптимизацию с подкреплением). Это значит, что разработчики могут брать уже существующую модель и добавлять к ней структурные правила как дополнительный слой обучения.
Такой подход важен не только с точки зрения качества, но и с точки зрения доверия к модели. Когда рассуждение модели можно объяснить через конкретные правила и связи в графе, у пользователя появляется возможность проверить ход мысли. Это сильно отличается от ситуации, когда модель просто выдаёт вероятный ответ без какого-либо обоснования.
Насколько это работает
Авторы заявляют, что провели обширные эксперименты: сравнили SIRLM с 17 современными методами KGR на 36 наборах данных. По их данным, модель значительно превосходит существующие подходы. Выглядит это обнадёживающе, особенно на фоне того, что многие LLM-методы улучшают качество лишь за счёт масштаба или сложных промптов, а не за счёт реального понимания структуры.
Конечно, как и в случае с любым препринтом, к результатам стоит относиться аккуратно: выбор наборов данных, метрик и базовых моделей может влиять на итоговую картину. Но сама постановка проблемы — «дрейф восприятия» — точная и своевременная. LLM уже научились ловко манипулировать текстом, но для ответственных задач, где решение должно следовать из доступных свидетельств, одной языковой интуиции недостаточно.
Вывод
Графы знаний требуют от моделей дисциплины: вывод должен опираться на структуру, а не на воспоминания. SIRLM — один из первых заметных шагов в сторону того, чтобы соединить гибкость языковых моделей с формальной строгостью правил. Это не просто очередной метод с лучшими цифрами, а попытка изменить сам способ взаимодействия LLM с графами. Если такие модели приживутся, рассуждения на графах станут не только точнее, но и заметно прозрачнее: у каждого ответа появится проверяемый след из правил и связей.
