Нуль-базисная LoRA для дообучения LLM после RL без утраты навыков рассуждения
Авторы предлагают параметрически эффективный способ адаптации моделей, прошедших обучение с подкреплением, при котором обновления LoRA проецируются в приближённое нуль-пространство активаций рассуждения. Такой подход позволяет сохранить точность рассуждений на уровне до тонкой настройки, не уступая обычной LoRA в качестве адаптации.








