المشكلة: نماذج اللغة تدخل في حلقات تكرار
تقوم نماذج اللغة الانحدارية الذاتية بتوليد النص رمزًا واحدًا في كل مرة، بالاعتماد على الكلمات المكتوبة بالفعل. تؤدي هذه العملية بشكل شبه حتمي إلى تكرارات تنكسية: يبدأ النموذج في إعادة إنتاج نفس العبارة أو سلسلة الجمل إلى ما لا نهاية. يحدث هذا غالبًا بشكل خاص مع النصوص القصيرة، أو الاستدلالات الرياضية، أو السلاسل المنطقية، حيث "يعلق" النموذج في حلقة محلية.
تعمل الطرق القياسية لمكافحة ذلك — عقوبة التكرار (frequency penalty) وعقوبة الإعادة (repetition penalty) — بشكل جزئي فقط. فهي تصحح توزيع الاحتمالات في مرحلة فك التشفير، لكنها لا تأخذ في الاعتبار بنية الأنماط المتكررة. ونتيجة لذلك، حتى في الأنظمة الحديثة، يصل معدل الانزلاق إلى تكرار حلقي في كثير من الأحيان إلى عدة بالمائة — وهو أمر يصعب ملاحظته في الإجابات القصيرة، لكنه بالغ الأهمية في الاستدلالات الطويلة.
لا يكفي معاقبة التكرار: نحتاج إلى نظرية المعلومات
تقلل عقوبة التكرار (frequency penalty) من احتمالية الرموز التي ظهرت بالفعل في النص، بينما تضيف عقوبة الإعادة (repetition penalty) وزنًا إضافيًا لتقليل وزن التسلسلات الصادرة بالفعل. لكن كلا النهجين يستخدمان استدلالات لا علاقة لها بكيفية فهم النموذج لبنية النص. فقد تثبطان التكرارات المفيدة (مثل تكرار استنتاج مهم) وفي الوقت نفسه تتغاضيان عن الأنماط الحلقية الطويلة المكونة من كلمات مختلفة.
تقدم نظرية ضغط البيانات منظورًا أكثر جوهرية. إذا كان تسلسل ما قابلًا للضغط بشكل جيد بواسطة خوارزمية مثل LZ77، فهذا يعني أنه يحتوي على القليل من المعلومات الجديدة — ومن وجهة نظر التنبؤ، فهو "متوقع" وخطير على التوليد. من المنطقي معاقبة النموذج على اختيار مثل هذه الأنماط، بدلاً من مجرد معاقبته على تكرار كلمات فردية.
ما هو LZ77 وكيف بُني العقاب على أساسه؟
LZ77 هي إحدى خوارزميات الضغط الكلاسيكية بدون فقدان البيانات. وهي تستبدل الأجزاء المتكررة بمراجع إلى مواضع سابقة: بدلاً من كتابة السلسلة كاملة، تخزن الخوارزمية الإزاحة والطول. ونتيجة لذلك، يحصل كل جزء من النص على "طول شيفرة" — وهو الحد الأدنى من البتات اللازمة لتمثيله. وكلما كان الجزء أكثر قابلية للتنبؤ، كان شيفره أقصر.
اقترح مؤلفو عقوبة LZ استخدام هذا الطول كمقياس للتكرار مباشرة أثناء فك التشفير. في كل خطوة، يحسب النموذج احتمالات جميع الاستمرارات الممكنة، ويتم تقييم كل منها بشكل إضافي من حيث مدى زيادة قابلية ضغط التسلسل المُولَّد بالكامل. تحصل الاستمرارات التي تؤدي إلى هياكل متكررة طويلة على عقوبة متزايدة.
من المثير للاهتمام أن هذا النهج ينبع بشكل طبيعي من ازدواجية التنبؤ والضغط: الضاغط الجيد هو في نفس الوقت متنبئ جيد، والعكس صحيح. يمكن تفسير فك التشفير مع عقوبة LZ على أنه أخذ عينات من توزيع متبقٍ أزيلت منه بالفعل المعلومات التي نجح الضاغط في التنبؤ بها. بعبارة أخرى، يُجبر النموذج على إنتاج ليس الاستمرارات "الأسهل" بالنسبة له، بل تلك التي تحتوي على معلومات جديدة حقًا.
التنفيذ العملي: تُضاف العقوبة قبل اختيار الرمز
على مستوى الكود، يمكن دمج عقوبة LZ بسهولة في عملية فك التشفير الجشع. بعد كل خطوة، يتم ضغط الفرضية الحالية للاستمرار باستخدام مُرمِّز مشابه لـ LZ77، ويُؤخذ الفرق في طول الشيفرة في الاعتبار في لوغاريتم الاحتمال. المهم أن العقوبة لا تتطلب تدريب النموذج أو إعادة تدريبه — فهي تعمل في مرحلة الاستدلال.
هذا يجعل الطريقة عالمية: يمكن تطبيقها على أي نموذج لغوي انحداري ذاتي، دون تغيير البنية أو لمس الأوزان.
النتائج: غياب التكرارات التنكسية عند درجة حرارة صفر
النتيجة الرئيسية التي يعلنها المؤلفون هي أن عقوبة LZ تسمح للنماذج مفتوحة المصدر الحديثة بالاستدلال مع فك التشفير الجشع (درجة حرارة صفر) دون فقدان القدرات. عادةً عند درجة حرارة صفر، يختار النموذج دائمًا الرمز الأكثر احتمالًا، مما يجعل التكرار الحلقي محتملًا بشكل خاص. لهذا السبب تُستخدم غالبًا في الممارسة العملية عينات عشوائية بدرجة حرارة أعلى من الصفر مع عقوبات — لكن هذا يُدخل عشوائية زائدة في التوليد وقد يقلل الجودة.
مع عقوبة LZ تختفي الحاجة إلى مثل هذه الحيل. يتوقف فك التشفير الجشع عن كونه مصدرًا للتكرارات التنكسية، ويبقى النموذج مركّزًا على حل المهمة. في الوقت نفسه، لا تتدهور قدرات النموذج في الاستدلال المنطقي والرياضيات والبرمجة — تعمل العقوبة فقط ضد التكرار، دون المساس بالجزء الدلالي من التوليد.
للمقارنة: في التجارب، أظهرت النماذج نفسها مع عقوبة التكرار (frequency penalty) وعقوبة الإعادة (repetition penalty) في بعض الحالات ما يصل إلى 4% من الانزلاقات إلى تكرارات حلقية. قد يبدو هذا رقمًا صغيرًا، لكن بالنسبة للإجابات الطويلة أو سلاسل الاستدلال، فإن كل انزلاق من هذا القبيل يبطل النتيجة تمامًا.
لماذا تعمل عقوبة LZ بشكل أفضل من الاستدلالات
الفرق الرئيسي عن عقوبة التكرار أو الإعادة هو القدرة على الاستجابة للبنية، وليس للرموز الفردية. الاستدلالات، كقاعدة عامة، تعاقب جميع التكرارات بالتساوي، بغض النظر عن طول النمط. عقوبة LZ حساسة لطول التسلسل المتكرر: كلما كان التكرار أطول وأدق، زادت العقوبة. أما التكرارات القصيرة التي لا تشكل نمطًا، فتُعاقب بشكل ضعيف أو لا تُعاقب إطلاقًا.
هذا مهم للغة الطبيعية. قد يكرر النموذج كلمة "وبالتالي" بشكل مبرر في أجزاء مختلفة من الاستدلال، ولا ينبغي حظر ذلك. لكن إذا بدأ النموذج في توليد نفس سلسلة الحجج مرارًا وتكرارًا، ستلاحظ عقوبة LZ انخفاض طول الشيفرة وتوقف العملية.
نتيجة لذلك، تزيل عقوبة LZ المعضلة بين جودة النص وسلامته: لم يعد من الضروري الاختيار بين "معقول لكنه حلقي" و"متنوع لكنه غير مترابط".
استنتاجات عملية
بالنسبة للمطورين والباحثين، عقوبة LZ أداة جاهزة لا تتطلب تعديل النموذج. يكفي إضافتها إلى خط أنابيب الاستدلال للحصول على توليد مستقر دون تكرارات تنكسية. هذا مهم بشكل خاص لنماذج الاستدلال مفتوحة المصدر المستخدمة في سيناريوهات ذات إجابات طويلة ومتطلبات عالية للحتمية.
يبقى سؤال الكفاءة مفتوحًا: الضغط في كل خطوة يتطلب حسابات إضافية. لا يناقش المؤلفون التعقيد في العمل المقدم، لكن يمكن توقع ظهور نسخ محسّنة في المستقبل تعمل على وحدات معالجة الرسوميات ومدمجة في مكتبات فك التشفير الشائعة.
القيود والملاحظات
تشير المقالة إلى تصحيحات طفيفة بعد النشر تتعلق بأخطاء في الحسابات — وهذا يدل على دقة المؤلفين في التفاصيل ولا يؤثر على جوهر النهج المقترح. مثل أي طريقة، عقوبة LZ ليست حلاً سحريًا: فهي تحل مشكلة محددة تتعلق بالتكرار، لكنها لا تتناول، على سبيل المثال، الدقة الواقعية أو التماسك المنطقي للتوليد.
ومع ذلك، فإن الفكرة نفسها لاستخدام طول شيفرة الضغط كمقياس لمحتوى المعلومات في الاستمرار تبدو أنيقة وواعدة. إنها تربط نظرية المعلومات بممارسة توليد النصوص وتعطي ما لا يمكن للاستدلالات البسيطة تقديمه: فهم متى يكون التكرار ضجيجًا ومتى يكون إشارة إلى تدهور النموذج.
