المقدمة: لماذا تُعد الجداول أمرًا صعبًا
التنبؤ الجدولي هو إحدى المهام الأساسية في التعلم الآلي. تعلّمت نماذج اللغة الكبيرة التعامل مع النصوص والصور، لكن الجداول تظل تحديًا خاصًا. لتطبيق نماذج اللغة الكبيرة على الجداول، اتبع الباحثون مسارين: الضبط الدقيق للنماذج المتخصصة (TFM) أو استخدام التعلم داخل السياق.
المسار الأول هو إنشاء نماذج الأساس الجدولية، مثل TabPFN. تُظهر هذه النماذج نتائج مبهرة، لكنها تتطلب تكاليف حسابية كبيرة. إعادة تدريبها لكل مجموعة بيانات جديدة تُعد رفاهية لا يمكن تحملها.
هنا يأتي دور التلقين ببعض الأمثلة: تُعرض على النموذج عدة أمثلة من مجموعة التدريب، فيتنبأ بقيمة جديدة. هذا رخيص وسريع، لكن يطرح السؤال: أي الأمثلة بالضبط يجب اختيارها؟ غالبًا ما يعطي الاختيار العشوائي نتيجة سيئة.
ARASH: اختيار ذكي للأمثلة
يحل أسلوب ARASH (الاسترجاع التكيفي واختيار اللقطات) هذه المشكلة تحديدًا. بدلاً من الاختيار العشوائي أو الاستدلالي، يحلل الجوار المحلي لكل نقطة في مجموعة التدريب. الفكرة هي اختيار لقطات تشبه إلى أقصى حد الطلب الحالي وفي نفس الوقت تكون ممثلة للبيانات.
تعمل الخوارزمية بشكل تكيفي: لكل طلب جديد، تتم إعادة عملية اختيار الأمثلة، مع مراعاة سياقه المحلي. وهذا يسمح بتقليل عدد الأمثلة المطلوبة إلى الحد الأدنى، مع الحفاظ على الدقة.
ما الذي يقدمه هذا عمليًا
أظهرت التجارب نتائج مبهرة. عند استخدام ARASH مع TabPFN، ينخفض طول التلقين بمقدار 1261.5 مرة، وينخفض استهلاك الذاكرة بمقدار 2.56 مرة. وفي الوقت نفسه، تظل الدقة مماثلة للتلقين الكامل. وهذا يعني أنه يمكن استخدام النموذج في البيئات ذات الموارد المحدودة — على الأجهزة الطرفية، وفي تطبيقات الويب، وعند معالجة تدفقات البيانات الكبيرة.
تتحقق هذه النتائج لأن ARASH لا يختار مجرد صفوف متشابهة، بل يختار تحديدًا تلك التي تحمل أقصى قدر من المعلومات لهذا الطلب. وهذا مهم بشكل خاص عندما تكون مجموعة التدريب كبيرة ويكون وقت الاستدلال محدودًا.
الاستنتاجات
ARASH هو خطوة أخرى نحو جعل النماذج الجدولية القوية متاحة في التطبيقات الواقعية. إن الجمع بين النماذج التوليدية والاختيار الذكي للأمثلة يفتح الطريق أمام تعلم فعال ببعض الأمثلة دون فقدان الجودة.
في المستقبل، يمكن توقع تطور هذا الاتجاه: ربما ستظهر أساليب تضغط التلقينات بشكل أكبر أو تتكيف مع أنواع أخرى من البيانات.
