MSEB من Google Research: تنفيذ مُرمِّزات صوتية وفق عقد المعيار المرجعي وتقييمها على أربع فئات من المهام

الغرض من المعيار وطبقاته

MSEB — معيار Massive Sound Embedding Benchmark من Google Research. تُثبّت الحزمة باستخدام mseb==0.1.0. ينقسم المعيار إلى ثلاث طبقات.

• تحدد types الأنواع Sound وSoundEmbedding وScore وTaskMetadata.
• تحتوي encoder على الفئة الأساسية المجردة MultiModalEncoder، وهي العقد الذي تنفذه النماذج.
• تحتوي evaluators على أدوات تقييم لمهام مختلفة.

تفصل هذه الطبقات بين وصف البيانات وواجهة النموذج وقياس الجودة. المعيار العملي: تحدد طبقة encoder متطلبات المرمّز، بينما تحدد evaluators متطلبات التقييم.

عقد المرمّز وأنواع البيانات

تحتوي encoder على الفئة الأساسية المجردة MultiModalEncoder. تمثل هذه الفئة عقدًا تنفذه النماذج. تحدد types الأنواع Sound وSoundEmbedding وScore وTaskMetadata.

يخزن SoundEmbedding تضمينات بالشكل (N, D) وطوابع زمنية بالشكل (M, 2). تحدد الطوابع بداية الفترة ونهايتها بالثواني. إذا كانت M == N، فتتوافق الطوابع مع إطارات منفردة. وإذا كانت M == 1، فيُربط التضمين بالملفوظ بأكمله. يمكن أن يحتوي الحقل embedding على N سلسلة بدلًا من المتجهات. ويشمل SoundEmbedding أيضًا السياق وإحصاءات الترميز، بما في ذلك أبعاد الإدخال والتضمين.

يصف Score المقياس وقيمته ونطاقه المقبول ووصفه. ويُجمَع TaskMetadata في نهاية التقييم ويُستخدم في الإرسال الفعلي.

المعيار العملي: يجب أن يعيد المرمّز SoundEmbedding بأبعاد صحيحة، وأن يملأ Score لكل مهمة.

مثالان على المرمّزات: مستوى الصوت والجرس

ينفذ الدليل مرمّزين مختلفين. يقيس أحدهما مستوى الصوت بمرور الوقت، ويقيس الآخر الجرس. ويُطبّقان على مجموعة صوتية اصطناعية صغيرة. تُنشأ المجموعة في دفتر الملاحظات، لذا لا حاجة إلى تنزيل البيانات.

وفقًا لوصف الدليل، يُظهر المرمّزان نتيجتين مختلفتين بحسب أداة التقييم. وهذا يعني أن اختيار السمة يؤثر في الجودة عبر المهام المختلفة. المعيار العملي: ينبغي اختبار النهجين مع التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع.

التقييم على أربع فئات من المهام

تُقيّم التضمينات في مهام التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع. وللأمثلة، تُستورد ClassificationEvaluator وClusteringEvaluator وRetrievalEvaluator وSegmentationEvaluator. وتُستدعى دوال المقاييس مباشرةً. وفي النهاية، يُجمَع TaskMetadata المستخدم في الإرسال الفعلي.

تتضمن الحزمة أيضًا أدوات تقييم لإعادة الترتيب والتفريغ النصي.

تعتمد أدوات تقييم التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع على NumPy وscikit-learn فقط. أما أدوات تقييم إعادة الترتيب والتفريغ النصي فتستخدم Whisper.

المعيار العملي: تكفي NumPy وscikit-learn ووحدة المعالجة المركزية لفئات المهام الأربع. أما إعادة الترتيب والتفريغ النصي فيتطلبان Whisper.

التبعيات ومتطلبات التشغيل

تُنفذ الخطوات المعروضة على وحدة المعالجة المركزية، دون تنزيل مجموعة بيانات. وتعتمد أدوات تقييم التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع على NumPy وscikit-learn فقط. أما أدوات تقييم إعادة الترتيب والتفريغ النصي فتستخدم Whisper. ويستخدم مشغّل المهام TensorFlow وapache-beam.

تحدد هذه التبعيات بيئة التشغيل. لا تتطلب فئات المهام الأربع وحدة معالجة رسومات أو بيانات خارجية. أما إعادة الترتيب والتفريغ النصي وتشغيل مشغّل المهام فتتطلب مكونات إضافية.

المعيار العملي: إذا كان الهدف هو اختبار المرمّز بسرعة في التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع، فتكفي وحدة المعالجة المركزية والمكتبات المذكورة.

معايير الاختيار العملية

يجب أن يتوافق تنفيذ المرمّز مع MultiModalEncoder. ويجب أن يحتوي SoundEmbedding المُعاد على تضمينات بالشكل (N, D) وطوابع زمنية بالشكل (M, 2). يمكن أن يحتوي الحقل embedding على N سلسلة بدلًا من المتجهات. ويجب أن يصف Score المقياس وقيمته ونطاقه المقبول ووصفه. ويُجمَع TaskMetadata في النهاية ويُستخدم في الإرسال الفعلي.

للتقييم في التصنيف والتجميع والاسترجاع والتقسيم إلى مقاطع، تناسب أدوات ClassificationEvaluator وClusteringEvaluator وRetrievalEvaluator وSegmentationEvaluator. وتعتمد هذه الأدوات على NumPy وscikit-learn. أما إعادة الترتيب والتفريغ النصي فيتطلبان Whisper.

المعيار العملي: يُختار المرمّز حسب المهمة. ويعطي مثالَا المرمّز، مستوى الصوت والجرس، نتائج مختلفة بحسب أداة التقييم. ينبغي اختبار كلا المرمّزين على مجموعة المهام المطلوبة.