لقد قمت بتقطير معرفة القدرة المنطقية لـ DeepSeek-R1 في Qwen2، وكانت النتائج مذهلة حقًا!!!
Ⅰ. ما هو التقطير المعرفي؟ تقطير المعرفة هو تقنية ضغط النماذج المستخدمة لنقل المعرفة من نموذج كبير ومعقد (نموذج المعلم) إلى نموذج صغير (نموذج الطالب). المبدأ الأساسي هو أن نموذج المعلم يقوم بتعليم نموذج الطالب من خلال التنبؤ بالنتائج (مثل التوزيعات الاحتمالية أو عمليات الاستدلال)، ويقوم نموذج الطالب بتعليم نموذج المعلم...