Am distilat cunoștințele despre capacitatea de raționament a lui DeepSeek-R1 în Qwen2, iar rezultatele au fost cu adevărat explozive!!!
Ⅰ. Ce este distilarea cunoștințelor? Distilarea cunoștințelor este o tehnică de comprimare a modelelor utilizată pentru a transfera cunoștințe de la un model mare și complex (modelul profesorului) la un model mic (modelul elevului). Principiul de bază este că modelul profesor îl învață pe modelul student prin prezicerea rezultatelor (cum ar fi distribuțiile de probabilități sau procesele de inferență), iar...