Destilé el conocimiento de la capacidad de razonamiento de DeepSeek-R1 en Qwen2, ¡¡¡y los resultados fueron realmente explosivos!!!
Ⅰ. ¿Qué es la destilación de conocimientos? La destilación de conocimientos es una técnica de compresión de modelos utilizada para transferir conocimientos de un modelo grande y complejo (el modelo del profesor) a un modelo pequeño (el modelo del alumno). El principio básico es que el modelo maestro enseña al modelo alumno mediante la predicción de resultados (como distribuciones de probabilidad o procesos de inferencia), y el...
