Jeg destillerede DeepSeek-R1's viden om ræsonneringsevne til Qwen2, og resultaterne var virkelig eksplosive!!!
Ⅰ. Hvad er vidensdestillation? Vidensdestillation er en modelkomprimeringsteknik, der bruges til at overføre viden fra en stor, kompleks model (lærermodellen) til en lille model (elevmodellen). Kerneprincippet er, at lærermodellen underviser elevmodellen ved at forudsige resultater (som f.eks. sandsynlighedsfordelinger eller slutningsprocesser), og...