DeepSeek-R1 érvelési képességének tudását Qwen2-be desztilláltam, és az eredmények valóban robbanásszerűek voltak!!!
Ⅰ. Mi a tudás desztillációja? A tudásdesztilláció egy olyan modelltömörítési technika, amelyet arra használnak, hogy a tudást egy nagy, összetett modellből (a tanári modellből) egy kis modellbe (a tanulói modellbe) adják át. Az alapelv az, hogy a tanító modell az eredmények (például valószínűségi eloszlások vagy következtetési folyamatok) előrejelzésével tanítja a tanuló modellt, és a...