Wydestylowałem wiedzę DeepSeek-R1 na temat zdolności rozumowania w Qwen2, a wyniki były naprawdę wybuchowe!!!
Ⅰ. Czym jest destylacja wiedzy? Destylacja wiedzy to technika kompresji modelu używana do przenoszenia wiedzy z dużego, złożonego modelu (modelu nauczyciela) do małego modelu (modelu ucznia). Podstawową zasadą jest to, że model nauczyciela uczy model ucznia poprzez przewidywanie wyników (takich jak rozkłady prawdopodobieństwa lub procesy wnioskowania), a...