Αποστάλαξα τις γνώσεις της ικανότητας συλλογισμού του DeepSeek-R1 στον Qwen2, και τα αποτελέσματα ήταν πραγματικά εκρηκτικά!!!
Ⅰ. Τι είναι η απόσταξη γνώσης; Η απόσταξη γνώσης είναι μια τεχνική συμπίεσης μοντέλων που χρησιμοποιείται για τη μεταφορά γνώσης από ένα μεγάλο, πολύπλοκο μοντέλο (το μοντέλο του δασκάλου) σε ένα μικρό μοντέλο (το μοντέλο του μαθητή). Η βασική αρχή είναι ότι το μοντέλο του δασκάλου διδάσκει το μοντέλο του μαθητή προβλέποντας αποτελέσματα (όπως κατανομές πιθανοτήτων ή διαδικασίες εξαγωγής συμπερασμάτων) και το...