DeepSeek-R1'in muhakeme yeteneği bilgisini Qwen2'ye damıttım ve sonuçlar gerçekten patlayıcıydı!!!
Ⅰ. Bilgi damıtma nedir? Bilgi damıtma, bilgiyi büyük ve karmaşık bir modelden (öğretmen modeli) küçük bir modele (öğrenci modeli) aktarmak için kullanılan bir model sıkıştırma tekniğidir. Temel ilke, öğretmen modelinin öğrenci modeline sonuçları (olasılık dağılımları veya çıkarım süreçleri gibi) tahmin ederek öğretmesi ve...