{"id":686,"date":"2025-01-29T07:35:31","date_gmt":"2025-01-29T07:35:31","guid":{"rendered":"https:\/\/janusai.pro\/?p=686"},"modified":"2025-01-29T07:37:05","modified_gmt":"2025-01-29T07:37:05","slug":"i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive","status":"publish","type":"post","link":"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/","title":{"rendered":"J'ai distill\u00e9 les connaissances de DeepSeek-R1 en mati\u00e8re de capacit\u00e9 de raisonnement dans Qwen2, et les r\u00e9sultats ont \u00e9t\u00e9 vraiment explosifs !!!"},"content":{"rendered":"<div style=\"margin-top: 0px; margin-bottom: 0px;\" class=\"sharethis-inline-share-buttons\" ><\/div>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_72 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Table des mati\u00e8res<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table des mati\u00e8res\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A0_What_is_knowledge_distillation\" title=\"\u2160. Qu&#039;est-ce que la distillation des connaissances ?\">\u2160. Qu'est-ce que la distillation des connaissances ?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#IICore_concepts\" title=\"II. Concepts fondamentaux\">II. Concepts fondamentaux<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#21_Template_design\" title=\"2.1 Conception du mod\u00e8le\">2.1 Conception du mod\u00e8le<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#22_Reasoning_trajectory_The_%E2%80%9Cthinking_chain%E2%80%9D_of_the_models_solution\" title=\"2.2 Trajectoire de raisonnement : La &quot;cha\u00eene de pens\u00e9e&quot; de la solution du mod\u00e8le\">2.2 Trajectoire de raisonnement : La \"cha\u00eene de pens\u00e9e\" de la solution du mod\u00e8le<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#23_Rejection_sampling_Filtering_good_data_from_%E2%80%9Ctrial_and_error\" title=\"2.3 \u00c9chantillonnage par rejet : Filtrer les bonnes donn\u00e9es \u00e0 partir des &quot;essais et erreurs\">2.3 \u00c9chantillonnage par rejet : Filtrer les bonnes donn\u00e9es \u00e0 partir des \"essais et erreurs<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A2Generation_of_distilled_data\" title=\"\u2162.G\u00e9n\u00e9ration de donn\u00e9es distill\u00e9es\">\u2162.G\u00e9n\u00e9ration de donn\u00e9es distill\u00e9es<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Data_sources\" title=\"Sources des donn\u00e9es :\">Sources des donn\u00e9es :<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Distillation_data_generation_process\" title=\"Processus de g\u00e9n\u00e9ration des donn\u00e9es de distillation :\">Processus de g\u00e9n\u00e9ration des donn\u00e9es de distillation :<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A3Distillation_process\" title=\"\u2163.processus de distillation\">\u2163.processus de distillation<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Teacher_and_student_roles\" title=\"R\u00f4les de l&#039;enseignant et de l&#039;\u00e9l\u00e8ve :\">R\u00f4les de l'enseignant et de l'\u00e9l\u00e8ve :<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Training_steps\" title=\"Les \u00e9tapes de la formation :\">Les \u00e9tapes de la formation :<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A4_Example_demonstration\" title=\"\u2164. Exemple de d\u00e9monstration\">\u2164. Exemple de d\u00e9monstration<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/janusai.pro\/fr\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A5_Summary\" title=\"\u2165. R\u00e9sum\u00e9\">\u2165. R\u00e9sum\u00e9<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A0_What_is_knowledge_distillation\"><\/span><strong>\u2160. <\/strong>Qu'est-ce que la distillation des connaissances ?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>La distillation des connaissances est une technique de compression de mod\u00e8les utilis\u00e9e pour transf\u00e9rer les connaissances d'un grand mod\u00e8le complexe (le mod\u00e8le de l'enseignant) \u00e0 un petit mod\u00e8le (le mod\u00e8le de l'\u00e9tudiant). <\/p>\n\n\n\n<p>Le principe de base est que le mod\u00e8le de l'enseignant enseigne au mod\u00e8le de l'\u00e9tudiant en pr\u00e9disant des r\u00e9sultats (tels que des distributions de probabilit\u00e9s ou des processus d'inf\u00e9rence), et que le mod\u00e8le de l'\u00e9tudiant am\u00e9liore ses performances en apprenant \u00e0 partir de ces pr\u00e9dictions. <\/p>\n\n\n\n<p>Cette m\u00e9thode est particuli\u00e8rement adapt\u00e9e aux appareils dont les ressources sont limit\u00e9es, tels que les t\u00e9l\u00e9phones mobiles ou les appareils int\u00e9gr\u00e9s.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"IICore_concepts\"><\/span>II. Concepts fondamentaux<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"21_Template_design\"><\/span>2.1 Conception du mod\u00e8le<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Mod\u00e8le : Format structur\u00e9 utilis\u00e9 pour normaliser les r\u00e9sultats d'un mod\u00e8le. Par exemple\n<ul class=\"wp-block-list\">\n<li>: Marque le d\u00e9but du processus de raisonnement.<\/li>\n\n\n\n<li>: Marque la fin du processus de raisonnement.<\/li>\n\n\n\n<li>: Marque le d\u00e9but de la r\u00e9ponse finale.<\/li>\n\n\n\n<li>: Marque la fin de la r\u00e9ponse finale.<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Fonction :\n<ul class=\"wp-block-list\">\n<li>Clart\u00e9 : Comme les \"mots d'incitation\" dans une question \u00e0 compl\u00e9ter, il indique au mod\u00e8le \"le processus de r\u00e9flexion se d\u00e9roule ici, et la r\u00e9ponse se d\u00e9roule l\u00e0\".<\/li>\n\n\n\n<li>Coh\u00e9rence : garantit que tous les r\u00e9sultats suivent la m\u00eame structure, ce qui facilite le traitement et l'analyse ult\u00e9rieurs.<\/li>\n\n\n\n<li>Lisibilit\u00e9 : les \u00eatres humains peuvent facilement faire la distinction entre le processus de raisonnement et la r\u00e9ponse, ce qui am\u00e9liore l'exp\u00e9rience de l'utilisateur.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"22_Reasoning_trajectory_The_%E2%80%9Cthinking_chain%E2%80%9D_of_the_models_solution\"><\/span>2.2 Trajectoire de raisonnement : La \"cha\u00eene de pens\u00e9e\" de la solution du mod\u00e8le<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Trajectoire de raisonnement : Les \u00e9tapes d\u00e9taill\u00e9es g\u00e9n\u00e9r\u00e9es par le mod\u00e8le lors de la r\u00e9solution d'un probl\u00e8me montrent la cha\u00eene logique du mod\u00e8le.<\/li>\n\n\n\n<li>Exemple :<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"759\" height=\"290\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d.png\" alt=\"\" class=\"wp-image-689\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d.png 759w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d-300x115.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d-18x7.png 18w\" sizes=\"auto, (max-width: 759px) 100vw, 759px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"23_Rejection_sampling_Filtering_good_data_from_%E2%80%9Ctrial_and_error\"><\/span>2.3 \u00c9chantillonnage par rejet : Filtrer les bonnes donn\u00e9es \u00e0 partir des \"essais et erreurs<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u00c9chantillonnage de rejet : G\u00e9n\u00e9rer plusieurs r\u00e9ponses de candidats et retenir les bonnes, comme lorsqu'on r\u00e9dige un brouillon et qu'on recopie ensuite la bonne r\u00e9ponse dans un examen.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A2Generation_of_distilled_data\"><\/span>\u2162.G\u00e9n\u00e9ration de donn\u00e9es distill\u00e9es<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>La premi\u00e8re \u00e9tape de la distillation des connaissances consiste \u00e0 g\u00e9n\u00e9rer des \"donn\u00e9es d'apprentissage\" de haute qualit\u00e9 \u00e0 partir desquelles les petits mod\u00e8les peuvent apprendre.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Data_sources\"><\/span><strong>Sources de donn\u00e9es<\/strong>:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>80% \u00e0 partir des donn\u00e9es de raisonnement g\u00e9n\u00e9r\u00e9es par <a href=\"https:\/\/huggingface.co\/deepseek-ai\/DeepSeek-R1\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">Profondeur de l'eau - R1<\/a><\/li>\n\n\n\n<li>20% \u00e0 partir des donn\u00e9es de la t\u00e2che g\u00e9n\u00e9rale DeepSeek-V3.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Distillation_data_generation_process\"><\/span><strong>Processus de g\u00e9n\u00e9ration des donn\u00e9es de distillation<\/strong>:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Filtrage des r\u00e8gles<\/strong>L'outil d'aide \u00e0 la d\u00e9cision : v\u00e9rifie automatiquement l'exactitude de la r\u00e9ponse (par exemple, si la r\u00e9ponse math\u00e9matique est conforme \u00e0 la formule).<\/li>\n\n\n\n<li><strong>Contr\u00f4le de lisibilit\u00e9<\/strong>Le syst\u00e8me d'information sur les langues : \u00e9limine les langues mixtes (par exemple, le chinois et l'anglais m\u00e9lang\u00e9s) ou les longs paragraphes.<\/li>\n\n\n\n<li><strong>G\u00e9n\u00e9ration guid\u00e9e par un mod\u00e8le<\/strong>Le mod\u00e8le : exige que DeepSeek-R1 produise des trajectoires d'inf\u00e9rence conform\u00e9ment au mod\u00e8le.<\/li>\n\n\n\n<li><strong>Filtre d'\u00e9chantillonnage de rejet<\/strong>:<\/li>\n\n\n\n<li><strong>Int\u00e9gration des donn\u00e9es<\/strong>Au final, 800 000 \u00e9chantillons de haute qualit\u00e9 ont \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9s, dont environ 600 000 donn\u00e9es d'inf\u00e9rence et environ 200 000 donn\u00e9es g\u00e9n\u00e9rales.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A3Distillation_process\"><\/span>\u2163.processus de distillation<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Teacher_and_student_roles\"><\/span>R\u00f4les de l'enseignant et de l'\u00e9l\u00e8ve :<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>DeepSeek-R1 comme mod\u00e8le d'enseignant ;<\/li>\n\n\n\n<li>Les mod\u00e8les de la s\u00e9rie Qwen servent de mod\u00e8le \u00e0 l'\u00e9tudiant.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Training_steps\"><\/span>Les \u00e9tapes de la formation :<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Tout d'abord, la saisie des donn\u00e9es : vous devez saisir la partie \"question\" des 800 000 \u00e9chantillons dans le mod\u00e8le Qwen et lui demander de g\u00e9n\u00e9rer une trajectoire d'inf\u00e9rence compl\u00e8te (processus de r\u00e9flexion + r\u00e9ponse) conform\u00e9ment au mod\u00e8le. Il s'agit d'une \u00e9tape tr\u00e8s importante<\/p>\n\n\n\n<p>Ensuite, le calcul des pertes : comparer la sortie g\u00e9n\u00e9r\u00e9e par le mod\u00e8le de l'\u00e9tudiant avec la trajectoire d'inf\u00e9rence du mod\u00e8le de l'enseignant, et aligner la s\u00e9quence de texte par le biais d'un r\u00e9glage fin supervis\u00e9 (SFT). Si vous n'\u00eates pas s\u00fbr de ce qu'est le SFT, j'esp\u00e8re que vous ferez une recherche sur ce mot-cl\u00e9 pour en savoir plus.<\/p>\n\n\n\n<p>Compl\u00e9ter les mises \u00e0 jour des param\u00e8tres pour le plus grand mod\u00e8le de l'\u00e9tudiant : Optimiser les param\u00e8tres du mod\u00e8le Qwen par r\u00e9tropropagation afin d'obtenir une approximation de la sortie du mod\u00e8le de l'enseignant.<\/p>\n\n\n\n<p>En r\u00e9p\u00e9tant plusieurs fois ce processus de formation, on s'assure que les connaissances sont suffisamment transf\u00e9r\u00e9es. L'objectif initial de la formation est ainsi atteint. Nous allons vous donner un exemple pour le d\u00e9montrer, et nous esp\u00e9rons que vous comprendrez<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A4_Example_demonstration\"><\/span>\u2164. Exemple de d\u00e9monstration<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>L'article d\u00e9montre l'effet de distillation \u00e0 travers une t\u00e2che sp\u00e9cifique de r\u00e9solution d'\u00e9quation (r\u00e9soudre l'\u00e9quation) :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Sortie standard du mod\u00e8le de l'enseignant :<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"771\" height=\"328\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352.png\" alt=\"\" class=\"wp-image-690\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352.png 771w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-300x128.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-768x327.png 768w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-18x8.png 18w\" sizes=\"auto, (max-width: 771px) 100vw, 771px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Sortie du Qwen-7B avant distillation :<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"766\" height=\"178\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb.png\" alt=\"\" class=\"wp-image-688\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb.png 766w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb-300x70.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb-18x4.png 18w\" sizes=\"auto, (max-width: 766px) 100vw, 766px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Sortie du Qwen-7B apr\u00e8s distillation :<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"759\" height=\"260\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c.png\" alt=\"\" class=\"wp-image-687\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c.png 759w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c-300x103.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c-18x6.png 18w\" sizes=\"auto, (max-width: 759px) 100vw, 759px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Solution optimis\u00e9e : Un processus d'inf\u00e9rence structur\u00e9 est g\u00e9n\u00e9r\u00e9 et la r\u00e9ponse est identique au mod\u00e8le de l'enseignant.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A5_Summary\"><\/span>\u2165. R\u00e9sum\u00e9<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Gr\u00e2ce \u00e0 la distillation des connaissances, la capacit\u00e9 d'inf\u00e9rence de DeepSeek-R1 est efficacement transf\u00e9r\u00e9e vers la s\u00e9rie de petits mod\u00e8les Qwen. Ce processus se concentre sur les sorties mod\u00e9lis\u00e9es et l'\u00e9chantillonnage de rejet. Gr\u00e2ce \u00e0 la g\u00e9n\u00e9ration de donn\u00e9es structur\u00e9es et \u00e0 une formation affin\u00e9e, les petits mod\u00e8les peuvent \u00e9galement effectuer des t\u00e2ches d'inf\u00e9rence complexes dans des sc\u00e9narios o\u00f9 les ressources sont limit\u00e9es. Cette technologie constitue une r\u00e9f\u00e9rence importante pour le d\u00e9ploiement l\u00e9ger de mod\u00e8les d'intelligence artificielle.<\/p>","protected":false},"excerpt":{"rendered":"<p>\u2160. Qu'est-ce que la distillation des connaissances ? La distillation des connaissances est une technique de compression de mod\u00e8les utilis\u00e9e pour transf\u00e9rer les connaissances d'un grand mod\u00e8le complexe (le mod\u00e8le de l'enseignant) \u00e0 un petit mod\u00e8le (le mod\u00e8le de l'\u00e9tudiant). Le principe de base est que le mod\u00e8le enseignant enseigne au mod\u00e8le \u00e9tudiant en pr\u00e9disant des r\u00e9sultats (tels que des distributions de probabilit\u00e9s ou des processus d'inf\u00e9rence), et le...<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kadence_starter_templates_imported_post":false,"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-686","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/posts\/686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/comments?post=686"}],"version-history":[{"count":2,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/posts\/686\/revisions"}],"predecessor-version":[{"id":692,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/posts\/686\/revisions\/692"}],"wp:attachment":[{"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/media?parent=686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/categories?post=686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/janusai.pro\/fr\/wp-json\/wp\/v2\/tags?post=686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}