{"id":686,"date":"2025-01-29T07:35:31","date_gmt":"2025-01-29T07:35:31","guid":{"rendered":"https:\/\/janusai.pro\/?p=686"},"modified":"2025-01-29T07:37:05","modified_gmt":"2025-01-29T07:37:05","slug":"i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive","status":"publish","type":"post","link":"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/","title":{"rendered":"Wydestylowa\u0142em wiedz\u0119 DeepSeek-R1 na temat zdolno\u015bci rozumowania w Qwen2, a wyniki by\u0142y naprawd\u0119 wybuchowe!!!"},"content":{"rendered":"<div style=\"margin-top: 0px; margin-bottom: 0px;\" class=\"sharethis-inline-share-buttons\" ><\/div>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_72 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Spis tre\u015bci<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Prze\u0142\u0105czanie spisu tre\u015bci\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A0_What_is_knowledge_distillation\" title=\"\u2160. Czym jest destylacja wiedzy?\">\u2160. Czym jest destylacja wiedzy?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#IICore_concepts\" title=\"II.Podstawowe poj\u0119cia\">II.Podstawowe poj\u0119cia<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#21_Template_design\" title=\"2.1 Projekt szablonu\">2.1 Projekt szablonu<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#22_Reasoning_trajectory_The_%E2%80%9Cthinking_chain%E2%80%9D_of_the_models_solution\" title=\"2.2 Trajektoria rozumowania: &quot;\u0141a\u0144cuch my\u015blowy&quot; rozwi\u0105zania modelu\">2.2 Trajektoria rozumowania: \"\u0141a\u0144cuch my\u015blenia\" rozwi\u0105zania modelu<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#23_Rejection_sampling_Filtering_good_data_from_%E2%80%9Ctrial_and_error\" title=\"2.3 Pr\u00f3bkowanie odrzucaj\u0105ce: Filtrowanie dobrych danych na podstawie &quot;pr\u00f3b i b\u0142\u0119d\u00f3w\">2.3 Pr\u00f3bkowanie odrzucaj\u0105ce: Filtrowanie dobrych danych na podstawie \"pr\u00f3b i b\u0142\u0119d\u00f3w<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A2Generation_of_distilled_data\" title=\"\u2162.Generowanie danych destylowanych\">\u2162.Generowanie danych destylowanych<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Data_sources\" title=\"\u0179r\u00f3d\u0142a danych:\">\u0179r\u00f3d\u0142a danych:<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Distillation_data_generation_process\" title=\"Proces generowania danych destylacji:\">Proces generowania danych destylacji:<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A3Distillation_process\" title=\"Proces destylacji\">Proces destylacji<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Teacher_and_student_roles\" title=\"Role nauczyciela i ucznia:\">Role nauczyciela i ucznia:<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#Training_steps\" title=\"Etapy szkolenia:\">Etapy szkolenia:<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A4_Example_demonstration\" title=\"\u2164. Przyk\u0142adowa demonstracja\">\u2164. Przyk\u0142adowa demonstracja<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/janusai.pro\/pl\/i-distilled-deepseek-r1s-reasoning-ability-knowledge-into-qwen2-and-the-results-were-really-explosive\/#%E2%85%A5_Summary\" title=\"\u2165. Podsumowanie\">\u2165. Podsumowanie<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A0_What_is_knowledge_distillation\"><\/span><strong>\u2160. <\/strong>Czym jest destylacja wiedzy?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Destylacja wiedzy to technika kompresji modelu wykorzystywana do przenoszenia wiedzy z du\u017cego, z\u0142o\u017conego modelu (modelu nauczyciela) do ma\u0142ego modelu (modelu ucznia). <\/p>\n\n\n\n<p>Podstawow\u0105 zasad\u0105 jest to, \u017ce model nauczyciela uczy model ucznia, przewiduj\u0105c wyniki (takie jak rozk\u0142ady prawdopodobie\u0144stwa lub procesy wnioskowania), a model ucznia poprawia swoj\u0105 wydajno\u015b\u0107, ucz\u0105c si\u0119 na podstawie tych przewidywa\u0144. <\/p>\n\n\n\n<p>Metoda ta jest szczeg\u00f3lnie odpowiednia dla urz\u0105dze\u0144 o ograniczonych zasobach, takich jak telefony kom\u00f3rkowe lub urz\u0105dzenia wbudowane.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"IICore_concepts\"><\/span>II.Podstawowe poj\u0119cia<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"21_Template_design\"><\/span>2.1 Projekt szablonu<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Szablon: Ustrukturyzowany format u\u017cywany do standaryzacji danych wyj\u015bciowych modelu. Na przyk\u0142ad\n<ul class=\"wp-block-list\">\n<li>: Oznacza pocz\u0105tek procesu rozumowania.<\/li>\n\n\n\n<li>: Oznacza koniec procesu rozumowania.<\/li>\n\n\n\n<li>: Oznacza pocz\u0105tek ostatecznej odpowiedzi.<\/li>\n\n\n\n<li>: Oznacza koniec ostatecznej odpowiedzi.<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Funkcja:\n<ul class=\"wp-block-list\">\n<li>Jasno\u015b\u0107: Podobnie jak \"s\u0142owa zach\u0119ty\" w pytaniu typu \"wype\u0142nij puste miejsce\", m\u00f3wi modelowi \"proces my\u015blenia przebiega tutaj, a odpowied\u017a tam\".<\/li>\n\n\n\n<li>Sp\u00f3jno\u015b\u0107: Zapewnia, \u017ce wszystkie dane wyj\u015bciowe maj\u0105 tak\u0105 sam\u0105 struktur\u0119, co u\u0142atwia p\u00f3\u017aniejsze przetwarzanie i analiz\u0119.<\/li>\n\n\n\n<li>Czytelno\u015b\u0107: Ludzie mog\u0105 \u0142atwo odr\u00f3\u017cni\u0107 proces rozumowania od odpowiedzi, poprawiaj\u0105c wra\u017cenia u\u017cytkownika.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"22_Reasoning_trajectory_The_%E2%80%9Cthinking_chain%E2%80%9D_of_the_models_solution\"><\/span>2.2 Trajektoria rozumowania: \"\u0141a\u0144cuch my\u015blenia\" rozwi\u0105zania modelu<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Trajektoria rozumowania: Szczeg\u00f3\u0142owe kroki generowane przez model podczas rozwi\u0105zywania problemu pokazuj\u0105 logiczny \u0142a\u0144cuch modelu.<\/li>\n\n\n\n<li>Przyk\u0142ad:<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"759\" height=\"290\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d.png\" alt=\"\" class=\"wp-image-689\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d.png 759w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d-300x115.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/b8eff676-f9d7-436c-9ee7-1e423242825d-18x7.png 18w\" sizes=\"auto, (max-width: 759px) 100vw, 759px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"23_Rejection_sampling_Filtering_good_data_from_%E2%80%9Ctrial_and_error\"><\/span>2.3 Pr\u00f3bkowanie odrzucaj\u0105ce: Filtrowanie dobrych danych na podstawie \"pr\u00f3b i b\u0142\u0119d\u00f3w<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Pr\u00f3bkowanie odrzuce\u0144: Generowanie wielu odpowiedzi kandydat\u00f3w i zachowywanie tych dobrych, podobnie jak pisanie wersji roboczej, a nast\u0119pnie kopiowanie poprawnej odpowiedzi na egzaminie.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A2Generation_of_distilled_data\"><\/span>\u2162.Generowanie danych destylowanych<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Pierwszym krokiem w procesie destylacji wiedzy jest wygenerowanie wysokiej jako\u015bci \"danych ucz\u0105cych\", na podstawie kt\u00f3rych ma\u0142e modele mog\u0105 si\u0119 uczy\u0107.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Data_sources\"><\/span><strong>\u0179r\u00f3d\u0142a danych<\/strong>:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>80% z danych rozumowania wygenerowanych przez <a href=\"https:\/\/huggingface.co\/deepseek-ai\/DeepSeek-R1\" target=\"_blank\" rel=\"noreferrer noopener nofollow\">DeepSeek-R1<\/a><\/li>\n\n\n\n<li>20% z og\u00f3lnych danych zadania DeepSeek-V3.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Distillation_data_generation_process\"><\/span><strong>Proces generowania danych destylacji<\/strong>:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Filtrowanie regu\u0142<\/strong>: automatycznie sprawdza poprawno\u015b\u0107 odpowiedzi (np. czy odpowied\u017a matematyczna jest zgodna ze wzorem).<\/li>\n\n\n\n<li><strong>Kontrola czytelno\u015bci<\/strong>eliminuje mieszane j\u0119zyki (np. chi\u0144ski i angielski) lub d\u0142ugie akapity.<\/li>\n\n\n\n<li><strong>Generowanie oparte na szablonach<\/strong>: wymaga, aby DeepSeek-R1 wyprowadza\u0142 trajektorie wnioskowania zgodnie z szablonem.<\/li>\n\n\n\n<li><strong>Odrzucanie filtrowania pr\u00f3bkowania<\/strong>:<\/li>\n\n\n\n<li><strong>Integracja danych<\/strong>Ostatecznie wygenerowano 800 000 wysokiej jako\u015bci pr\u00f3bek, w tym oko\u0142o 600 000 danych wnioskowania i oko\u0142o 200 000 danych og\u00f3lnych.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A3Distillation_process\"><\/span>Proces destylacji<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Teacher_and_student_roles\"><\/span>Role nauczyciela i ucznia:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>DeepSeek-R1 jako model nauczyciela;<\/li>\n\n\n\n<li>Modele z serii Qwen jako model studencki.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Training_steps\"><\/span>Etapy szkolenia:<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Po pierwsze, wprowadzanie danych: musisz wprowadzi\u0107 cz\u0119\u015b\u0107 pytania z 800 000 pr\u00f3bek do modelu Qwen i poprosi\u0107 go o wygenerowanie pe\u0142nej trajektorii wnioskowania (proces my\u015blenia + odpowied\u017a) zgodnie z szablonem. To bardzo wa\u017cny krok<\/p>\n\n\n\n<p>Nast\u0119pnie obliczenie strat: por\u00f3wnanie danych wyj\u015bciowych wygenerowanych przez model ucznia z trajektori\u0105 wnioskowania modelu nauczyciela i wyr\u00f3wnanie sekwencji tekstu poprzez nadzorowane dostrajanie (SFT). Je\u015bli nie wiesz, czym jest SFT, mam nadziej\u0119, \u017ce wyszukasz to s\u0142owo kluczowe, aby dowiedzie\u0107 si\u0119 wi\u0119cej<\/p>\n\n\n\n<p>Uko\u0144czenie aktualizacji parametr\u00f3w dla wi\u0119kszego modelu ucznia: Optymalizacja parametr\u00f3w modelu Qwen poprzez propagacj\u0119 wsteczn\u0105 w celu przybli\u017cenia danych wyj\u015bciowych modelu nauczyciela.<\/p>\n\n\n\n<p>Wielokrotne powtarzanie tego procesu szkoleniowego zapewnia wystarczaj\u0105cy transfer wiedzy. Pozwala to osi\u0105gn\u0105\u0107 pierwotny cel szkolenia. Podamy przyk\u0142ad, aby to zademonstrowa\u0107 i mamy nadziej\u0119, \u017ce to zrozumiesz<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A4_Example_demonstration\"><\/span>\u2164. Przyk\u0142adowa demonstracja<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Artyku\u0142 demonstruje efekt destylacji poprzez konkretne zadanie rozwi\u0105zywania r\u00f3wna\u0144 (rozwi\u0105zywanie r\u00f3wna\u0144):<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Standardowe dane wyj\u015bciowe modelu nauczyciela:<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"771\" height=\"328\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352.png\" alt=\"\" class=\"wp-image-690\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352.png 771w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-300x128.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-768x327.png 768w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/3a53b6a8-36d2-4251-ab0f-8646d7646352-18x8.png 18w\" sizes=\"auto, (max-width: 771px) 100vw, 771px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Wyj\u015bcie Qwen-7B przed destylacj\u0105:<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"766\" height=\"178\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb.png\" alt=\"\" class=\"wp-image-688\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb.png 766w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb-300x70.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/51c44a52-01a0-474a-8d47-5483613286fb-18x4.png 18w\" sizes=\"auto, (max-width: 766px) 100vw, 766px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Wyj\u015bcie Qwen-7B po destylacji:<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"759\" height=\"260\" src=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c.png\" alt=\"\" class=\"wp-image-687\" srcset=\"https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c.png 759w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c-300x103.png 300w, https:\/\/janusai.pro\/wp-content\/uploads\/2025\/01\/61c7fb80-d903-4339-971c-9613b5ac199c-18x6.png 18w\" sizes=\"auto, (max-width: 759px) 100vw, 759px\" \/><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Zoptymalizowane rozwi\u0105zanie: Generowany jest ustrukturyzowany proces wnioskowania, a odpowied\u017a jest taka sama jak w modelu nauczyciela.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"%E2%85%A5_Summary\"><\/span>\u2165. Podsumowanie<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Poprzez destylacj\u0119 wiedzy, zdolno\u015b\u0107 wnioskowania DeepSeek-R1 jest efektywnie migrowana do serii ma\u0142ych modeli Qwen. Proces ten koncentruje si\u0119 na szablonowych danych wyj\u015bciowych i pr\u00f3bkowaniu odrzucenia. Dzi\u0119ki ustrukturyzowanemu generowaniu danych i wyrafinowanemu szkoleniu ma\u0142e modele mog\u0105 r\u00f3wnie\u017c wykonywa\u0107 z\u0142o\u017cone zadania wnioskowania w scenariuszach o ograniczonych zasobach. Technologia ta stanowi wa\u017cne odniesienie dla lekkiego wdra\u017cania modeli AI.<\/p>","protected":false},"excerpt":{"rendered":"<p>\u2160. Czym jest destylacja wiedzy? Destylacja wiedzy to technika kompresji modelu u\u017cywana do przenoszenia wiedzy z du\u017cego, z\u0142o\u017conego modelu (modelu nauczyciela) do ma\u0142ego modelu (modelu ucznia). Podstawow\u0105 zasad\u0105 jest to, \u017ce model nauczyciela uczy model ucznia poprzez przewidywanie wynik\u00f3w (takich jak rozk\u0142ady prawdopodobie\u0144stwa lub procesy wnioskowania), a...<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kadence_starter_templates_imported_post":false,"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-686","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/posts\/686","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/comments?post=686"}],"version-history":[{"count":2,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/posts\/686\/revisions"}],"predecessor-version":[{"id":692,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/posts\/686\/revisions\/692"}],"wp:attachment":[{"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/media?parent=686"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/categories?post=686"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/janusai.pro\/pl\/wp-json\/wp\/v2\/tags?post=686"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}