Ⅰ. Mitä on tiedon tislaus?
Tiedon tislaus on mallin tiivistämistekniikka, jota käytetään tiedon siirtämiseen suuresta, monimutkaisesta mallista (opettajan malli) pieneen malliin (oppilaan malli).
Keskeinen periaate on, että opettajamalli opettaa opiskelijamallia ennustamalla tuloksia (kuten todennäköisyysjakaumia tai päättelyprosesseja), ja opiskelijamalli parantaa suoritustaan oppimalla näistä ennusteista.
Menetelmä soveltuu erityisen hyvin resurssirajoitteisiin laitteisiin, kuten matkapuhelimiin tai sulautettuihin laitteisiin.
II.Keskeiset käsitteet
2.1 Mallin suunnittelu
- Malli: Strukturoitu muoto, jota käytetään mallin tuotoksen standardointiin. Esimerkiksi
- : Merkitsee päättelyprosessin alkua.
- : Merkitsee päättelyprosessin päättymistä.
- : Merkitsee lopullisen vastauksen alkua.
- : Merkitsee lopullisen vastauksen loppua.
- Toiminto:
- Selkeys: Se kertoo mallille, että "ajatteluprosessi jatkuu tästä, ja vastaus jatkuu tästä".
- Johdonmukaisuus: Varmistaa, että kaikki tuotokset noudattavat samaa rakennetta, mikä helpottaa myöhempää käsittelyä ja analysointia.
- Luettavuus: Ihmiset voivat helposti erottaa päättelyprosessin ja vastauksen toisistaan, mikä parantaa käyttäjäkokemusta.
2.2 Päättelypolku: Mallin ratkaisun "ajatteluketju".
- Päättelypolku: Mallin tuottamat yksityiskohtaiset vaiheet, kun malli ratkaisee ongelmaa, osoittavat mallin loogisen ketjun.
- Esimerkki:
2.3 Näytteenotto hylkäämisestä: Hyvien tietojen suodattaminen "kokeilemalla ja erehtymällä
- Näytteenotto hylkäämisestä: Luo useita ehdokkaiden vastauksia ja säilytä hyvät vastaukset, kuten kirjoittaessasi luonnoksen ja kopioidessasi sitten oikean vastauksen tentissä.
Ⅲ.Tislattujen tietojen tuottaminen
Ensimmäinen askel tiedon tislauksessa on tuottaa korkealaatuista "opetusdataa", josta pienet mallit voivat oppia.
Tietolähteet:
- 80%:n tuottamista päättelytiedoista. DeepSeek-R1
- 20% DeepSeek-V3:n yleisistä tehtävätiedoista.
Tislaustietojen tuottamisprosessi:
- Sääntöjen suodatus: tarkistaa automaattisesti vastauksen oikeellisuuden (esim. onko matemaattinen vastaus kaavan mukainen).
- Luettavuuden tarkistus: eliminoi sekakieliset (esim. kiinan ja englannin sekakieliset) tai pitkät kappaleet.
- Malliohjattu sukupolvi: edellyttää, että DeepSeek-R1 tuottaa mallin mukaisia päättelyratoja.
- Näytteenoton hylkäämisen suodatus:
- Tietojen integrointi: Lopulta luotiin 800 000 korkealaatuista näytettä, joista noin 600 000 sisälsi päättelytietoja ja noin 200 000 yleisiä tietoja.
Ⅳ.Tislausprosessi
Opettajan ja oppilaan roolit:
- DeepSeek-R1 opettajamallina;
- Qwen-sarjan mallit opiskelijamallina.
Koulutuksen vaiheet:
Ensiksi tietojen syöttö: sinun on syötettävä kysymysosa 800 000 näytteestä Qwen-malliin ja pyydettävä sitä luomaan täydellinen päättelypolku (ajatteluprosessi + vastaus) mallin mukaisesti. Tämä on hyvin tärkeä vaihe
Seuraavaksi tappion laskeminen: verrataan oppilaan mallin tuottamaa tulosta opettajan mallin päättelypolkuun ja yhdenmukaistetaan tekstisekvenssi valvotun hienosäädön (SFT) avulla. Jos et ole varma, mitä SFT on, toivon, että haet tätä hakusanaa saadaksesi lisätietoja.
Täydellinen parametrien päivitys opiskelijan suurempaan malliin: Optimoi Qwen-mallin parametrit backpropagationin avulla opettajamallin tuotoksen lähentämiseksi.
Koulutusprosessin toistaminen useaan kertaan varmistaa, että tieto siirtyy riittävästi. Näin saavutetaan alkuperäinen koulutustavoite. Annamme esimerkin, jolla havainnollistamme tämän, ja toivomme, että ymmärrätte.
Ⅴ. Esimerkkiesittely
Artikkelissa havainnollistetaan tislausvaikutusta tietyn yhtälönratkaisutehtävän avulla (ratkaise yhtälö):
- Opettajamallin vakiotulos:
- Qwen-7B:n tuotos ennen tislausta:
- Qwen-7B:n tuotos tislauksen jälkeen:
- Optimoitu ratkaisu: Vastaus on sama kuin opettajan malli.
Ⅵ. Yhteenveto
Tietämyksen tislauksen avulla DeepSeek-R1:n päättelykyky siirretään tehokkaasti Qwen-sarjan pieniin malleihin. Tässä prosessissa keskitytään mallinnettuun ulostuloon ja hylkäävään otantaan. Strukturoidun datan tuottamisen ja tarkennetun harjoittelun avulla pienet mallit voivat suorittaa monimutkaisia päättelytehtäviä myös resurssirajoitteisissa skenaarioissa. Tämä tekniikka tarjoaa tärkeän viitekehyksen tekoälymallien kevyelle käyttöönotolle.
