DeepSeek R1, kiinalaisen tekoälyyritys DeepSeekin kehittämä uusi avoimen lähdekoodin tekoälykielimalli, on juuri nyt suosittu.
Jotkut käyttäjät väittävät, että se on vertailukelpoinen tai jopa vahvempi kuin OpenAI:n o1 päättelyominaisuuksiltaan.
Tällä hetkellä DeepSeek on ilmainen, mikä on hyvä uutinen käyttäjille, mutta se herättää myös kysymyksiä.
Miten he hoitavat palvelimen kustannukset, kun käyttäjien määrä kasvaa?Laitteiston, jossa mallia käytetään, ei pitäisi olla halpaa, eikö niin?
Yksi järkevä arvaus on data.
Tieto on tekoälymallien elinehto.Ne voivat kerätä käyttäjätietoja jollakin tavalla, ja nämä tiedot voivat olla hyödyllisiä niiden kaupankäyntimalleissa tai muussa rahanmuodostuksessa.
Jos olet huolissasi tietosuojasta, mutta haluat silti käyttää R1:ää jakamatta tietoja, paras vaihtoehto on ajaa malli paikallisesti.
Mikä on DeepSeek R1?
Muutama päivä sitten DeepSeek R1 esiteltiin täysin avoimen lähdekoodin mallina. Tämä tarkoittaa, että kuka tahansa voi käyttää sen taustalla olevaa koodia, tehdä muutoksia ja jopa hienosäätää sitä omiin tarpeisiinsa.
DeepSeek R1 (usein lyhenne R1) on johdettu suuresta perusmallista nimeltä DeepSeek-V3.
Tutkimusryhmä on optimoinut tämän mallin yhdistämällä valvottua hienosäätöä (SFT), korkealaatuista manuaalisesti annotoitua dataa ja vahvistusoppimista (RL).
Tuloksena on chatbot, joka pystyy käsittelemään monimutkaisia kehotuksia, näyttämään monimutkaisten kysymysten perustelut (joskus selkeämmin kuin muut mallit) ja jopa esittämään koodia chat-käyttöliittymässä nopeaa testausta varten.
Se on todella vaikuttava, varsinkin avoimen lähdekoodin mallina.
DeepSeek R1:n käyttäminen paikallisesti
Osoitteeseen ajaa DeepSeek R1:n paikallisesti, käytämme työkalua nimeltä Ollama.
Ollama on ilmainen ja avoimen lähdekoodin työkalu, jonka avulla käyttäjät voivat käyttää suuria kielimalleja (LLM) paikallisesti tietokoneillaan.
Se on saatavilla macOS:lle, Linuxille ja Windowsille.Käy virallisella Ollama-sivustolla, napsauta "Lataa"-painiketta ja asenna se järjestelmääsi.
Voit vahvistaa asennuksen onnistumisen,
avaa terminaali ja suorita seuraava komento:ollama -v
Virheilmoituksen sijasta sinun pitäisi nähdä Ollaman versionumero.
Etsi "Mallit"-välilehdeltä hakusanalla "deepseek", ja sinun pitäisi nähdä "deepseek-r1" luettelon yläreunassa.
Napsauta sitä, ja "Mallit"-osiossa näet, että mallin kokoja on useita ja parametrit vaihtelevat 5 miljardista 671 miljardiin.Yleissääntönä voidaan sanoa, että suuremmat mallit vaativat tehokkaamman näytönohjaimen suoritusta varten.
Pieni malli, kuten 8 miljardin parametrin versio, voi toimia näytönohjaimella, jossa on 8 Gt grafiikkamuistia, kun taas suuremmat mallit vaativat huomattavasti enemmän resursseja (katso alla oleva kohta grafiikkamuisti- ja näytönohjainvaatimuksista).
Voit ladata ja ajaa 8 miljardin parametrin mallin seuraavalla komennolla:ollama run deepseek-r1:8b
Mallin lataaminen alkaa (noin 4,9 Gt).Varmista ennen jatkamista, että sinulla on riittävästi levytilaa.
Kun lataus on valmis, malli on käynnissä paikallisella tietokoneellasi, ja voit aloittaa keskustelun sen kanssa välittömästi.
Testataan tätä esimerkkikehotuksella:
Kehotus: Mikä on DeepSeek R-1?
Vastaus: DeepSeek R-1 on kiinalaisen DeepSeek-yrityksen kehittämä tekoälyavustaja.
Se on suunniteltu tarjoamaan vastauksia ja apua monista eri aiheista, kuten matematiikasta, ohjelmoinnista ja luonnollisen kielen käsittelystä. Jos sinulla on kysyttävää tai tarvitset apua, kysy rohkeasti minulta!
Hienoa.
Se on nopea ja toimii myös silloin, kun irrotan kannettavan tietokoneeni Wi-Fi-verkosta. Huomaa, että se ei pääse internetiin, vaikka olisit yhteydessä siihen.
Vihje: Mikä on AAPL:n viimeisin osakekurssi?
Vastaus: (AAPL) viimeisintä osakekurssia.
Jos haluat tarkimmat ja ajantasaisimmat tiedot, suosittelen, että tarkistat talousuutisfoorumit tai välityspalvelusi.Muita asioita, joita Ollama voi tehdä:
Suorita LLM:iä paikallisesti, mukaan lukien LLaMA2, Phi 4, Mistral ja Gemma 2Asalli käyttäjien luoda ja jakaa omia LLM:iäPakkaa mallin painotukset, konfiguraatiot ja tiedot yhteen pakettiinOptimoi asetukset ja konfiguraatiotiedot, mukaan lukien GPU:n käyttö.
GPU- ja muistivaatimukset
DeepSeek-R1:n muistivaatimukset riippuvat muun muassa mallin koosta, parametrien määrästä ja kvantisointitekniikasta.
Seuraavassa on yksityiskohtainen katsaus DeepSeek-R1:n ja sen pelkistetyn mallin muistivaatimuksiin sekä suositeltuihin näytönohjaimiin:
Keskeinen huomautus muistin käytöstä:
Hajautettu GPU-asetus suurille malleille: DeepSeek-R1-Zero ja DeepSeek-R1 vaativat paljon grafiikkamuistia ja siksi hajautetun näytönohjaimen kokoonpanon (esim. NVIDIA A100 tai H100 usean näytönohjaimen kokoonpanossa) optimaalisen suorituskyvyn saavuttamiseksi.
Lite-mallit on optimoitu toimimaan yhdellä näytönohjaimella, ja niiden grafiikkamuistivaatimukset ovat pienemmät, alkaen 0,7 Gt.
Lisämuistin käyttö: Aktivointi, puskurit ja eräajotehtävät voivat kuluttaa lisämuistia.
Miksi ajaa paikallisesti?
DeepSeekin verkkokeskustelubotti ja mobiilisovellus ovat ilmaisia ja erittäin käteviä. Sinun ei tarvitse tehdä mitään asetuksia, ja ominaisuudet, kuten DeepThink ja verkkohaku, ovat sisäänrakennettuja.
Paikallisesti suorittaminen voi kuitenkin olla parempi vaihtoehto seuraavista syistä.
Yksityisyys
Kun käytät verkko- tai sovellusversiota, kyselyt ja mahdolliset liitetiedostot lähetetään DeepSeekin palvelimille käsiteltäväksi.Mitä näille tiedoille tapahtuu?Emme tiedä.Mallin käyttäminen paikallisesti varmistaa, että tietosi pysyvät tietokoneellasi, jolloin voit hallita yksityisyyttäsi täysin.
Pääsy offline-tilassa
Mallin käyttäminen paikallisesti tarkoittaa, että et tarvitse internetyhteyttä.
Jos olet matkoilla, Wi-Fi on epävakaa tai haluat työskennellä offline-tilassa, paikallisen asennuksen avulla voit käyttää DeepSeekiä missä ja milloin tahansa.
Tulevaisuuden turva
Tällä hetkellä DeepSeekin palvelut ovat ilmaisia, mutta tämä ei todennäköisesti jatku ikuisesti. Jossain vaiheessa ne saatetaan joutua muuttamaan rahaksi, ja käyttörajoitukset tai tilausmaksut saattavat tulla käyttöön. Paikallisen mallin avulla voit välttää nämä rajoitukset kokonaan.
Joustava
Paikallisessa versiossa oletusasetukset eivät rajoita sinua.Haluatko hienosäätää mallia?
Integroida se muihin työkaluihin? Rakenna oma käyttöliittymä?DeepSeek R1:n avoimen lähdekoodin luonne tarjoaa sinulle loputtomasti mahdollisuuksia.
Yhteenveto
Tällä hetkellä on vielä epäselvää, miten DeepSeek käsittelee käyttäjätietoja.
Jos et välitä tietosuojasta, web- tai mobiilisovellusten käyttö voi olla parempi vaihtoehto. Niitä on helpompi käyttää, ja ne tarjoavat DeepThinkin ja verkkohakujen kaltaisia ominaisuuksia.
Jos kuitenkin välität siitä, minne tietosi menevät, paikallinen malli on hyvä vaihtoehto.
DeepSeek-malli on suunniteltu toimimaan hyvin myös laitteistolla, joka ei ole erityisen tehokas.
Vaikka suuremmat mallit, kuten DeepSeek-R1-Zero, vaativat hajautetun näytönohjaimen asennuksen, lite-versio mahdollistaa sen sujuvan käytön yhdellä näytönohjaimella pienemmillä muistivaatimuksilla.
