DeepSeek R1, a kínai DeepSeek AI vállalat által kifejlesztett új, nyílt forráskódú mesterséges intelligencia nyelvi modellje jelenleg népszerű.
Egyes felhasználók azt állítják, hogy következtetési képességeit tekintve az OpenAI o1-hez hasonlítható, sőt erősebb, mint az OpenAI o1.
Jelenleg a DeepSeek ingyenes, ami jó hír a felhasználók számára, de felvet néhány kérdést is.
Hogyan fogják kezelni a szerver költségeit, ha a felhasználók száma növekszik?A modellt futtató hardver nem lehet olcsó, igaz?
Az egyik ésszerű feltételezés az adatok.
Az AI modellek éltető elemei az adatok.Valamilyen módon gyűjthetnek felhasználói adatokat, és ezek az adatok hasznosak lehetnek a kereskedelmi modelljeik vagy a monetizáció más formái számára.
Ha aggódik az adatvédelem miatt, de mégis szeretné használni az R1-et az adatok megosztása nélkül, a legjobb megoldás a modell helyi futtatása.
Mi a DeepSeek R1?
Néhány nappal ezelőtt a DeepSeek R1 teljesen nyílt forráskódú modellként került bemutatásra. Ez azt jelenti, hogy bárki hozzáférhet az alapjául szolgáló kódhoz, módosíthatja, és akár a saját igényeihez is finomhangolhatja azt.
A DeepSeek R1 (gyakran rövidítve R1) a DeepSeek-V3 nevű nagy alapmodellből származik.
A kutatócsoport ezt a modellt a felügyelt finomhangolás (SFT), a kiváló minőségű, kézzel jegyzetelt adatok és a megerősítő tanulás (RL) kombinálásával optimalizálta.
Ennek eredményeképpen egy olyan chatbot jött létre, amely képes kezelni az összetett kéréseket, megmutatni az összetett kérdések mögötti érvelést (néha világosabban, mint más modellek), és még kódot is bemutatni a chatfelületen a gyors teszteléshez.
Ez igazán lenyűgöző, különösen egy nyílt forráskódú modell esetében.
A DeepSeek R1 helyi futtatása
A címre. a DeepSeek R1 helyi futtatása, az Ollama nevű eszközt fogjuk használni.
Az Ollama egy ingyenes és nyílt forráskódú eszköz, amely lehetővé teszi a felhasználók számára, hogy nagy nyelvi modelleket (LLM) futtassanak helyben a számítógépükön.
Elérhető macOS, Linux és Windows rendszerekre.Látogasson el az Ollama hivatalos weboldalára, kattintson a "Letöltés" gombra, és telepítse a rendszerére.
A sikeres telepítés megerősítése,
nyisson egy terminált és futtassa a következő parancsot:ollama -v
A hibaüzenet helyett az Ollama verziószámát kell látnia.
A "Modellek" fül alatt keressen rá a "deepseek" kulcsszóra, és a lista tetején a "deepseek-r1"-et kell látnia.
Kattintson rá, és a "Modellek" részben látni fogja, hogy többféle modellméret áll rendelkezésre 5 milliárd és 671 milliárd közötti paraméterekkel.Általános szabály, hogy a nagyobb modellek futtatásához nagyobb teljesítményű GPU-kra van szükség.
Egy kis modell, mint például a 8 milliárd paraméteres verzió, 8 GB grafikus memóriával rendelkező GPU-n is futtatható, míg a nagyobb modellekhez lényegesen több erőforrásra van szükség (lásd a grafikus memóriával és a GPU követelményeivel kapcsolatos alábbi részt).
A 8 milliárd paraméteres modell letöltéséhez és futtatásához használja a következő parancsot:ollama run deepseek-r1:8b
A modell letöltése megkezdődik (kb. 4,9 GB).Mielőtt folytatná, kérjük, győződjön meg róla, hogy elegendő lemezterület áll rendelkezésére.
Miután a letöltés befejeződött, a modell a helyi számítógépen fog futni, és azonnal beszélgetést kezdhet vele.
Teszteljük ezt egy minta prompttal:
Prompt: Mi az a DeepSeek R-1?
Válasz: A DeepSeek R-1 egy mesterséges intelligencia asszisztens, amelyet a kínai DeepSeek cég fejlesztett ki.
Célja, hogy válaszokat és segítséget nyújtson számos témában, többek között, de nem kizárólagosan a matematika, a programozás, a természetes nyelvi feldolgozás stb. területén. Ha bármilyen kérdésed van, vagy segítségre van szükséged, kérdezz bátran!
Remek.
Gyors és akkor is működik, ha leválasztom a laptopomat a Wi-Fi hálózatról. Felhívom a figyelmét, hogy akkor sem tud az internethez hozzáférni, ha csatlakoztatva van.
Tipp: Mi az AAPL legutóbbi részvényárfolyama?
Válasz: (AAPL) legfrissebb részvényárfolyamát nem tudom megadni.
A legpontosabb és legfrissebb információkért azt javaslom, hogy ellenőrizze a pénzügyi hírplatformokat vagy a brókerszolgáltatásait.Egyéb dolgok, amiket az Ollama tehet:
LLM-ek helyi futtatása, beleértve a LLaMA2-t, Phi 4-et, Mistral-t és Gemma-t 2Az LLM-ek létrehozásának és megosztásának lehetővé tétele a felhasználók számáraModellsúlyok, konfigurációk és adatok csomagolása egyetlen csomagbaA beállítások és konfigurációs részletek optimalizálása, beleértve a GPU-használatot is.
GPU- és memóriakövetelmények
A DeepSeek-R1 memóriaigénye olyan tényezőktől függ, mint a modell mérete, a paraméterek száma és a kvantálási technika.
Az alábbiakban részletesen áttekintjük a DeepSeek-R1 és a csökkentett modell memóriaigényét, valamint az ajánlott GPU-kat:
Fontos megjegyzés a memóriahasználatról:
Elosztott GPU beállítás nagy modellekhez: A DeepSeek-R1-Zero és a DeepSeek-R1 sok grafikus memóriát igényel, ezért az optimális teljesítményhez elosztott GPU-konfigurációra van szükség (pl. NVIDIA A100 vagy H100 egy több GPU-s konfigurációban).
A Lite modelleket úgy optimalizálták, hogy egyetlen GPU-n fussanak, alacsonyabb, 0,7 GB-os grafikus memóriaigénnyel.
További memóriahasználat: Az aktiválás, a pufferek és a kötegelt feladatok további memóriát igényelhetnek.
Miért érdemes helyben futtatni?
A DeepSeek webes chatbotja és mobilalkalmazása ingyenes és nagyon kényelmes. Nem kell semmilyen beállítást végeznie, és az olyan funkciók, mint a DeepThink és a webes keresés, be vannak építve.
A helyi futtatás azonban a következő okok miatt jobb megoldás lehet
Adatvédelem
Amikor a webes vagy az alkalmazásos verziót használja, a lekérdezéseit és a csatolt fájlokat a DeepSeek szervereire küldi feldolgozásra.Mi történik ezekkel az adatokkal?Nem tudjuk.A modell helyi futtatása biztosítja, hogy az adatok a számítógépén maradnak, így teljes ellenőrzést biztosít az adatvédelem felett.
Offline hozzáférés
A modell helyi futtatása azt jelenti, hogy nincs szükség internetkapcsolatra.
Ha utazik, instabil Wi-Fi-vel találkozik, vagy egyszerűen csak szeretne offline dolgozni, a helyi beállítás lehetővé teszi, hogy bárhol és bármikor használhassa a DeepSeek-et.
Jövőbiztos
Jelenleg a DeepSeek szolgáltatásai ingyenesek, de ez valószínűleg nem tart örökké. Egy bizonyos ponton szükségessé válhat a pénzzé tételük, és megjelenhetnek a használati korlátozások vagy előfizetési díjak. A helyi modellel teljesen elkerülheti ezeket a korlátozásokat.
Rugalmas
A helyi verzióval nem korlátozzák az alapértelmezett beállítások.Szeretné finomhangolni a modellt?
Integrálni más eszközökkel? Egyedi felületet építhet?A DeepSeek R1 nyílt forráskódú jellege végtelen lehetőségeket kínál.
Összefoglaló
Jelenleg még nem világos, hogy a DeepSeek hogyan kezeli a felhasználói adatokat.
Ha nem érdekli az adatvédelem, akkor a webes vagy mobilalkalmazások használata jobb választás lehet. Ezek használata egyszerűbb, és olyan funkciókat kínálnak, mint a DeepThink és a webes keresés.
Ha azonban fontos Önnek, hogy hová kerülnek az adatai, a helyi modell jó alternatíva lehet.
A DeepSeek modellt úgy tervezték, hogy még a nem túl nagy teljesítményű hardvereken is jól működjön.
Míg az olyan nagyobb modellek, mint a DeepSeek-R1-Zero, elosztott GPU-kat igényelnek, a lite verzió lehetővé teszi, hogy egyetlen GPU-n is simán fusson, alacsonyabb memóriaigény mellett.
