DeepSeek R1, nový jazykový model AI s otevřeným zdrojovým kódem, který vyvinula čínská společnost DeepSeek, je právě teď populární.
Někteří uživatelé tvrdí, že je z hlediska inferenčních schopností srovnatelný nebo dokonce silnější než o1 od OpenAI.
V současné době je služba DeepSeek zdarma, což je pro uživatele dobrá zpráva, ale zároveň to vyvolává některé otázky.
Jak se vypořádají s náklady na server, když se zvýší počet uživatelů?Hardware, na kterém model běží, by neměl být levný, že?
Jedním z rozumných odhadů jsou data.
Data jsou krví modelů umělé inteligence.Mohou nějakým způsobem shromažďovat údaje o uživatelích a tyto údaje mohou být užitečné pro jejich obchodní modely nebo jiné formy monetizace.
Pokud se obáváte o ochranu osobních údajů, ale přesto chcete používat R1 bez sdílení dat, nejlepší možností je spustit model lokálně.
Co je to DeepSeek R1?
Před několika dny byl DeepSeek R1 představen jako plně otevřený model. To znamená, že kdokoli může přistupovat k jeho základnímu kódu, provádět úpravy a dokonce jej vyladit podle vlastních potřeb.
DeepSeek R1 (často označovaný zkratkou R1) je odvozen od velkého základního modelu DeepSeek-V3.
Výzkumný tým tento model optimalizoval kombinací jemného dolaďování pod dohledem (SFT) s vysoce kvalitními ručně anotovanými daty a posilováním učení (RL).
Výsledkem je chatbot, který si poradí se složitými dotazy, zobrazí odůvodnění složitých otázek (někdy srozumitelněji než jiné modely) a dokonce v rozhraní chatu zobrazí kód pro rychlé testování.
Je to opravdu působivé, zejména u modelu s otevřeným zdrojovým kódem.
Jak spustit DeepSeek R1 lokálně
Na spustit DeepSeek R1 lokálně, použijeme nástroj s názvem Ollama.
Ollama je bezplatný nástroj s otevřeným zdrojovým kódem, který umožňuje uživatelům spouštět velké jazykové modely (LLM) lokálně na jejich počítačích.
Je k dispozici pro systémy macOS, Linux a Windows.Navštivte oficiální webové stránky Ollama, klikněte na tlačítko "Stáhnout" a nainstalujte jej do svého systému.
Úspěšnou instalaci potvrdíte,
otevřete terminál a spusťte následující příkaz:ollama -v
Místo chybové zprávy by se mělo zobrazit číslo verze programu Ollama.
Na kartě "Modely" vyhledejte klíčové slovo "deepseek" a v horní části seznamu by se měl zobrazit seznam "deepseek-r1".
Klikněte na něj a v části "Modely" uvidíte, že existuje několik velikostí modelů s parametry od 5 miliard do 671 miliard.Obecně platí, že větší modely vyžadují pro svůj běh výkonnější grafické procesory.
Malý model, jako je verze s 8 miliardami parametrů, může běžet na grafickém procesoru s 8 GB grafické paměti, zatímco větší modely vyžadují podstatně více prostředků (viz část níže o grafické paměti a požadavcích na grafický procesor).
Chcete-li stáhnout a spustit model s 8 miliardami parametrů, použijte následující příkaz:ollama run deepseek-r1:8b
Model se začne stahovat (cca 4,9 GB).Před pokračováním se ujistěte, že máte dostatek místa na disku.
Po dokončení stahování bude model spuštěn v místním počítači a můžete s ním okamžitě zahájit konverzaci.
Vyzkoušejme si to na příkladu výzvy:
Výzva: Co je DeepSeek R-1?
Reakce: DeepSeek R-1 je asistent s umělou inteligencí vyvinutý čínskou společností DeepSeek.
Je určena k poskytování odpovědí a pomoci v různých oblastech, mimo jiné v matematice, programování, zpracování přirozeného jazyka atd. Pokud máte nějaké otázky nebo potřebujete pomoc, neváhejte se mě zeptat!
Skvělé.
Je rychlý a funguje, i když notebook odpojím od sítě Wi-Fi. Upozorňuji, že nemá přístup k internetu, i když jste k němu připojeni.
Tip: Jaká je nejnovější cena akcií společnosti AAPL?
Reakce: Jako asistent s umělou inteligencí nemám přístup k datům v reálném čase, a proto nemohu poskytnout nejnovější cenu akcií společnosti Apple Inc. (AAPL).
Pro získání co nejpřesnějších a nejaktuálnějších informací doporučuji sledovat finanční zpravodajské platformy nebo makléřské služby.Další věci, které Ollama umí:
Spouštějte lokálně LLM, včetně LLaMA2, Phi 4, Mistral a Gemma 2Umožněte uživatelům vytvářet a sdílet vlastní LLMSbalte váhy modelů, konfigurace a data do jediného balíčkuOptimalizujte nastavení a podrobnosti konfigurace, včetně využití GPU.
Požadavky na GPU a paměť
Paměťové nároky pro DeepSeek-R1 závisí na faktorech, jako je velikost modelu, počet parametrů a technika kvantizace.
Zde je podrobný přehled paměťových nároků pro DeepSeek-R1 a jeho redukovaný model a také doporučené grafické procesory:
Klíčová poznámka k využití paměti:
Distribuované nastavení GPU pro velké modely: DeepSeek-R1-Zero a DeepSeek-R1 vyžadují hodně grafické paměti, a proto pro optimální výkon vyžadují distribuovanou konfiguraci GPU (např. NVIDIA A100 nebo H100 v sestavě s více GPU).
Modely Lite jsou optimalizovány pro běh na jednom grafickém procesoru s nižšími nároky na grafickou paměť, které začínají na 0,7 GB.
Další využití paměti: Aktivace, vyrovnávací paměti a dávkové úlohy mohou spotřebovávat další paměť.
Proč provozovat lokálně?
Webový chatbot a mobilní aplikace DeepSeek jsou bezplatné a velmi pohodlné. Nemusíte provádět žádné nastavení a funkce jako DeepThink a webové vyhledávání jsou vestavěné.
Místní spuštění však může být lepší volbou z následujících důvodů.
Ochrana osobních údajů
Když používáte webovou verzi nebo verzi aplikace, vaše dotazy a všechny připojené soubory se odesílají na servery společnosti DeepSeek ke zpracování.Co se s těmito daty děje?Nevíme.Spuštění modelu lokálně zajišťuje, že vaše data zůstanou ve vašem počítači, což vám dává plnou kontrolu nad vaším soukromím.
Přístup offline
Spuštění modelu lokálně znamená, že nepotřebujete připojení k internetu.
Pokud jste na cestách, narazíte na nestabilní Wi-Fi nebo prostě raději pracujete offline, místní nastavení vám umožní používat DeepSeek kdykoli a kdekoli.
Odolnost vůči budoucnosti
V současné době jsou služby DeepSeek zdarma, ale to pravděpodobně nebude trvat věčně. V určitém okamžiku bude nutné je zpeněžit a mohou se objevit omezení používání nebo poplatky za předplatné. Díky místnímu modelu se těmto omezením můžete zcela vyhnout.
Flexibilní
V místní verzi nejste omezeni výchozím nastavením.Chcete model doladit?
Integrovat jej s jinými nástroji? Vytvořit vlastní rozhraní?Otevřený zdrojový kód DeepSeek R1 vám nabízí nekonečné možnosti.
Souhrn
V tuto chvíli stále není jasné, jak společnost DeepSeek nakládá s uživatelskými údaji.
Pokud vám nezáleží na ochraně osobních údajů, může být lepší volbou použití webu nebo mobilních aplikací. Jsou jednodušší na používání a nabízejí funkce, jako je DeepThink a webové vyhledávání.
Pokud vám však záleží na tom, kam vaše data putují, je místní model dobrou alternativou, kterou můžete zvážit.
Model DeepSeek je navržen tak, aby dobře fungoval i na nepříliš výkonném hardwaru.
Zatímco větší modely, jako je DeepSeek-R1-Zero, vyžadují distribuovanou konfiguraci GPU, verze lite umožňuje plynulý běh na jediném GPU s nižšími paměťovými nároky.
