DeepSeek-r1 har orsakat en hetsig diskussion i det globala samfundet på grund av sin enastående prestanda. Men när antalet användare ökar, och med cyberattacker i vissa okända områden, är officiella tjänster ofta överväldigade. Idag kommer jag att lära dig hur du bygger en dedikerad AI-assistent som aldrig går ner till nollkostnad.
Varför välja privat driftsättning? Vilka är fördelarna med privat driftsättning? Förutom tjänstestabilitet ger privat driftsättning oss också fullständig kontroll över datasäkerheten och gör det möjligt för oss att fritt justera parametrar och utöka funktioner efter behov. De kostnadsfria GPU-resurser som för närvarande tillhandahålls av Tencent Cloud (motsvarande RTX 4080-nivå, 10 000 minuter per månad, 16G grafikminnesmolntjänst) är mer än tillräckliga, vilket gör att vi kan njuta av en smidig AI-upplevelse utan att behöva investera i hårdvara. De detaljerade stegen för driftsättning är följande:
Steg 1: Förberedande arbete
Besök Tencent Cloud Studio
för att slutföra registreringen och verifieringen av det riktiga namnet. Detta steg är avgörande, eftersom endast användare med riktiga namn kan få gratis GPU-resurser.
Du kan också välja resurser som tillhandahålls av andra molntjänstleverantörer. I den här artikeln används Tencent Cloud som ett exempel. Gratis GPU-resurser är nu tillgängliga
Steg 2: Skapa en arbetsyta
Sök efter "Ollama" i gränssnittet för val av arbetsytans mall och välj den grundläggande typen (gratisversion) för att skapa en arbetsyta. Vänta 2-5 minuter tills initieringen är klar.
Steg 3: Driftsättning av modell
Skapa en ny terminal i arbetsytan och utför följande kommandon i tur och ordning:
Obs: Det tar cirka 10-15 minuter att ladda ner modellen, beroende på nätverksförhållandena. När nedladdningen är klar kan du prata direkt med AI i terminalen.
Steg 4: Konfigurera intranätintrång
För att andra enheter ska kunna få åtkomst till din AI-assistent måste du konfigurera intranätpenetration:
- Kontrollera Ollamas körport
- Påbörja penetration av intranät
Obs: 6399 är ett exempel på portnummer, byt ut det enligt resultatet av föregående steg
Efter körningen får du en åtkomstadress för det offentliga nätverket i formatet:
Steg 5: Ställ in automatisk omstart (valfritt men rekommenderas)
För att upprätthålla en stabil drift av tjänsten rekommenderas att du lägger till ett skript för automatisk omstart:
Steg 6: Konfiguration
CherryStudio används som ett exempel. För en detaljerad introduktion,
- Ladda ner och installera CherryStudio
- Lägg till en ny modellkonfiguration i inställningarna:
- Modellnamn: deepseek-r1:14b
- Serveradress: fyll i din offentliga nätverksadress för Gradio
- API-nyckel: lämna tomt
Tips för prestandaoptimering
Vill du att din AI-assistent ska svara snabbare? Prova dessa optimeringsparametrar:
Vanliga frågor och svar
Om du upptäcker att en port är upptagen:
Nedladdning av modell avbruten:
Otillräckligt minne
Tips
- Gratis GPU-instanser kommer automatiskt att gå i viloläge kl. 02.00 varje morgon. Det rekommenderas att undvika denna tidsperiod
- Penetrationsadressen för intranätet upphör att gälla efter 72 timmar. Kom ihåg att kontrollera den regelbundet
- Du kan styra längden på svaret genom att justera parametern -max-tokens för att balansera snabbhet och fullständighet
- Om du tycker att svaret blir långsammare kan du prova att starta om tjänsten
Vid det här laget är din egen AI-assistent redo att användas. Den är inte bara stabil och pålitlig, utan också helt under din kontroll. Oavsett om det handlar om dagligt skrivande, programmering eller dataanalys kommer du att ha en kompetent assistent som stöd.
Kom ihåg att hålla din åtkomstadress säker, och om du har några frågor om utrullningsprocessen är du välkommen att diskutera dem i kommentarerna. Jag önskar er alla ett nytt år där ni kan nå nya höjder med hjälp av AI!
