DeepSeek-r1 hat aufgrund seiner herausragenden Leistung eine hitzige Diskussion in der Weltgemeinschaft ausgelöst. Mit der steigenden Zahl der Nutzer und Cyberangriffen in einigen unbekannten Gebieten sind die offiziellen Dienste jedoch oft überfordert. Heute zeige ich Ihnen, wie Sie zum Nulltarif einen eigenen KI-Assistenten bauen können, der nie ausfällt.
Warum eine private Bereitstellung? Was sind die Vorteile der privaten Bereitstellung? Neben der Stabilität des Dienstes gibt uns die private Bereitstellung auch die vollständige Kontrolle über die Datensicherheit und ermöglicht es uns, Parameter frei anzupassen und Funktionen nach Bedarf zu erweitern. Die kostenlosen GPU-Ressourcen, die Tencent Cloud derzeit zur Verfügung stellt (entspricht RTX 4080-Level, 10.000 Minuten pro Monat, 16G Grafikspeicher-Cloud-Service), sind mehr als ausreichend, so dass wir eine reibungslose KI-Erfahrung genießen können, ohne in Hardware investieren zu müssen. Die einzelnen Schritte für die Einführung sind wie folgt:
Schritt 1: Vorbereitende Arbeiten
Besuchen Sie Tencent Cloud Studio
um die Registrierung und die Überprüfung des echten Namens abzuschließen. Dieser Schritt ist entscheidend, da nur Nutzer mit echtem Namen kostenlose GPU-Ressourcen erhalten können.
Sie können auch Ressourcen wählen, die von anderen Cloud-Service-Anbietern bereitgestellt werden. Dieser Artikel verwendet Tencent Cloud als Beispiel. Kostenlose GPU-Ressourcen sind jetzt verfügbar
Schritt 2: Erstellen eines Arbeitsbereichs
Suche nach "Ollama" in der Schnittstelle zur Auswahl der Arbeitsbereichsvorlage und wählen Sie den Basistyp (kostenlose Version), um einen Arbeitsbereich zu erstellen. Warten Sie 2-5 Minuten, bis die Initialisierung abgeschlossen ist.
Schritt 3: Einsatz des Modells
Erstellen Sie ein neues Terminal im Arbeitsbereich und führen Sie die folgenden Befehle nacheinander aus:
Hinweis: Das Herunterladen des Modells dauert etwa 10-15 Minuten, je nach Netzbedingungen. Nachdem der Download abgeschlossen ist, können Sie direkt mit AI im Terminal sprechen.
Schritt 4: Konfigurieren der Intranet-Penetration
Um anderen Geräten den Zugriff auf Ihren KI-Assistenten zu ermöglichen, müssen Sie die Intranet-Penetration konfigurieren:
- Überprüfen Sie den laufenden Port von Ollama
- Beginn der Intranetdurchdringung
Hinweis: 6399 ist ein Beispiel für eine Portnummer, bitte ersetzen Sie sie entsprechend dem Ergebnis des vorherigen Schritts
Nach der Ausführung erhalten Sie eine öffentliche Netzzugangsadresse im Format:
Schritt 5: Automatischer Neustart einstellen (optional, aber empfohlen)
Um einen stabilen Betrieb des Dienstes zu gewährleisten, wird empfohlen, ein Skript zum automatischen Neustart hinzuzufügen:
Schritt 6: Konfiguration
CherryStudio wird als Beispiel verwendet. Für eine detaillierte Einführung,
- CherryStudio herunterladen und installieren
- Fügen Sie in den Einstellungen eine neue Modellkonfiguration hinzu:
- Modellbezeichnung: deepseek-r1:14b
- Server-Adresse: Geben Sie die Adresse Ihres öffentlichen gradio-Netzwerks ein.
- API-Schlüssel: leer lassen
Tipps zur Leistungsoptimierung
Möchten Sie, dass Ihr KI-Assistent schneller reagiert? Probieren Sie diese Optimierungsparameter aus:
Häufig gestellte Fragen
Wenn Sie feststellen, dass ein Port belegt ist:
Der Modell-Download wurde unterbrochen:
Unzureichender Speicher
Tipps
- Freie GPU-Instanzen gehen jeden Morgen um 2 Uhr automatisch in den Schlaf. Es wird empfohlen, diese Zeitspanne zu vermeiden
- Die Adresse für das Eindringen ins Intranet läuft nach 72 Stunden ab. Denken Sie daran, sie regelmäßig zu überprüfen
- Sie können die Länge der Antwort steuern, indem Sie den Parameter -max-tokens anpassen, um ein Gleichgewicht zwischen Geschwindigkeit und Vollständigkeit herzustellen
- Wenn Sie feststellen, dass die Antwort langsamer wird, können Sie versuchen, den Dienst neu zu starten
Jetzt ist Ihr eigener KI-Assistent einsatzbereit. Er ist nicht nur stabil und zuverlässig, sondern auch vollständig unter Ihrer Kontrolle. Egal, ob es um das tägliche Schreiben, Programmieren oder die Datenanalyse geht, Sie werden einen fähigen Assistenten haben, der Sie unterstützt.
Denken Sie daran, Ihre Zugangsadresse sicher aufzubewahren, und wenn Sie Fragen zum Bereitstellungsprozess haben, können Sie diese gerne im Kommentarbereich stellen. Ich wünsche Ihnen allen ein neues Jahr, in dem Sie mit Hilfe von KI neue Höhen erreichen können!
