DeepSeek-r1 ha suscitato un'accesa discussione nella comunità globale per le sue eccezionali prestazioni. Tuttavia, con l'aumento del numero di utenti e con i cyberattacchi in alcune aree sconosciute, i servizi ufficiali sono spesso sovraccarichi. Oggi vi insegnerò come costruire un assistente AI dedicato e mai inattivo a costo zero.
Perché scegliere la distribuzione privata? Quali sono i vantaggi della distribuzione privata? Oltre alla stabilità del servizio, l'implementazione privata ci offre anche un controllo completo sulla sicurezza dei dati e ci permette di regolare liberamente i parametri e di espandere le funzioni in base alle necessità. Le risorse GPU gratuite attualmente fornite da Tencent Cloud (equivalenti al livello RTX 4080, 10.000 minuti al mese, servizio cloud di memoria grafica da 16G) sono più che sufficienti e ci permettono di godere di un'esperienza AI fluida senza dover investire in hardware. Le fasi di implementazione dettagliate sono le seguenti:
Fase 1: lavoro preparatorio
Visita Studio Tencent Cloud
per completare la registrazione e la verifica del nome reale. Questo passaggio è fondamentale, poiché solo gli utenti con nome reale possono ricevere risorse GPU gratuite.
È possibile scegliere anche risorse fornite da altri fornitori di servizi cloud. Questo articolo utilizza Tencent Cloud come esempio. Le risorse GPU gratuite sono ora disponibili
Passo 2: creare un'area di lavoro
Cerca "Ollama" nell'interfaccia di selezione dei modelli di spazio di lavoro e selezionare il tipo di base (versione gratuita) per creare uno spazio di lavoro. Attendere 2-5 minuti per il completamento dell'inizializzazione.
Fase 3: Distribuzione del modello
Creare un nuovo terminale nell'area di lavoro ed eseguire i seguenti comandi in sequenza:
Nota: il download del modello richiede circa 10-15 minuti, a seconda delle condizioni della rete. Al termine del download, è possibile parlare direttamente con l'IA nel terminale.
Passo 4: Configurazione della penetrazione Intranet
Per consentire ad altri dispositivi di accedere all'assistente AI, è necessario configurare la penetrazione nella intranet:
- Controllare la porta in esecuzione di Ollama
- Avviare la penetrazione dell'intranet
Nota: 6399 è un numero di porta di esempio, da sostituire in base al risultato del passaggio precedente.
Dopo l'esecuzione, si otterrà un indirizzo di accesso alla rete pubblica nel formato:
Passo 5: Impostare il riavvio automatico (facoltativo ma consigliato)
Per mantenere stabile il funzionamento del servizio, si consiglia di aggiungere uno script di riavvio automatico:
Passo 6: Configurazione
CherryStudio viene utilizzato come esempio. Per un'introduzione dettagliata,
- Scaricare e installare CherryStudio
- Aggiungere una nuova configurazione del modello nelle impostazioni:
- Nome del modello: deepseek-r1:14b
- Indirizzo del server: inserire l'indirizzo della rete pubblica di Gradio.
- Chiave API: lasciare vuoto
Suggerimenti per l'ottimizzazione delle prestazioni
Volete che il vostro assistente AI risponda più velocemente? Provate questi parametri di ottimizzazione:
Domande frequenti
Se si riscontra che una porta è occupata:
Modello di scaricamento interrotto:
Memoria insufficiente
Suggerimenti
- Le istanze di GPU libere andranno automaticamente a dormire alle 2 di ogni mattina. Si consiglia di evitare questo periodo di tempo
- L'indirizzo di penetrazione intranet scade dopo 72 ore. Ricordatevi di controllarlo regolarmente
- È possibile controllare la lunghezza della risposta regolando il parametro -max-tokens per bilanciare velocità e completezza.
- Se si nota un rallentamento della risposta, si può provare a riavviare il servizio
A questo punto, il vostro assistente AI è pronto a partire. Non solo è stabile e affidabile, ma anche completamente sotto il vostro controllo. Che si tratti di scrittura quotidiana, programmazione o analisi dei dati, avrete un assistente capace di supportarvi.
Ricordate di tenere al sicuro il vostro indirizzo di accesso e se avete domande sul processo di distribuzione, sentitevi liberi di discuterne nella sezione commenti. Auguro a tutti voi un nuovo anno in cui possiate raggiungere nuove vette con l'aiuto dell'IA!
