DeepSeek R1, ένα νέο γλωσσικό μοντέλο τεχνητής νοημοσύνης ανοικτού κώδικα που αναπτύχθηκε από την κινεζική εταιρεία τεχνητής νοημοσύνης DeepSeek, είναι δημοφιλές αυτή τη στιγμή.
Ορισμένοι χρήστες ισχυρίζονται ότι είναι συγκρίσιμο ή και ισχυρότερο από το o1 του OpenAI όσον αφορά τις δυνατότητες εξαγωγής συμπερασμάτων.
Επί του παρόντος, το DeepSeek είναι δωρεάν, γεγονός που είναι καλό νέο για τους χρήστες, αλλά εγείρει επίσης ορισμένα ερωτήματα.
Πώς θα χειριστούν το κόστος του διακομιστή καθώς αυξάνεται ο αριθμός των χρηστών; Το υλικό που θα τρέχει το μοντέλο δεν θα πρέπει να είναι φθηνό, σωστά;
Μια λογική εικασία είναι τα δεδομένα.
Τα δεδομένα είναι η αιμοδοσία των μοντέλων ΤΝ.Μπορεί να συλλέγουν δεδομένα χρηστών με κάποιο τρόπο, και τα δεδομένα αυτά μπορεί να είναι χρήσιμα για τα μοντέλα συναλλαγών τους ή άλλες μορφές νομισματοποίησης.
Αν ανησυχείτε για το απόρρητο των δεδομένων, αλλά θέλετε να χρησιμοποιήσετε το R1 χωρίς να μοιραστείτε δεδομένα, η καλύτερη επιλογή είναι να εκτελέσετε το μοντέλο τοπικά.
Τι είναι DeepSeek R1?
Πριν από λίγες ημέρες, το DeepSeek R1 παρουσιάστηκε ως μοντέλο πλήρως ανοιχτού κώδικα. Αυτό σημαίνει ότι ο καθένας μπορεί να έχει πρόσβαση στον υποκείμενο κώδικα, να κάνει τροποποιήσεις και ακόμη και να το προσαρμόσει στις δικές του ανάγκες.
Το DeepSeek R1 (συχνά συντομογραφούμενο ως R1) προέρχεται από ένα μεγάλο βασικό μοντέλο που ονομάζεται DeepSeek-V3.
Η ερευνητική ομάδα βελτιστοποίησε αυτό το μοντέλο συνδυάζοντας την επιτηρούμενη λεπτομερή ρύθμιση (SFT) με υψηλής ποιότητας δεδομένα με χειροκίνητο σχολιασμό και την ενισχυτική μάθηση (RL).
Αυτό είχε ως αποτέλεσμα ένα chatbot που μπορεί να χειριστεί πολύπλοκες προτροπές, να δείξει το σκεπτικό πίσω από πολύπλοκες ερωτήσεις (μερικές φορές πιο ξεκάθαρα από άλλα μοντέλα) και να παρουσιάσει ακόμη και κώδικα στη διεπαφή συνομιλίας για γρήγορες δοκιμές.
Είναι πραγματικά εντυπωσιακό, ειδικά για ένα μοντέλο ανοιχτού κώδικα.
Πώς να εκτελέσετε το DeepSeek R1 τοπικά
Προς τρέξτε το DeepSeek R1 τοπικά, θα χρησιμοποιήσουμε ένα εργαλείο που ονομάζεται Ollama.
Το Ollama είναι ένα δωρεάν εργαλείο ανοικτού κώδικα που επιτρέπει στους χρήστες να εκτελούν τοπικά στους υπολογιστές τους μεγάλα γλωσσικά μοντέλα (LLM).
Είναι διαθέσιμο για macOS, Linux και Windows.Επισκεφθείτε την επίσημη ιστοσελίδα του Ollama, κάντε κλικ στο κουμπί "Λήψη" και εγκαταστήστε το στο σύστημά σας.
Για να επιβεβαιώσετε την επιτυχή εγκατάσταση,
ανοίξτε ένα τερματικό και εκτελέστε την ακόλουθη εντολή:ollama -v
Θα πρέπει να δείτε τον αριθμό έκδοσης του Ollama αντί για ένα μήνυμα σφάλματος.
Στην καρτέλα "Μοντέλα", αναζητήστε τη λέξη-κλειδί "deepseek" και θα πρέπει να δείτε το "deepseek-r1" στην κορυφή της λίστας.
Κάντε κλικ σε αυτό, και στην ενότητα "Μοντέλα", θα δείτε ότι υπάρχουν πολλαπλά μεγέθη μοντέλων με παραμέτρους που κυμαίνονται από 5 δισεκατομμύρια έως 671 δισεκατομμύρια.Κατά γενικό κανόνα, τα μεγαλύτερα μοντέλα απαιτούν ισχυρότερες GPU για να εκτελεστούν.
Ένα μικρό μοντέλο, όπως η έκδοση με 8 δισεκατομμύρια παραμέτρους, μπορεί να εκτελεστεί σε μια GPU με 8 GB μνήμης γραφικών, ενώ τα μεγαλύτερα μοντέλα απαιτούν σημαντικά περισσότερους πόρους (βλ. την ενότητα παρακάτω σχετικά με τη μνήμη γραφικών και τις απαιτήσεις GPU).
Για να κατεβάσετε και να εκτελέσετε το μοντέλο 8 δισεκατομμυρίων παραμέτρων, χρησιμοποιήστε την ακόλουθη εντολή:ollama run deepseek-r1:8b
Το μοντέλο θα αρχίσει να κατεβαίνει (περίπου 4,9 GB).Πριν προχωρήσετε, βεβαιωθείτε ότι έχετε επαρκή χώρο στο δίσκο σας.
Μόλις ολοκληρωθεί η λήψη, το μοντέλο θα εκτελεστεί στον τοπικό σας υπολογιστή και μπορείτε να ξεκινήσετε αμέσως μια συνομιλία μαζί του.
Ας το δοκιμάσουμε αυτό με ένα δείγμα προτροπής:
Προτροπή: Τι είναι το DeepSeek R-1?
Απάντηση: DeepSeek R-1 είναι ένας βοηθός τεχνητής νοημοσύνης που αναπτύχθηκε από την κινεζική εταιρεία DeepSeek.
Έχει σχεδιαστεί για να παρέχει απαντήσεις και βοήθεια σε μια ποικιλία θεμάτων, συμπεριλαμβανομένων, μεταξύ άλλων, των μαθηματικών, του προγραμματισμού, της επεξεργασίας φυσικής γλώσσας κ.λπ. Αν έχετε ερωτήσεις ή χρειάζεστε βοήθεια, μη διστάσετε να με ρωτήσετε!
Ωραία.
Είναι γρήγορο και λειτουργεί ακόμη και όταν αποσυνδέω το φορητό μου υπολογιστή από το δίκτυο Wi-Fi. Λάβετε υπόψη ότι δεν μπορεί να έχει πρόσβαση στο διαδίκτυο ακόμη και αν είστε συνδεδεμένοι σε αυτό.
Συμβουλή: Ποια είναι η τελευταία τιμή της μετοχής της AAPL;
Απάντηση: (AAPL).
Για τις πιο ακριβείς και επικαιροποιημένες πληροφορίες, σας προτείνω να ελέγχετε τις πλατφόρμες οικονομικών ειδήσεων ή τις υπηρεσίες διαμεσολάβησης.Άλλα πράγματα που μπορεί να κάνει το Ollama:
Εκτέλεση LLMs τοπικά, συμπεριλαμβανομένων των LLaMA2, Phi 4, Mistral και Gemma2Αφήστε τους χρήστες να δημιουργήσουν και να μοιραστούν τα δικά τους LLMsΠακέτο βαρών μοντέλου, διαμορφώσεων και δεδομένων σε ένα ενιαίο πακέτοΒελτιστοποίηση ρυθμίσεων και λεπτομερειών διαμόρφωσης, συμπεριλαμβανομένης της χρήσης GPU.
Απαιτήσεις GPU και μνήμης
Οι απαιτήσεις μνήμης για το DeepSeek-R1 εξαρτώνται από παράγοντες όπως το μέγεθος του μοντέλου, ο αριθμός των παραμέτρων και η τεχνική κβαντισμού.
Ακολουθεί μια λεπτομερής επισκόπηση των απαιτήσεων μνήμης για το DeepSeek-R1 και το μειωμένο μοντέλο του, καθώς και των συνιστώμενων GPU:
Βασική σημείωση σχετικά με τη χρήση μνήμης:
Κατανεμημένη εγκατάσταση GPU για μεγάλα μοντέλα: DeepSeek-R1-Zero και DeepSeek-R1 απαιτούν πολλή μνήμη γραφικών και, επομένως, μια κατανεμημένη διαμόρφωση GPU (π.χ. NVIDIA A100 ή H100 σε μια εγκατάσταση πολλαπλών GPU) για βέλτιστη απόδοση.
Τα μοντέλα Lite είναι βελτιστοποιημένα για να λειτουργούν σε μία μόνο GPU με χαμηλότερες απαιτήσεις μνήμης γραφικών, ξεκινώντας από 0,7 GB.
Πρόσθετη χρήση μνήμης: Ενεργοποίηση, buffers και εργασίες δέσμης ενδέχεται να καταναλώνουν πρόσθετη μνήμη.
Γιατί να τρέχετε τοπικά;
Το web chatbot και η εφαρμογή για κινητά της DeepSeek είναι δωρεάν και πολύ βολικά. Δεν χρειάζεται να κάνετε καμία ρύθμιση και λειτουργίες όπως το DeepThink και η αναζήτηση στο διαδίκτυο είναι ενσωματωμένες.
Ωστόσο, η τοπική εκτέλεση μπορεί να είναι καλύτερη επιλογή για τους ακόλουθους λόγους
Απόρρητο
Όταν χρησιμοποιείτε την έκδοση web ή την εφαρμογή, τα ερωτήματά σας και τυχόν συνημμένα αρχεία αποστέλλονται στους διακομιστές της DeepSeek για επεξεργασία.Τι συμβαίνει με αυτά τα δεδομένα; Δεν γνωρίζουμε.Η τοπική εκτέλεση του μοντέλου διασφαλίζει ότι τα δεδομένα σας παραμένουν στον υπολογιστή σας, δίνοντάς σας πλήρη έλεγχο του απορρήτου σας.
Πρόσβαση χωρίς σύνδεση
Η τοπική εκτέλεση του μοντέλου σημαίνει ότι δεν χρειάζεστε σύνδεση στο διαδίκτυο.
Εάν ταξιδεύετε, αντιμετωπίζετε ασταθές Wi-Fi ή απλώς προτιμάτε να εργάζεστε εκτός σύνδεσης, η τοπική ρύθμιση σάς επιτρέπει να χρησιμοποιείτε το DeepSeek οποτεδήποτε και οπουδήποτε.
Μελλοντικά ασφαλές
Επί του παρόντος, οι υπηρεσίες της DeepSeek είναι δωρεάν, αλλά αυτό είναι απίθανο να διαρκέσει για πάντα. Κάποια στιγμή, μπορεί να χρειαστεί να γίνουν χρήμα και να εμφανιστούν περιορισμοί χρήσης ή συνδρομές. Με το τοπικό μοντέλο, μπορείτε να αποφύγετε εντελώς αυτούς τους περιορισμούς.
Ευέλικτο
Με την τοπική έκδοση, δεν περιορίζεστε από τις προεπιλεγμένες ρυθμίσεις.
Να το ενσωματώσετε με άλλα εργαλεία; Δημιουργήστε μια προσαρμοσμένη διεπαφή; Ο ανοιχτός χαρακτήρας του DeepSeek R1 σας προσφέρει ατελείωτες δυνατότητες.
Περίληψη
Προς το παρόν, δεν είναι ακόμη σαφές πώς η DeepSeek χειρίζεται τα δεδομένα των χρηστών.
Αν δεν σας ενδιαφέρει το απόρρητο των δεδομένων, η χρήση του διαδικτύου ή των εφαρμογών για κινητά μπορεί να είναι καλύτερη επιλογή. Είναι πιο εύχρηστες και προσφέρουν λειτουργίες όπως το DeepThink και η αναζήτηση στο διαδίκτυο.
Αλλά αν σας ενδιαφέρει πού πηγαίνουν τα δεδομένα σας, το τοπικό μοντέλο είναι μια καλή εναλλακτική λύση που πρέπει να εξετάσετε.
Το μοντέλο DeepSeek έχει σχεδιαστεί για να λειτουργεί καλά ακόμη και σε υλικό που δεν είναι ιδιαίτερα ισχυρό.
Ενώ τα μεγαλύτερα μοντέλα όπως το DeepSeek-R1-Zero απαιτούν μια κατανεμημένη εγκατάσταση GPU, η έκδοση lite επιτρέπει την ομαλή εκτέλεση σε μια μόνο GPU με χαμηλότερες απαιτήσεις μνήμης.
