DeepSeek R1sebuah model bahasa AI sumber terbuka baru yang dikembangkan oleh perusahaan AI asal Tiongkok, DeepSeek, sedang populer saat ini.
Beberapa pengguna mengklaim bahwa ini sebanding dengan atau bahkan lebih kuat dari o1 OpenAI dalam hal kemampuan inferensi.
Saat ini, DeepSeek gratis, yang merupakan kabar baik bagi para pengguna, tetapi juga menimbulkan beberapa pertanyaan.
Bagaimana mereka akan menangani biaya server seiring dengan bertambahnya jumlah pengguna? Perangkat keras yang menjalankan model seharusnya tidak murah, bukan?
Satu dugaan yang masuk akal adalah data.
Data adalah sumber kehidupan model AI, mereka dapat mengumpulkan data pengguna dengan cara tertentu, dan data ini mungkin berguna untuk model perdagangan mereka atau bentuk monetisasi lainnya.
Jika Anda khawatir tentang privasi data tetapi masih ingin menggunakan R1 tanpa berbagi data, pilihan terbaik adalah menjalankan model secara lokal.
Apa itu DeepSeek R1?
Beberapa hari yang lalu, DeepSeek R1 diperkenalkan sebagai model open source sepenuhnya. Artinya, siapa pun dapat mengakses kode yang mendasarinya, melakukan modifikasi, dan bahkan menyempurnakannya sesuai dengan kebutuhan mereka.
DeepSeek R1 (sering disingkat R1) berasal dari model dasar besar yang disebut DeepSeek-V3.
Tim peneliti telah mengoptimalkan model ini dengan menggabungkan supervised fine-tuning (SFT) dengan data yang dianotasi secara manual berkualitas tinggi dan reinforcement learning (RL).
Hal ini telah menghasilkan chatbot yang dapat menangani permintaan yang rumit, menunjukkan alasan di balik pertanyaan yang rumit (terkadang lebih jelas daripada model lainnya), dan bahkan menyajikan kode dalam antarmuka obrolan untuk pengujian cepat.
Ini sungguh mengesankan, khususnya untuk model sumber terbuka.
Cara menjalankan DeepSeek R1 secara lokal
Untuk jalankan DeepSeek R1 secara lokalkita akan menggunakan alat yang disebut Ollama.
Ollama adalah alat bantu sumber terbuka dan gratis yang memungkinkan pengguna untuk menjalankan model bahasa besar (LLM) secara lokal di komputer mereka.
Ini tersedia untuk macOS, Linux, dan Windows Kunjungi situs web resmi Ollama, klik tombol "Unduh", dan instal di sistem Anda.
Untuk mengonfirmasi instalasi yang berhasil,
buka terminal dan jalankan perintah berikut: ollama -v
Anda seharusnya melihat nomor versi Ollama, bukan pesan kesalahan.
Di bawah tab "Model", cari kata kunci "deepseek" dan Anda akan melihat "deepseek-r1" di bagian atas daftar.
Klik di atasnya, dan di bagian "Model", Anda akan melihat bahwa ada beberapa ukuran model dengan parameter mulai dari 5 miliar hingga 671 miliar, sebagai aturan umum, model yang lebih besar memerlukan GPU yang lebih kuat untuk menjalankannya.
Model kecil seperti versi 8 miliar parameter dapat berjalan pada GPU dengan memori grafis 8 GB, sementara model yang lebih besar membutuhkan sumber daya yang jauh lebih banyak (lihat bagian di bawah ini tentang memori grafis dan persyaratan GPU).
Untuk mengunduh dan menjalankan model 8 miliar parameter, gunakan perintah berikut:ollama run deepseek-r1:8b
Model akan mulai diunduh (sekitar 4,9 GB) Sebelum melanjutkan, pastikan Anda memiliki ruang disk yang cukup.
Setelah pengunduhan selesai, model akan berjalan di komputer lokal Anda, dan Anda bisa langsung memulai percakapan dengannya.
Mari kita uji ini dengan contoh prompt:
Cepat: Apa itu DeepSeek R-1?
Tanggapan DeepSeek R-1 adalah asisten AI yang dikembangkan oleh perusahaan Tiongkok, DeepSeek.
Situs ini dirancang untuk memberikan jawaban dan bantuan tentang berbagai topik, termasuk namun tidak terbatas pada matematika, pemrograman, pemrosesan bahasa alami, dll. Jika Anda memiliki pertanyaan atau butuh bantuan, jangan ragu untuk bertanya kepada saya!
Bagus.
Cepat dan berfungsi bahkan ketika saya memutuskan koneksi laptop saya dari jaringan Wi-Fi. Harap diperhatikan bahwa aplikasi ini tidak dapat mengakses internet meskipun Anda terhubung ke internet.
Kiat: Berapa harga saham AAPL terbaru?
Tanggapan: Sebagai asisten AI, saya tidak dapat mengakses data waktu nyata sehingga tidak dapat memberikan harga saham terbaru Apple Inc (AAPL).
Untuk informasi yang paling akurat dan terkini, saya sarankan Anda memeriksa platform berita keuangan atau layanan broker Anda. hal lain yang dapat dilakukan Ollama:
Menjalankan LLM secara lokal, termasuk LLaMA2, Phi 4, Mistral, dan Gemma 2Memungkinkan pengguna untuk membuat dan berbagi bobot model LLM mereka sendiriMengemas bobot model, konfigurasi, dan data ke dalam satu paketMengoptimalkan pengaturan dan detail konfigurasi, termasuk penggunaan GPU.
Persyaratan GPU dan memori
Kebutuhan memori untuk DeepSeek-R1 bergantung pada faktor-faktor seperti ukuran model, jumlah parameter, dan teknik kuantisasi.
Berikut ini adalah ikhtisar terperinci tentang kebutuhan memori untuk DeepSeek-R1 dan model yang diperkecil, serta GPU yang direkomendasikan:
Catatan penting mengenai penggunaan memori:
Pengaturan GPU terdistribusi untuk model besar: DeepSeek-R1-Zero dan DeepSeek-R1 membutuhkan banyak memori grafis dan oleh karena itu konfigurasi GPU terdistribusi (mis. NVIDIA A100 atau H100 dalam pengaturan multi-GPU) untuk performa optimal.
Model Lite dioptimalkan untuk berjalan pada satu GPU dengan kebutuhan memori grafis yang lebih rendah, mulai dari 0,7 GB.
Penggunaan memori tambahan: Aktivasi, buffer, dan tugas batch dapat menggunakan memori tambahan.
Mengapa menjalankan secara lokal?
Chatbot web dan aplikasi seluler DeepSeek gratis dan sangat nyaman. Anda tidak perlu melakukan pengaturan apa pun, dan fitur-fitur seperti DeepThink dan pencarian web sudah ada di dalamnya.
Namun, menjalankannya secara lokal mungkin merupakan pilihan yang lebih baik karena alasan berikut
Privasi
Ketika Anda menggunakan versi web atau aplikasi, kueri Anda dan semua berkas yang dilampirkan akan dikirim ke server DeepSeek untuk diproses, apa yang terjadi pada data ini Kami tidak tahu Menjalankan model secara lokal memastikan bahwa data Anda tetap berada di komputer Anda, memberikan Anda kendali penuh atas privasi Anda.
Akses offline
Menjalankan model secara lokal berarti Anda tidak memerlukan koneksi internet.
Jika Anda sedang bepergian, mengalami Wi-Fi yang tidak stabil, atau lebih suka bekerja secara offline, pengaturan lokal memungkinkan Anda untuk menggunakan DeepSeek kapan saja, di mana saja.
Bukti masa depan
Saat ini, layanan DeepSeek gratis, tetapi ini tidak mungkin berlangsung selamanya. Pada titik tertentu, layanan ini mungkin perlu dimonetisasi, dan pembatasan penggunaan atau biaya berlangganan mungkin muncul. Dengan model lokal, Anda bisa menghindari pembatasan ini sama sekali.
Fleksibel
Dengan versi lokal, Anda tidak dibatasi oleh pengaturan default, Ingin menyempurnakan model?
Mengintegrasikannya dengan alat lain? Membangun antarmuka khusus? Sifat open source DeepSeek R1 menawarkan kemungkinan yang tak terbatas.
Ringkasan
Saat ini, masih belum jelas bagaimana DeepSeek menangani data pengguna.
Jika Anda tidak peduli dengan privasi data, menggunakan web atau aplikasi seluler mungkin merupakan pilihan yang lebih baik. Aplikasi ini lebih mudah digunakan dan menawarkan fitur-fitur seperti DeepThink dan pencarian web.
Tetapi jika Anda peduli dengan ke mana data Anda pergi, model lokal adalah alternatif yang baik untuk dipertimbangkan.
Model DeepSeek didesain untuk bekerja dengan baik bahkan pada perangkat keras yang tidak terlalu bertenaga.
Sementara model yang lebih besar seperti DeepSeek-R1-Zero memerlukan pengaturan GPU terdistribusi, versi lite memungkinkan untuk berjalan dengan lancar pada satu GPU dengan kebutuhan memori yang lebih rendah.
