DeepSeek R1Çinli yapay zeka şirketi DeepSeek tarafından geliştirilen yeni bir açık kaynaklı yapay zeka dil modeli şu anda popüler.
Bazı kullanıcılar, çıkarım yetenekleri açısından OpenAI'nin o1'i ile karşılaştırılabilir veya hatta daha güçlü olduğunu iddia ediyor.
Şu anda DeepSeek ücretsiz, bu da kullanıcılar için iyi bir haber, ancak bazı soruları da beraberinde getiriyor.
Kullanıcı sayısı arttıkça sunucu maliyetini nasıl karşılayacaklar? Modeli çalıştıran donanım ucuz olmamalı, değil mi?
Makul bir tahmin veridir.
Veri, yapay zeka modellerinin can damarıdır. Kullanıcı verilerini bir şekilde toplayabilirler ve bu veriler ticaret modelleri veya diğer para kazanma biçimleri için yararlı olabilir.
Veri gizliliği konusunda endişeleriniz varsa ancak yine de veri paylaşmadan R1'i kullanmak istiyorsanız en iyi seçenek modeli yerel olarak çalıştırmaktır.
Nedir bu? DeepSeek R1?
Birkaç gün önce DeepSeek R1 tamamen açık kaynaklı bir model olarak tanıtıldı. Bu, herkesin temel koduna erişebileceği, değişiklikler yapabileceği ve hatta kendi ihtiyaçlarına göre ince ayar yapabileceği anlamına geliyor.
DeepSeek R1 (genellikle R1 olarak kısaltılır) DeepSeek-V3 adı verilen büyük bir temel modelden türetilmiştir.
Araştırma ekibi, denetimli ince ayarı (SFT) yüksek kaliteli manuel açıklamalı veriler ve takviyeli öğrenme (RL) ile birleştirerek bu modeli optimize etmiştir.
Bu sayede, karmaşık istemlerin üstesinden gelebilen, karmaşık soruların arkasındaki mantığı gösterebilen (bazen diğer modellerden daha net bir şekilde) ve hatta hızlı test için sohbet arayüzünde kod sunabilen bir sohbet robotu ortaya çıktı.
Özellikle açık kaynaklı bir model için gerçekten etkileyici.
DeepSeek R1 yerel olarak nasıl çalıştırılır
için DeepSeek R1'i yerel olarak çalıştırınOllama adlı bir araç kullanacağız.
Ollama, kullanıcıların büyük dil modellerini (LLM'ler) bilgisayarlarında yerel olarak çalıştırmalarına olanak tanıyan ücretsiz ve açık kaynaklı bir araçtır.
MacOS, Linux ve Windows için kullanılabilir. Resmi Ollama web sitesini ziyaret edin, "İndir" düğmesine tıklayın ve sisteminize yükleyin.
Başarılı bir kurulumu onaylamak için,
bir terminal açın ve aşağıdaki komutu çalıştırın: ollama -v
Bir hata mesajı yerine Ollama sürüm numarasını görmelisiniz.
"Modeller" sekmesi altında "deepseek" anahtar kelimesini aratın ve listenin en üstünde "deepseek-r1 "i görmelisiniz.
Üzerine tıkladığınızda "Modeller" bölümünde, 5 milyar ila 671 milyar arasında değişen parametrelere sahip birden fazla model boyutu olduğunu göreceksiniz Genel bir kural olarak, daha büyük modellerin çalıştırılması için daha güçlü GPU'lar gerekir.
Daha büyük modeller önemli ölçüde daha fazla kaynak gerektirirken 8 milyar parametreli versiyon gibi küçük bir model 8 GB grafik belleğine sahip bir GPU'da çalışabilir (grafik belleği ve GPU gereksinimleri ile ilgili aşağıdaki bölüme bakın).
8 milyar parametreli modeli indirmek ve çalıştırmak için aşağıdaki komutu kullanın:ollama run deepseek-r1:8b
Model indirilmeye başlayacaktır (yaklaşık 4,9 GB) Devam etmeden önce lütfen yeterli disk alanınız olduğundan emin olun.
İndirme işlemi tamamlandığında, model yerel bilgisayarınızda çalışacak ve onunla hemen bir görüşme başlatabilirsiniz.
Bunu örnek bir istemle test edelim:
İstem: DeepSeek R-1 nedir?
Yanıt: DeepSeek R-1, Çinli DeepSeek şirketi tarafından geliştirilen bir yapay zeka asistanıdır.
Matematik, programlama, doğal dil işleme vb. dahil ancak bunlarla sınırlı olmamak üzere çeşitli konularda cevaplar ve yardım sağlamak için tasarlanmıştır. Herhangi bir sorunuz varsa veya yardıma ihtiyacınız varsa, bana sormaktan çekinmeyin!
Harika.
Hızlı ve dizüstü bilgisayarımın Wi-Fi ağıyla bağlantısını kestiğimde bile çalışıyor. Lütfen siz bağlı olsanız bile internete erişemediğini unutmayın.
İpucu: AAPL'nin en son hisse fiyatı nedir?
Yanıt: Bir yapay zeka asistanı olarak gerçek zamanlı verilere erişemiyorum ve bu nedenle Apple Inc. (AAPL) şirketinin en son hisse fiyatını sağlayamıyorum.
En doğru ve güncel bilgiler için, finansal haber platformlarını veya aracılık hizmetlerinizi kontrol etmenizi öneririm Ollama'nın yapabileceği diğer şeyler:
LLaMA2, Phi 4, Mistral ve Gemma 2 dahil olmak üzere LLM'leri yerel olarak çalıştırınKullanıcıların kendi LLM'lerini oluşturmalarına ve paylaşmalarına izin verinModel ağırlıklarını, yapılandırmaları ve verileri tek bir pakette paketleyinGPU kullanımı dahil olmak üzere ayarları ve yapılandırma ayrıntılarını optimize edin.
GPU ve bellek gereksinimleri
DeepSeek-R1 için bellek gereksinimleri modelin boyutu, parametre sayısı ve niceleme tekniği gibi faktörlere bağlıdır.
DeepSeek-R1 ve indirgenmiş modeli için bellek gereksinimlerinin yanı sıra önerilen GPU'lara ilişkin ayrıntılı bir genel bakışı burada bulabilirsiniz:
Bellek kullanımına ilişkin önemli not:
Büyük modeller için dağıtılmış GPU kurulumu: DeepSeek-R1-Zero ve DeepSeek-R1 çok fazla grafik belleği gerektirir ve bu nedenle optimum performans için dağıtılmış bir GPU yapılandırması (örneğin, çoklu GPU kurulumunda NVIDIA A100 veya H100) gerekir.
Lite modeller, 0,7 GB'dan başlayan daha düşük grafik belleği gereksinimleri ile tek bir GPU üzerinde çalışacak şekilde optimize edilmiştir.
Ek bellek kullanımı: Etkinleştirme, arabellekler ve toplu görevler ek bellek tüketebilir.
Neden yerel olarak çalıştırılsın?
DeepSeek'in web sohbet robotu ve mobil uygulaması ücretsiz ve çok kullanışlıdır. Herhangi bir kurulum yapmanıza gerek yoktur ve DeepThink ve web araması gibi özellikler yerleşiktir.
Ancak, aşağıdaki nedenlerden dolayı yerel olarak çalıştırmak daha iyi bir seçenek olabilir
Gizlilik
Web veya uygulama sürümünü kullandığınızda, sorgularınız ve ekli dosyalar işlenmek üzere DeepSeek sunucularına gönderilir. Bu verilere ne olduğunu bilmiyoruz. Modeli yerel olarak çalıştırmak, verilerinizin bilgisayarınızda kalmasını sağlayarak gizliliğiniz üzerinde tam kontrol sahibi olmanızı sağlar.
Çevrimdışı erişim
Modeli yerel olarak çalıştırmak, internet bağlantısına ihtiyacınız olmadığı anlamına gelir.
Seyahat ediyorsanız, dengesiz Wi-Fi ile karşılaşıyorsanız veya sadece çevrimdışı çalışmayı tercih ediyorsanız, yerel kurulum DeepSeek'i istediğiniz zaman, istediğiniz yerde kullanmanıza olanak tanır.
Geleceğe hazır
Şu anda DeepSeek'in hizmetleri ücretsizdir, ancak bunun sonsuza kadar sürmesi olası değildir. Bir noktada, para kazanmaları gerekebilir ve kullanım kısıtlamaları veya abonelik ücretleri ortaya çıkabilir. Yerel model ile bu kısıtlamalardan tamamen kaçınabilirsiniz.
Esnek
Yerel sürümle, varsayılan ayarlarla sınırlı değilsiniz Modele ince ayar yapmak mı istiyorsunuz?
Diğer araçlarla entegre etmek mi? Özel bir arayüz oluşturmak mı? DeepSeek R1'in açık kaynak yapısı size sonsuz olanaklar sunar.
Özet
Şu anda DeepSeek'in kullanıcı verilerini nasıl işlediği hala belirsiz.
Veri gizliliğini önemsemiyorsanız, web veya mobil uygulamaları kullanmak daha iyi bir seçim olabilir. Bunların kullanımı daha kolaydır ve DeepThink ve web araması gibi özellikler sunarlar.
Ancak verilerinizin nereye gittiğini önemsiyorsanız, yerel model dikkate alınması gereken iyi bir alternatiftir.
DeepSeek modeli, özellikle güçlü olmayan donanımlarda bile iyi çalışacak şekilde tasarlanmıştır.
DeepSeek-R1-Zero gibi daha büyük modeller dağıtılmış bir GPU kurulumu gerektirirken, lite sürümü daha düşük bellek gereksinimleriyle tek bir GPU üzerinde sorunsuz çalışmayı mümkün kılar.
