DeepSeek R1중국 AI 회사 딥시크가 개발한 새로운 오픈소스 AI 언어 모델인 '딥시크'가 현재 인기를 끌고 있습니다.
일부 사용자는 추론 기능 측면에서 OpenAI의 o1과 비슷하거나 더 강력하다고 주장합니다.
현재 DeepSeek는 무료로 제공되므로 사용자에게는 좋은 소식이지만 몇 가지 의문이 제기되기도 합니다.
사용자 수가 증가함에 따라 서버 비용은 어떻게 감당할 수 있을까요? 모델을 실행하는 하드웨어가 저렴해서는 안 되겠죠?
합리적인 추측 중 하나는 데이터입니다.
데이터는 AI 모델의 생명선이며, 어떤 방식으로든 사용자 데이터를 수집할 수 있고 이 데이터는 거래 모델이나 다른 형태의 수익 창출에 유용할 수 있습니다.
데이터 개인정보 보호가 걱정되지만 데이터를 공유하지 않고 R1을 사용하려는 경우 가장 좋은 방법은 로컬에서 모델을 실행하는 것입니다.
무엇 DeepSeek R1?
며칠 전, 완전한 오픈 소스 모델인 DeepSeek R1이 출시되었습니다. 즉, 누구나 기본 코드에 액세스하여 수정하고 자신의 필요에 맞게 미세 조정할 수 있습니다.
DeepSeek R1(흔히 R1로 약칭)은 DeepSeek-V3라는 대규모 기본 모델에서 파생되었습니다.
연구팀은 감독 미세 조정(SFT)과 고품질의 수동 주석이 달린 데이터 및 강화 학습(RL)을 결합하여 이 모델을 최적화했습니다.
그 결과 복잡한 프롬프트를 처리하고, 복잡한 질문에 대한 추론을 다른 모델보다 더 명확하게 보여주며, 빠른 테스트를 위해 채팅 인터페이스에 코드를 제시할 수 있는 챗봇이 탄생했습니다.
특히 오픈소스 모델치고는 정말 인상적인 기능입니다.
DeepSeek R1을 로컬에서 실행하는 방법
To 로컬에서 DeepSeek R1 실행라는 도구를 사용할 것입니다.
Ollama는 사용자가 컴퓨터에서 로컬로 대규모 언어 모델(LLM)을 실행할 수 있는 무료 오픈 소스 도구입니다.
macOS, Linux, Windows에서 사용할 수 있으며, 공식 올라마 웹사이트를 방문하여 '다운로드' 버튼을 클릭한 후 시스템에 설치하세요.
설치가 성공적으로 완료되었는지 확인합니다,
터미널을 열고 다음 명령을 실행합니다.
오류 메시지 대신 Ollama 버전 번호가 표시되어야 합니다.
'모델' 탭에서 키워드 'deepseek'을 검색하면 목록 상단에 'deepseek-r1'이 표시됩니다.
이를 클릭하면 "모델" 섹션에 50억에서 671억 범위의 매개 변수를 가진 여러 모델 크기가 있음을 알 수 있으며, 일반적으로 큰 모델을 실행하려면 더 강력한 GPU가 필요합니다.
80억 개의 파라미터 버전과 같은 작은 모델은 8GB의 그래픽 메모리가 있는 GPU에서 실행할 수 있지만, 큰 모델은 훨씬 더 많은 리소스가 필요합니다(아래 그래픽 메모리 및 GPU 요구 사항에 대한 섹션 참조).
80억 개의 매개변수 모델을 다운로드하고 실행하려면 다음 명령을 사용합니다:OLLAMA RUN DEEPSEEK-R1:8B
모델 다운로드가 시작됩니다(약 4.9GB).계속하기 전에 디스크 공간이 충분한지 확인하세요.
다운로드가 완료되면 로컬 컴퓨터에서 모델이 실행되며 즉시 대화를 시작할 수 있습니다.
샘플 프롬프트를 통해 이를 테스트해 보겠습니다:
프롬프트: DeepSeek R-1이란??
응답: 딥시크릿 R-1은 중국 회사 딥시크릿에서 개발한 인공지능 비서입니다.
수학, 프로그래밍, 자연어 처리 등 다양한 주제에 대한 답변과 도움을 제공하도록 설계되었습니다. 궁금한 점이 있거나 도움이 필요하면 언제든지 문의해 주세요!
훌륭합니다.
빠르고 Wi-Fi 네트워크에서 노트북 연결을 끊어도 작동합니다. 인터넷에 연결되어 있어도 인터넷에 액세스할 수 없다는 점에 유의하세요.
팁: AAPL의 최신 주가는 얼마입니까?
응답: AI 어시스턴트로서 실시간 데이터에 액세스할 수 없으므로 Apple Inc.(AAPL)의 최신 주가를 제공할 수 없습니다.
가장 정확한 최신 정보는 금융 뉴스 플랫폼이나 증권사 서비스를 확인하는 것이 좋으며, 그 외 올라마가 할 수 있는 일은 다음과 같습니다:
LLaMA2, Phi 4, 미스트랄, 젬마 2 등 로컬에서 LLM 실행사용자가 직접 LLM 생성 및 공유 가능모델 가중치, 구성, 데이터를 단일 패키지로 패키지화GPU 사용량을 포함한 설정 및 구성 세부 정보 최적화.
GPU 및 메모리 요구 사항
DeepSeek-R1의 메모리 요구 사항은 모델의 크기, 매개변수 수, 양자화 기법 등의 요인에 따라 달라집니다.
다음은 DeepSeek-R1 및 축소된 모델의 메모리 요구 사항과 권장 GPU에 대한 자세한 개요입니다:
메모리 사용량에 대한 주요 참고 사항:
대형 모델을 위한 분산 GPU 설정: 딥시크-R1-Zero 및 딥시크-R1은 많은 그래픽 메모리가 필요하므로 최적의 성능을 위해 분산 GPU 구성(예: 멀티 GPU 설정의 경우 NVIDIA A100 또는 H100)을 사용해야 합니다.
라이트 모델은 0.7GB부터 시작하는 낮은 그래픽 메모리 요구 사항으로 단일 GPU에서 실행되도록 최적화되어 있습니다.
추가 메모리 사용량: 활성화, 버퍼 및 배치 작업은 추가 메모리를 사용할 수 있습니다.
로컬에서 실행하는 이유는 무엇인가요?
DeepSeek의 웹 챗봇과 모바일 앱은 무료이며 매우 편리합니다. 별도의 설정이 필요 없으며, DeepThink 및 웹 검색과 같은 기능이 기본으로 제공됩니다.
그러나 다음과 같은 이유로 로컬에서 실행하는 것이 더 나은 옵션일 수 있습니다.
개인정보 보호
웹 또는 앱 버전을 사용하면 쿼리 및 첨부 파일이 처리를 위해 DeepSeek의 서버로 전송됩니다.이 데이터는 어떻게 되나요? 저희도 모릅니다.로컬에서 모델을 실행하면 데이터가 컴퓨터에 남아 있으므로 개인 정보를 완벽하게 제어할 수 있습니다.
오프라인 액세스
로컬에서 모델을 실행하면 인터넷 연결이 필요하지 않습니다.
여행 중이거나 불안정한 Wi-Fi를 만나거나 단순히 오프라인 작업을 선호하는 경우 로컬 설정을 통해 언제 어디서나 DeepSeek를 사용할 수 있습니다.
미래 대비
현재 DeepSeek의 서비스는 무료이지만, 이 서비스가 영원히 지속되지는 않을 것입니다. 언젠가는 수익 창출이 필요할 수 있으며, 사용 제한이나 구독료가 부과될 수 있습니다. 로컬 모델을 사용하면 이러한 제한을 완전히 피할 수 있습니다.
유연성
로컬 버전을 사용하면 기본 설정의 제한을 받지 않습니다.모델을 미세 조정하고 싶으신가요?
다른 도구와 통합하고 싶으신가요? 맞춤형 인터페이스를 구축하시나요? DeepSeek R1의 오픈 소스 특성은 무한한 가능성을 제공합니다.
요약
현재로서는 딥시크가 사용자 데이터를 어떻게 처리하는지는 아직 명확하지 않습니다.
데이터 개인정보 보호에 관심이 없다면 웹이나 모바일 앱을 사용하는 것이 더 나은 선택일 수 있습니다. 웹이나 모바일 앱은 사용하기가 더 쉽고 딥씽크 및 웹 검색과 같은 기능을 제공합니다.
하지만 데이터의 이동 경로가 중요하다면 로컬 모델을 고려하는 것도 좋은 대안이 될 수 있습니다.
DeepSeek 모델은 특별히 강력하지 않은 하드웨어에서도 잘 실행되도록 설계되었습니다.
DeepSeek-R1-Zero와 같은 대형 모델은 분산 GPU 설정이 필요하지만, 라이트 버전은 메모리 요구 사항이 낮은 단일 GPU에서도 원활하게 실행할 수 있습니다.
