KJCLUB - deepseek 설치

그래픽 카드(GPU): NVIDIA RTX 30 시리즈 이상, VRAM 8GB 이상 권장

운영 체제: Windows 10 이상 또는 Linux

소프트웨어:

Docker Desktop
Ollama

그래픽카드에 30만원을 투자해야 한다.

———————

설치 용량은?

딥시크(DeepSeek) 모델의 설치 용량은 선택하시는 모델의 크기에 따라 크게 달라집니다. 예를 들어, 딥시크는 다양한 크기의 모델을 제공하며, 일부 저용량 모델은 4GB 이하로 휴대폰에도 설치가 가능하지만, 대용량 모델의 경우 수백 기가바이트에 이를 수 있습니다.

news.koreadaily.com

일반적으로, 모델의 파라미터 수가 많을수록 더 많은 저장 공간과 GPU 메모리가 필요합니다. 따라서, 사용 목적과 시스템 사양에 맞는 모델을 선택하시는 것이 중요합니다.

——————

rtx3060 단일 gpu 사용시 적당한 모델과 설치 용량은?

NVIDIA GeForce RTX 3060 그래픽 카드는 12GB의 VRAM을 탑재하고 있습니다.

이러한 VRAM 용량을 고려할 때, 딥시크(DeepSeek) 모델 중 약 7억 개의 파라미터를 가진 7B 모델이 적합할 것으로 보입니다. 일반적으로 1억 개의 파라미터당 약 1GB의 VRAM이 필요하다는 점을 감안하면, 7B 모델은 RTX 3060의 12GB VRAM으로 무리 없이 구동할 수 있습니다.

또한, 모델의 파라미터 수가 증가할수록 더 많은 VRAM이 필요하며, VRAM 용량을 초과하는 모델을 실행할 경우 성능 저하나 실행 불가 등의 문제가 발생할 수 있습니다. 따라서, RTX 3060을 사용할 경우 7B 모델을 선택하시는 것이 적절하며, 이 모델의 설치 용량은 약 13GB 정도로 예상됩니다.

추가로, 딥시크 모델을 로컬 환경에서 실행하기 위해서는 Docker Desktop과 Ollama 등의 소프트웨어 설치가 필요하며, 이러한 소프트웨어와 모델 파일을 저장하기 위한 충분한 디스크 공간도 확보하셔야 합니다

일본어로 보기

deepseek 設置

グラフィックカード(GPU): NVIDIA RTX 30 シリーズ以上, VRAM 8GB 以上勧奨

運営体制: Windows 10 以上または Linux

ソフトウェア:

Docker Desktop
Ollama

グラフィックカードに 30万ウォンを投資しなければならない.

--------------

設置用量は?

ディブシク(DeepSeek) モデルの設置用量は選択するモデルの大きさによって大きく変わります. 例えば, ディブシクは多様な大きさのモデルを提供して, 一部低用量モデルは 4GB 以下で携帯電話にも設置が可能だが, 大容量モデルの場合数百ギガバイトにのぼることができます.

news.koreadaily.com

一般的に, モデルのパラメーター数が多いほどもっと多い保存空間と GPU メモリーが必要です. よって, 使用目的とシステム仕様に当たるモデルを選択するのが重要です.

------------

rtx3060 単一 gpu 使用の時適当なモデルと設置用量は?

NVIDIA GeForce RTX 3060 グラフィックカードは 12GBの VRAMを搭載しています.

このような VRAM 用量を考慮する時, ディブシク(DeepSeek) モデルの中で約 7億個のパラメーターを持った 7B モデルが相応しいようです. 一般的に 1億個のパラメーター当たり約 1GBの VRAMが必要だという点を勘案すれば, 7B モデルは RTX 3060の 12GB VRAMで無理なく駆動することができます.

も, モデルのパラメーター数が増加するほどもっと多くの VRAMが必要であり, VRAM 用量を超過するモデルを行う場合性能私するが実行不可などの問題が発生することができます. よって, RTX 3060を使う場合 7B モデルを選択するのが適切であり, このモデルの設置用量は約 13GB 程度に予想されます.

追加で, ディブシクモデルをローカル環境で行うためには Docker Desktopと Ollama などのソフトウェア設置が必要であり, このようなソフトウェアとモデルファイルを保存するための十分なディスク空間も確保なさらなければなりません

번호	제목	글쓴이	날짜	조회	추천
	3/31(수) 패치내용 안내드립니다.	관리자	2023-03-24	244746	18
2696070	과거 독도 근해 불법 어업하는 일본 �.......	propertyOfJapan	03-12	560	0
2696069	트럼프:한국 30개월 이상 소 수입 압박 (1)	ca21Kimochi	03-12	558	0
2696068	나가사키에서 500년 계속 되는 디저트 .......	JAPAV57	03-12	541	1
2696067	한국인의 여러분!또 당신입니까? (2)	ドンガバ	03-12	618	3
2696066	트럼프 "이 전범국이.. 쌀에 700% 관세" (1)	sw49f	03-12	543	2
2696065	2천년전부터 디저트를 즐긴 한국 (2)	あかさたなはまやら	03-12	562	0
2696064	사진으로 아는 조선 도기의 허술함 (3)	JAPAV57	03-12	631	1
2696063	중국인 여러분	copysaru07	03-12	534	0
2696062	한국이 입다물어 이상한 상을 만들고 ....... (1)	ben2	03-12	595	0
2696061	16세기에는 디저트를 먹고 있었던 일�....... (2)	ben2	03-12	594	0
2696060	라이브 방송하던 20대 여자 사망. (3)	avenger	03-12	531	0
2696059	일본 규슈의 도자기를 발전시켜준 것�....... (4)	Prometheus	03-12	565	0
2696058	히데요시가 도공을 납치는 거짓말, 아....... (19)	JAPAV57	03-12	688	2
2696057	우크라이나 전선 상황 (4)	Computertop6	03-12	585	0
2696056	러시아가 한국이 우크라이나에게 지�.......	Computertop6	03-12	518	0
2696055	한국 용 도자기	Prometheus	03-12	510	0
2696054	사기꾼,불법 체류자 일본인 2명 체포	avenger	03-12	507	1
2696053	일본 빵의 도구의 점유율에 허리 빠뜨.......	ben2	03-12	585	0
2696052	중국이 한국과 일본을 공격(모래와 중.......	avenger	03-12	482	0
2696051	이것 일본인의 해명이 필요 합니다 (2)	Computertop6	03-12	480	0

번호

제목

글쓴이

날짜

조회