昨天在本地部署了deepseek r1-8b\14b\32b

loughlion

win11，137K 默频，64G D4 3200，2060 12G，试了deepseek r1-8b\14b\32b，
以前没玩过本地化ai模型，暂时只能拿小说测试，8b还挺流畅，14b能感觉明显比8b慢一点，32b就慢得有点难受了，感觉14b是个比较好的平衡点
用32b跑小说的时候，后台查看资源占用，发现cpu占用大约47%~50%，内存占用33%，12G显存占用10.5G，还有给共享显存占用10G。

iMARS

我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090

红色的狂想

iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090

你上14b吧，或者32b?

loughlion

iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090

你看我的配置应该能发现，对显卡要求不高，我的2060都能勉强跑得动32b

459413498

所以一般家用电脑本地跑 14/16b的就差不多了

chip_discovery

iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090

4090 24G 只能玩32B，70B需要43G显存

PS. 32B 要求显存20G，2080ti 22g 还挺快的

Miner

32b 什么版本？4位量化？

psps3

32b爆显存了，所以会很慢

loughlion

Miner 发表于 2025-2-1 09:35
32b 什么版本？4位量化？

就ollama提供的32b版本

dikuf001

本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？

loughlion

dikuf001 发表于 2025-2-1 09:47
本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ ...

指望这个发财等于白日做梦。
只是刚接触这个，不知道能干点啥

dikuf001

loughlion 发表于 2025-2-1 09:59
指望这个发财等于白日做梦。
只是刚接触这个，不知道能干点啥

不能这么说，只要你真正掌握了使用它的方法，后面产生的生产力，会有你想不到的结果的。

gmlee1999

dikuf001 发表于 2025-2-1 09:47
本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ ...

纯靠它写过不了审核的，你以为网文网站审核是吃素的？只能给你提供一些借鉴，你自己拿他慢慢改还凑合。

tommyli219

请问有教程吗？137K+48G+4070S

syringalibra

tommyli219 发表于 2025-2-1 10:26
请问有教程吗？137K+48G+4070S

下载LM Studio，搜索deepseek R1，选择适配的模型（有绿色标签即可用）
https://lmstudio.ai/

谎言之神Cyric

智能水平和应用直接提供的免费问答水平有多少不同呢，本地部署又额外做了什么参数设置、模型调整和知识库处理呢？

AiReason

我最想知道的是这几个蒸馏模型智力的区别有多大

Oxyer

4090及以下14B Q6是甜蜜点，再高都肉眼可见的慢了

loughlion

syringalibra 发表于 2025-2-1 10:39
下载LM Studio，搜索deepseek R1，选择适配的模型（有绿色标签即可用）
https://lmstudio.ai/ ...

我是用ollama，LM studio和ollama有什么不同呢？

q3again0605

这些都是蒸馏deepseek r1得到的模型，deepseek r1本身是671B的moe模型。

syringalibra

loughlion 发表于 2025-2-1 10:54
我是用ollama，LM studio和ollama有什么不同呢？

LM Studio图形界面，设置起来容易一点，比如CPU和GPU的加载分配等等，其他和ollama没什么区别

testmepro

我笔记本 12950hx/64G/a4500 16G,跑32b蹦字用的ollama在win11上跑的

lyjspeed

需要AVX2指令集，我这老E5 V2不支持了....

老饭

你这个配置，纯拿cpu跑比显卡快

jihuan

这个都不是R1吧 都是千问 拿R1蒸馏的

summerbee

我拿16G运存的M2的mac mini跑，8b的模型，GPU满载，内存50%，CPU基本不占用资源。

xjr12000

671B都能跑起来，而且是无蒸馏版
价格不贵，起码比你买5090便宜

yopmai

看上去不错，

晚点用我4张22G RTX2080TI测试一下

loughlion

syringalibra 发表于 2025-2-1 11:50
LM Studio图形界面，设置起来容易一点，比如CPU和GPU的加载分配等等，其他和ollama没什么区别 ...

我也用了图形界面，chatbox的，ollama+chatbox会不会比LM Studio资源占用多？要是换LM是不是要收费啊？

deluba

学习一下