昨天在本地部署了deepseek r1-8b\14b\32b
本帖最后由 loughlion 于 2025-2-1 09:40 编辑win11，137K 默频，64G D4 3200，2060 12G，试了deepseek r1-8b\14b\32b，
以前没玩过本地化ai模型，暂时只能拿小说测试，8b还挺流畅，14b能感觉明显比8b慢一点，32b就慢得有点难受了，感觉14b是个比较好的平衡点
用32b跑小说的时候，后台查看资源占用，发现cpu占用大约47%~50%，内存占用33%，12G显存占用10.5G，还有给共享显存占用10G。 我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090[可爱] iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090
你上14b吧，或者32b? iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090
你看我的配置应该能发现，对显卡要求不高，我的2060都能勉强跑得动32b 所以一般家用电脑本地跑 14/16b的就差不多了 本帖最后由 chip_discovery 于 2025-2-1 09:35 编辑
iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090
4090 24G 只能玩32B，70B需要43G显存
PS. 32B 要求显存20G，2080ti 22g 还挺快的 32b 什么版本？4位量化？ 32b爆显存了，所以会很慢 Miner 发表于 2025-2-1 09:35
32b 什么版本？4位量化？
就ollama提供的32b版本 本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ dikuf001 发表于 2025-2-1 09:47
本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ ...
指望这个发财等于白日做梦。
只是刚接触这个，不知道能干点啥 loughlion 发表于 2025-2-1 09:59
指望这个发财等于白日做梦。
只是刚接触这个，不知道能干点啥
不能这么说，只要你真正掌握了使用它的方法，后面产生的生产力，会有你想不到的结果的。 dikuf001 发表于 2025-2-1 09:47
本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ ...
纯靠它写过不了审核的，你以为网文网站审核是吃素的？只能给你提供一些借鉴，你自己拿他慢慢改还凑合。 请问有教程吗？137K+48G+4070S 本帖最后由 syringalibra 于 2025-2-1 10:41 编辑
tommyli219 发表于 2025-2-1 10:26
请问有教程吗？137K+48G+4070S
下载LM Studio，搜索deepseek R1，选择适配的模型（有绿色标签即可用）
https://lmstudio.ai/ 智能水平和应用直接提供的免费问答水平有多少不同呢，本地部署又额外做了什么参数设置、模型调整和知识库处理呢？ 我最想知道的是这几个蒸馏模型智力的区别有多大
4090及以下14B Q6是甜蜜点，再高都肉眼可见的慢了 syringalibra 发表于 2025-2-1 10:39
下载LM Studio，搜索deepseek R1，选择适配的模型（有绿色标签即可用）
https://lmstudio.ai/ ...
我是用ollama，LM studio和ollama有什么不同呢？ 这些都是蒸馏deepseek r1得到的模型，deepseek r1本身是671B的moe模型。 loughlion 发表于 2025-2-1 10:54
我是用ollama，LM studio和ollama有什么不同呢？
LM Studio图形界面，设置起来容易一点，比如CPU和GPU的加载分配等等，其他和ollama没什么区别 我笔记本 12950hx/64G/a4500 16G,跑32b蹦字用的ollama在win11上跑的 需要AVX2指令集，我这老E5 V2不支持了....[流汗] 你这个配置，纯拿cpu跑比显卡快 这个都不是R1吧 都是千问 拿R1蒸馏的 我拿16G运存的M2的mac mini跑，8b的模型，GPU满载，内存50%，CPU基本不占用资源。 671B都能跑起来，而且是无蒸馏版
价格不贵，起码比你买5090便宜
看上去不错，
晚点用我4张22G RTX2080TI测试一下 syringalibra 发表于 2025-2-1 11:50
LM Studio图形界面，设置起来容易一点，比如CPU和GPU的加载分配等等，其他和ollama没什么区别 ...
我也用了图形界面，chatbox的，ollama+chatbox会不会比LM Studio资源占用多？要是换LM是不是要收费啊？ 学习一下