4070+13700k+128内存带不动deepseek-r1 14B吗？
本帖最后由 vyvix 于 2025-3-19 20:10 编辑公版4070+13700k+128内存，带不动deepseek-r1 14B吗？
我安装的是Ollama：deepseek-r1:14b
客户端：Cherry Studio
8B速度挺快的，14B有点慢，可以通过设置提速吗？
8B：response_token/s: 45.81，prompt_token/s: 2736.29
14B：response_token/s: 7.55，prompt_token/s: 34.6
爆显存了，14B大概是13G多吧。你找个蒸馏得只有8G多的14B-Q4试试就知道了。 xysquare 发表于 2025-3-19 20:17
爆显存了，14B大概是13G多吧。你找个蒸馏得只有8G多的14B-Q4试试就知道了。
我用的是：ollama官网的deepseek-r1:14b（9.0GB），你说的在哪里下载？ 本帖最后由 YsHaNg 于 2025-3-19 12:57 编辑
vyvix 发表于 2025-3-19 12:19
我用的是：ollama官网的deepseek-r1:14b（9.0GB），你说的在哪里下载？
我记得ollama.com默认提供的是q4k_m 你换个q3的试试ollama run hf.co/unsloth/DeepSeek-R1-GGUF:Q3_K_M
ollama show deepseek-r1:14b看看模型是不是小于显存就好
ollama ps看看跑的时候是不是100%在gpu上
13700内存带宽太小 再快容易点的办法是换llama.cpp或者一步到位vllm/transformers 看见有2080ti的魔改22G 商家还带保修不知道跑个14B行不行·· 你没看见共享内存当显存了吗 我的3060 TI 8G显存 +至强 W3235+96兆内存，挺快的
a010301208 发表于 2025-3-19 21:23
你没看见共享内存当显存了吗
怎么解决呢？ vyvix 发表于 2025-3-19 22:33
怎么解决呢？
要么换大显存显卡，要么就别跑14B了，反正也爆显存了，用内存直接跑更大的模型 a010301208 发表于 2025-3-19 22:45
要么换大显存显卡，要么就别跑14B了，反正也爆显存了，用内存直接跑更大的模型 ...
内存直接跑更大的模型，怎么选内存跑？ vyvix 发表于 2025-3-20 00:24
内存直接跑更大的模型，怎么选内存跑？
自动分配 vyvix 发表于 2025-3-19 16:24
内存直接跑更大的模型，怎么选内存跑？
找个能给ollama传递参数的前端 pass num_gpu=0
open webui 不至于啊，我c612 2640v4 96G 内存加512M 亮机卡都可以跑14b ，不至于是硬件问题。 这速度还嫌慢啊？我137k+64g d+2060 12g还跑32b呢，速度更慢，能跑就行 gqy2000 发表于 2025-3-19 22:19
我的3060 TI 8G显存 +至强 W3235+96兆内存，挺快的
96兆????????????? 你带起来干嘛，14B可能还不如** 3.5，直接用满血API，你充10块钱能用好久了 vyvix 发表于 2025-3-19 20:19
我用的是：ollama官网的deepseek-r1:14b（9.0GB），你说的在哪里下载？
去抱脸网找找合适的模型。需科学。 12700k+ddr4 96g+A770 16G跑14B流畅，跑32B慢吞吞。
页:
[1]