deep seek完整模型700gb，什么机器可以装512gb以上内存条？

listree

16g一根的内存条，要装32根，
哪种机器有这么多内存插槽呢

叶子烟

不是，氛围组连过节都不下班的啊

xjr12000

完整版不是700G哦，是1.3T

千河

关键词：超微

xjr12000

但是，ollama上的所有的都是蒸馏后的版本，真正的R1原始版好像很大吧，

listree

xjr12000 发表于 2025-1-30 13:45
完整版不是700G哦，是1.3T

有人说未蒸馏模型文件大小是750G

listree

xjr12000 发表于 2025-1-30 13:47
但是，ollama上的所有的都是蒸馏后的版本，真正的R1原始版好像很大吧，

这个网站的链接可否发上来

xjr12000

listree 发表于 2025-1-30 13:48
有人说未蒸馏模型文件大小是750G

700G的是q8的
1.3T才是fp16

General51

问题是模型大小并不是和内存所需大小一致。
实际运算所需的内存空间要比模型更大，因为还要存储很多计算过程中产生的中间量
这就像在草稿纸上演算数学题，你得到的答案可能只是一个数字1，但过程可能会很复杂有很多行
所以个人家用机还是别想了

lgblee

X99 ATX 可以 128G*8
MATX 可以 128G*4
ITX 可以 128G*2
要更多就只能 EPYC 或 Xeon Platinum

xjr12000

我不太懂，我猜测模型的体积多大，显存的需求就是多大
700GB显存。。。。
不知道我猜的对不对？

listree

xjr12000 发表于 2025-1-30 13:54
我不太懂，我猜测模型的体积多大，显存的需求就是多大
700GB显存。。。。
不知道我猜的对不对？ ...

显存最大的显卡，也就32G，怎么可能1.3t

xxyyy159

还是多搞一堆显卡串起来用吧，内存加上cpu的算力，token一秒不到2位数，用显卡估计能高一个量级

listree

lgblee 发表于 2025-1-30 13:54
X99 ATX 可以 128G*8
MATX 可以 128G*4
ITX 可以 128G*2

单根128G的内存条都出来了么

Leciel

叶子烟 发表于 2025-1-30 13:43
不是，氛围组连过节都不下班的啊

ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。
nvidia的方案是nvlink加上cuda栈，大户专注训练算法和数据源即可。

deepseek为了极致效率，绕过了Cuda，使用PTX，在机器（metal）层面实现了十倍以上的提速。大大降低了训练的费用。
https://www.tomshardware.com/tec ... programming-instead

普通用户买块24Gb显存的显卡，跑个32b参数的模型，速度和质量都够用。

lgblee

listree 发表于 2025-1-30 13:56
单根128G的内存条都出来了么

2016年就有了，配E5v4的。
EPYC和Xeon Platinum支持单根256G，除了DOMINUS之外没有民用主板。

xjr12000

listree 发表于 2025-1-30 13:55
显存最大的显卡，也就32G，怎么可能1.3t

多卡互联啊，80G x 10就有了

listree

xjr12000 发表于 2025-1-30 13:57
多卡互联啊，80G x 10就有了

哪个主板可以插10个显卡

又不是矿 鸡

kerafyrm

服务器主板啊，双路cpu，32g一根ddr5，插24根

listree

Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。

模型大小1.3tb，显存96Gb，要14个显卡，什么主板支持插这么多显卡

xjr12000

listree 发表于 2025-1-30 13:58
哪个主板可以插10个显卡

又不是矿 鸡

能插10张卡也买不起啊，北京一套房了

listree

Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。

Cuda的底层也是PTX么？

deep seek 官方app用的是多少b参数模型？

周喆

随便一个八年前的双路3647都能稳跑1.5T内存

listree

周喆 发表于 2025-1-30 14:11
随便一个八年前的双路3647都能稳跑1.5T内存

128GB x 8 =1024GB，没到1.5T

周喆

listree 发表于 2025-1-30 14:19
128GB x 8 =1024GB，没到1.5T

人家是6通道*2=12槽

cameraman

D4服务器 64G一根。 双路支持512-1T内存

xwmhlb

这个但凡你搜一下，一大堆服务器电脑都可以……
内存超大装系统装游戏的视频都一大堆了……
另外没钱想体验，网上有租算力的，8卡4090 48G的租一个月这个论坛应该没有租不起的吧……

listree

cameraman 发表于 2025-1-30 14:33
D4服务器 64G一根。 双路支持512-1T内存

D4服务器什么意思，ddr4？

512需要8个插槽，1t需要16个插槽，选什么主板呢

listree

周喆 发表于 2025-1-30 14:30
人家是6通道*2=12槽

插满1536Gb内存了

deep seek官方每个机器是 1536Gb内存么

tenll

内存有1t用cpu能跑？家里的nas刚好有1t内存，就怕cpu跑速度太慢