deep seek完整模型700gb，什么机器可以装512gb以上内存条？
16g一根的内存条，要装32根，哪种机器有这么多内存插槽呢[困惑] 不是，氛围组连过节都不下班的啊 完整版不是700G哦，是1.3T 关键词：超微 但是，ollama上的所有的都是蒸馏后的版本，真正的R1原始版好像很大吧， xjr12000 发表于 2025-1-30 13:45
完整版不是700G哦，是1.3T
有人说未蒸馏模型文件大小是750G[偷笑] xjr12000 发表于 2025-1-30 13:47
但是，ollama上的所有的都是蒸馏后的版本，真正的R1原始版好像很大吧，
这个网站的链接可否发上来[狂笑] listree 发表于 2025-1-30 13:48
有人说未蒸馏模型文件大小是750G
700G的是q8的
1.3T才是fp16 问题是模型大小并不是和内存所需大小一致。
实际运算所需的内存空间要比模型更大，因为还要存储很多计算过程中产生的中间量
这就像在草稿纸上演算数学题，你得到的答案可能只是一个数字1，但过程可能会很复杂有很多行
所以个人家用机还是别想了 X99 ATX 可以 128G*8
MATX 可以 128G*4
ITX 可以 128G*2
要更多就只能 EPYC 或 Xeon Platinum 我不太懂，我猜测模型的体积多大，显存的需求就是多大
700GB显存。。。。
不知道我猜的对不对？[狂笑] xjr12000 发表于 2025-1-30 13:54
我不太懂，我猜测模型的体积多大，显存的需求就是多大
700GB显存。。。。
不知道我猜的对不对？ ...
显存最大的显卡，也就32G，怎么可能1.3t [生病] 还是多搞一堆显卡串起来用吧，内存加上cpu的算力，token一秒不到2位数，用显卡估计能高一个量级 lgblee 发表于 2025-1-30 13:54
X99 ATX 可以 128G*8
MATX 可以 128G*4
ITX 可以 128G*2
单根128G的内存条都出来了么[狂笑] 叶子烟 发表于 2025-1-30 13:43
不是，氛围组连过节都不下班的啊
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。
nvidia的方案是nvlink加上cuda栈，大户专注训练算法和数据源即可。
deepseek为了极致效率，绕过了Cuda，使用PTX，在机器（metal）层面实现了十倍以上的提速。大大降低了训练的费用。
https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead
普通用户买块24Gb显存的显卡，跑个32b参数的模型，速度和质量都够用。 listree 发表于 2025-1-30 13:56
单根128G的内存条都出来了么
2016年就有了，配E5v4的。
EPYC和Xeon Platinum支持单根256G，除了DOMINUS之外没有民用主板。 listree 发表于 2025-1-30 13:55
显存最大的显卡，也就32G，怎么可能1.3t
多卡互联啊，80G x 10就有了 xjr12000 发表于 2025-1-30 13:57
多卡互联啊，80G x 10就有了
哪个主板可以插10个显卡[无奈]
又不是矿 鸡[偷笑] 服务器主板啊，双路cpu，32g一根ddr5，插24根 Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。
模型大小1.3tb，显存96Gb，要14个显卡，什么主板支持插这么多显卡[失望] listree 发表于 2025-1-30 13:58
哪个主板可以插10个显卡
又不是矿 鸡
能插10张卡也买不起啊，北京一套房了 Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。
Cuda的底层也是PTX么？
deep seek 官方app用的是多少b参数模型？ 随便一个八年前的双路3647都能稳跑1.5T内存
周喆 发表于 2025-1-30 14:11
随便一个八年前的双路3647都能稳跑1.5T内存
128GB x 8 =1024GB，没到1.5T listree 发表于 2025-1-30 14:19
128GB x 8 =1024GB，没到1.5T
人家是6通道*2=12槽 D4服务器 64G一根。 双路支持512-1T内存 这个但凡你搜一下，一大堆服务器电脑都可以……
内存超大装系统装游戏的视频都一大堆了……
另外没钱想体验，网上有租算力的，8卡4090 48G的租一个月这个论坛应该没有租不起的吧……[睡觉] cameraman 发表于 2025-1-30 14:33
D4服务器 64G一根。 双路支持512-1T内存
D4服务器什么意思，ddr4？
512需要8个插槽，1t需要16个插槽，选什么主板呢[偷笑] 周喆 发表于 2025-1-30 14:30
人家是6通道*2=12槽
插满1536Gb内存了[狂笑]
deep seek官方每个机器是 1536Gb内存么[吃惊] 内存有1t用cpu能跑？家里的nas刚好有1t内存，就怕cpu跑速度太慢