tenll 发表于 2025-1-30 15:27
内存有1t用cpu能跑？家里的nas刚好有1t内存，就怕cpu跑速度太慢
[恶魔]
不是1t硬盘，是1t RAM[生病]
本帖最后由 lh4357 于 2025-1-30 15:32 编辑
单路EPYC 9004或9005能插3T内存（256x12）。
双路再翻倍。
lh4357 发表于 2025-1-30 15:30
单路EPYC 9004或9005能插3T内存（256x12）。
双路再翻倍。
[流汗]
单根256G内存条，是DDR5么？
listree 发表于 2025-1-30 15:33
单根256G内存条，是DDR5么？
D4和D5都有单条256。
lh4357 发表于 2025-1-30 15:35
D4和D5都有单条256。
一根内存条8000多元么[生病]
Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。
ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda c的标准汇编实现，是超算里面的常规优化方式。
listree 发表于 2025-1-30 15:26
插满1536Gb内存了
deep seek官方每个机器是 1536Gb内存么
deepseek是把模型分散在多台计算机的显卡里面，然后通过nvlink/IB连接，不需要每台都把完整模型放到显存/内存里面。
listree 发表于 2025-1-30 15:24
D4服务器什么意思，ddr4？
512需要8个插槽，1t需要16个插槽，选什么主板呢 ...
双路大都是16槽64g是便宜，300一条。128开始就贵了1000多一条
2011支持64g 1T。3647支持128g 2T以上
https://item.taobao.com/item.htm?abbucket=2&id=688110348993&ns=1&pisk=g_paGKw1sAHZDQKyRLX4U7fA5UXOatuSQK_fmnxcfNbG5njc3eYjXNtmWEJV-ndsXsgT0lpez-wsWfK03t6mP4MSFhIFHt0WhknR7PIPVrDfSZjhBi1tRDaIFhKOklzmVBD7uqsubKNcoEXhtgIRnGfcjymF0g7cnNf0-Wjl-tmG5IsH3i8kDrb659425FQcBNtfAHjXJZsfDG2I0LdX1IQXhyw21LTOXOTAnDScbPjcs-VhxgIcnS20n9XhDie0o5VG-DSA-ZXcnEXnIEKMmJ7Fsm2BvmB3GBfNrhbUUHpFjY_-ewe0npSwYZxGM-2DLG5MHngvNIC6i3CJCpD4pOtyt9jWXAyFEhjy5wToEJWHAHYfwB3YF6Le3_9G1o0AsFRHVIfEjAxFQN5PY_ruTORDWK59_onJxOYpwaCi92IeCL1Vy6znSHtFS_R252ec5Q-H8_9QR86vJIYc0e4N4y4AxkhwHCz0g1jdYaiEYLWS45Tn9ZQ8MSCheM7S20FYM1bhYaiHfSFA67jFPcX1.&priceTId=undefined&skuId=4902807664129&spm=a21n57.1.item.9.3a00453ddTkySt&utparam=%7B%22aplus_abtest%22%3A%221d30806eb6ab18e13fd3781ae726c904%22%7D&xxc=taobaoSearch
主板4000
不能说最便宜了吧，但是起码是很便宜了
16X128G内存就够了吧
https://item.taobao.com/item.htm?abbucket=2&id=624284999977&ns=1&pisk=gZg_GUGhhOX1PvpmxAAUF7EUHBUjoB8PCsNxZjQNMPUTHDGohRRDjPoQhvHQBNRMjoejIPEmb-yahrGmFBJyzUlisr2JUL8yn4W1hzbYM5BVJWFbl5L68HRtsr4vhqxWoLliehXAtKVY9BN4gGBtHlEpJ7eLMGUxHJELw7WTkxKTHnNodS3qmZevhSko_PzxI-njqSFTQrrVYwnrpqVDsIFAG0H5sm0gjxOngJQO6NEYJ6F7wZexHSEL9SNOk1IOXeBLwJeYkrHx9BNqQlf7GhNx1CGzeW8PFHGzdZQxRWp0TfONS73a1leS6V_F8SV_f8hTpLvCopqKiogciZwK60D0wAB9UlcxAvN_leSTyXixFW09zONnbXhzpb1Vufzs7jwtBnRZOqw_2VECGQh7RSHYcDv5z5aZAugsjIXK6Yys2PcVNdlQVDZu9kCfXPoraqq-WF6uLuVjQJkJywaLDgSlz8Ghki1QqZNQUBOCmiDw7nQcp0GfqlF31kRBO9s0XWVQwBOC0RZTtW7wOBszP&priceTId=2150433617382258779431945ee0ee&skuId=5123265311081&spm=a21n57.1.hoverItem.2&utparam=%7B%22aplus_abtest%22%3A%2294e145d07e3d40f7a1769ba0ed097e96%22%7D&xxc=taobaoSearch
16X1200
https://item.taobao.com/item.htm?abbucket=2&id=734046136674&ns=1&pisk=glX3Gkwjv6RIoQy0dV9QGoKSpRPt7p9WOaHJyLLz_F8spQ88OaAlyNOPppIdSU7Ar3BdeTfsEis5pk98ApsBFLzYk-UlAM95u51YG9mZ_3IZaY-U6dzKbL2Tk-eAjhalzRaApVmwNZtxULReaAkw53xyzv7y_A-W7v-rL3uajF6opgLPvC-lKHkppBWLEzx5dvdJPLJNrgs-NX-CyhOOktHRyvZQBf6VZepW9a8aQn-JY4-yzhSw5nMEUL8r_d-yDbuezaSaj3TwzLREQ6DyoT5VQP41DpNJyoB2xBYVYeSdmOoyaXsMSYDPI1AXuKLiUYWMYGLtDkM0wE5XJIdh7RHHEG-lJFQ43AvwissJqw2nLpCN199dBrmXtaYBgOOgNxdGb99NLsmrUGvH8aXyt24Mu9sNhdRT3ojNCwICIgnzUhQv7M6eE-rXKp8eIh685v8l__WpOLgUkBsPsNxH3glx_jlLUYta2OlSNB-6jEH1vdKAK-UWylqiGWOefnTYjlcSuB-6b4rgjjkwThtUg&priceTId=2150433617382257882345643ee0ee&skuId=5076247352422&spm=a21n57.1.hoverItem.10&utparam=%7B%22aplus_abtest%22%3A%220e0800243b648ef4f16a78f39ad037e9%22%7D&xxc=taobaoSearch
1250块X2
显卡一共10个槽，按照最便宜的XEON 4310T 提供的单U 64通道，双U128通道
这主板10个PCIE 16X槽，最多能提供6X8+4X16=112条PCIE通道
就算用普通的PCIE显卡，每4条通道一片显卡，也能支持28片显卡的基础平台了
也就是说，板+U+内存一共25700，加上300块钱散热器，就能提供足以满足LZ需求的基础平台了
去年装好没挂存储池的家庭服务器[偷笑]
kerafyrm 发表于 2025-1-30 13:59
服务器主板啊，双路cpu，32g一根ddr5，插24根
ddr4 3200还行。ddr5，算了吧。
AMD EPYC2代服务器主板256GB内存
jleee 发表于 2025-1-30 17:07
ddr4 3200还行。ddr5，算了吧。
ddr4 单根256G内存，你见过么？
StevenG 发表于 2025-1-30 17:04
去年装好没挂存储池的家庭服务器
你什么主板，内存这么大[狂笑]
listree 发表于 2025-1-30 18:16
你什么主板，内存这么大
双路，8条64g
StevenG 发表于 2025-1-30 18:23
双路，8条64g
说错了，16条。。。，习惯说8条了
listree 发表于 2025-1-30 15:29
不是1t硬盘，是1t RAM
你怎么知道人家的NAS是不是1T内存的EMC[偷笑]
listree 发表于 2025-1-30 15:29
不是1t硬盘，是1t RAM
我就惊了，一个小小nas居然有1T内存……原来是专业玩家[困惑]
其实这样应该也行，这个视频里跑的是 deepseek v1，理论上可以扩展到 deepseek r1
https://photos5.appleinsider.com/gallery/61850-128004-clusterhead-xl.jpg
noirchen 发表于 2025-1-30 18:51
其实这样应该也行，这个视频里跑的是 deepseek v1，理论上可以扩展到 deepseek r1
...
5个苹果小主机？
这种小主机的双力是不是很low？
gmlee1999 发表于 2025-1-30 18:30
我就惊了，一个小小nas居然有1T内存……原来是专业玩家
他的图有可能是P的[狂笑]
建议柠檬 发表于 2025-1-30 16:36
https://item.taobao.com/item.htm?abbucket=2&id=688110348993&ns=1&pisk=g_paGKw1sAHZDQKyRLX4U7fA5UXOat ...
插10个显卡，要配什么电源？
万一烧了，不是几十万一下子没了[生病]
首先不建议用 CPU + 内存跑，硬跑起来速度也很慢，非要跑有很多服务器平台支持 1T 以上内存
实在跑不动就量化开夸张一点，INT4 能节约不少，再多用点节约显存的技巧
不过还是建议用 GPU 跑，实在没大显存 GPU 就跑个 7b 的小模型玩玩算了，用 CPU 跑不到一秒都吐不出一个 token，等着不着急吗？
打算用五千買內存？[恶魔]
我輩樹である 发表于 2025-1-30 07:40
ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda...
也是quant常见作风 给data scientist可就不常见
只有我一个人好奇用DCPMM塞这个是否可行吗
Leciel 发表于 2025-1-30 16:07
嗯，让我来想想这个贴主的情况。他提到在读研时写过很多PTX代码，说明他在研究生阶段对CUDA编程有一定的 ...
你这是用R1推理的？
我輩樹である 发表于 2025-1-30 15:40
ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda...
可以用汇编直接调用显卡么[可爱]
listree 发表于 2025-1-30 19:11
可以用汇编直接调用显卡么
汇编还要编译为sass，一种机械码，这个才能直接调用显卡。