领导让给公司搭个部署deepseek的机子，目标1k token/s

keang2 · 发表于 2025-2-9 13:38

这帖水的有水平

deader · 发表于 2025-2-10 16:48

测评供参考。

我輩樹である · 发表于 2025-2-10 17:00

deader 发表于 2025-2-10 16:48
测评供参考。

对标B200的机器。

但这个比较实在是太狡猾了，实际满足阅读速度的其实是556tps@32个会话，超过32个会话就会大幅下降。3500tps是开2000个会话，每个会话1.7tps。

amd还是一把宣传的好手。

testcb00 · 发表于 2025-2-10 17:12

吹牛贴一堆人争着回

allenxml · 发表于 2025-2-10 17:27

lyys 发表于 2025-2-7 22:44
320万？

现在一台8卡都160万了

allenxml · 发表于 2025-2-10 17:32

星空小琛发表于 2025-2-7 23:52
按照去年低我询价结果，算上配套800+了

4台atlas 800T A2，2台8865 4c，1台S5731,1台小NAS

a350dth · 发表于 2025-3-9 02:09

组装还是租赁啊都可以找我不知道能不能发广告

noah.zhu · 发表于 2025-3-9 02:24

估计你领导就是那种5万块钱做一个淘宝的那种。

woaiqiu947 · 发表于 2025-3-9 02:54

你们领导是真不懂还是他真的全权交给你来？

extremerock · 发表于 2025-3-9 03:13

小李啊，听说最近有个那个什么deepseek啊，还是满血版的，今天你去仓库把报废的办公电脑搬一台回来装上，明天给全集团的人都用起来啊。

lee9069 · 发表于 2025-3-9 09:29

manwomans 发表于 2025-2-5 16:39
自己部署的又不能联网搜索
直接api不香嘛

问下 api 可以喂自己的数据吗

5iphoto · 发表于 2025-3-9 09:40

一个敢问，一个敢接

乐乐的洋芋 · 发表于 2025-3-10 13:27

纯搞笑的

大肚飞鱼 · 发表于 2025-3-10 13:42

插个眼，免得哪天被问

ekiuc · 发表于 2025-3-10 14:05

这个得至少nvl36吧

账号		自动登录	找回密码
密码			加入我们

[装机] 领导让给公司搭个部署deepseek的机子，目标1k token/s