领导让给公司搭个部署deepseek的机子，目标1k token/s

七月_鸢尾

2台8卡H100吧

su2353

你可以问下deepseek啊

xzzbox

这个事，去找幻方谈谈合作，搞个vip服务，是不是更合适一点。。

我輩樹である

这么大预算居然来网上找方案。没打过这么富裕的仗。

要达到1000t，肯定不是单个session 1000t，比如100个session，每个10-15t的速度是比较正常的场景。

根据目前网上的测试，最接近的场合是：
https://huggingface.co/unsloth/DeepSeek-R1-GGUF/discussions/9
在deepseek-r1 671b 1.58bit使用2xh100，可以达到单session 14-15t（达到阅读速度），总140t的速度。（unsloth宣称dynamic 1.58t模型可以达到原始模型fp16的80%性能）。

按照这个计算，大概需要14张左右的h100即可满足要求。一张h100国内大概30万人民币左右，加上其他设备费用可能在600-800w左右。

darkness66201

我輩樹である 发表于 2025-2-5 17:08
这么大预算居然来网上找方案。没打过这么富裕的仗。

要达到1000t，肯定不是单个session 1000t，比如100个s ...

我非常怀疑楼主的老板心目中的预算要少两个0

nagashinn

机器托管还是自己有机房？托管安全上麻烦，自己机房这规模风火水电玩得起么

VariedValiance

我輩樹である 发表于 2025-2-5 17:08
这么大预算居然来网上找方案。没打过这么富裕的仗。

要达到1000t，肯定不是单个session 1000t，比如100个s ...

差不多，基本是奔着八位数人民币去了，我感觉楼主的领导应该对1k token/s没啥概念

ooff22

等华为910c吧.....

uprit

1000 tokens/s ？？？多少预算啊。
你们明白这是啥概念吗？先不说别的，H200带宽4.8TB/s，意味着一张H200最多只加载4.8GB，完整671B权重按1.3T算，你得至少270张H200并行！！！说6位数7位数的，你们是认真的吗？？

hantty

1000tokens？我听到了啥？

lqf3dnow

请直接联系deepseek采购部署业务

591280714

楼主消失了

natt

我就吃这种助人为乐的隐形富裕帖，感觉特别得劲

44434610

世界真是个巨大的草台班子~~~~这么大的活，你不找专业公司报价？？？？

Pakwing

1000tokens

testmepro

你们领导是不是对671b没啥概念?这玩意我大概算了下没几十万玩不转啊,好吧几十万我都说少了

YsHaNg

manwomans 发表于 2025-2-5 08:39
自己部署的又不能联网搜索
直接api不香嘛

谁说不能

steel911

https://unsloth.ai/blog/deepseekr1-dynamic?mwg_rnd=9637111

用这个量化过的版本，671B的DeepSeekR1，从原版720GB缩减到131GB，可以2张H100， 140Token/s

公司已经部署上了，4张L40 48GB

Alienxzy

什么海口公司这么牛逼啊

StevenG

完整版，还1000token/s，你来错地方了。。
本论坛应该没有人部署过这个规模的算力集群。。

af_x_if

不用那么着急的，一年后可能deepseek最强模型的规模上千b了，同时那个模型的72b蒸馏也跟R1有来有回了。
先api用着，担心卡就去包个专线。

bennq

yan1990_y 发表于 2025-2-5 16:23
加个零都不够

6位数才10万,7位100万+,1k token,估计要几个7位数

bennq

21mm 发表于 2025-2-5 16:36
nvl 72   3872tokens /s   参考下。

这个 350w美金,还买不到

LocaVoiD

我觉得不用量化这件事一定概率说明需求方根本不清楚自己想要什么，就好像见过很多次的要求装一台剪辑机必须零卡顿剪AV1 VP9坚决不用代理一样

ice0291

《搭个机子，deepseek 完整版 1k token/s》

pdvc

国内部署？买H20吧

atiufo

果然非常的领导做派

liutao0814

你先问下你们老板身价多少！

黑白音符

笑死，本来心想671B用cpu跑也不是不行，再一看1000token的速度，怕不是你的领导在逗你玩

ckloop

张口就来领导 + 张口就来楼主