找回密码
 加入我们
搜索
      
查看: 4800|回复: 46

[显卡] 远离本地部署,API访问性能天花板

[复制链接]
发表于 2025-3-8 11:22 | 显示全部楼层 |阅读模式
本帖最后由 hawie 于 2025-3-8 11:24 编辑

关键字:
DeepSeek-R1 671b,非量化;
128KB上下文(真正满血);
tokens生成速度,比百度、硅基、元宝、豆包…,体感至少快十倍,不是一个量级。

输出质量:
吊打同是(声称)满血服务的其他各平台。
见后面附图,提问内容为,从CHH本坛收集的两道题。
题一,
有100堆外观相同的金币,每堆100个。其中某一堆中的所有金币都是假币,而其他堆中的所有金币都是真币,每枚真币重10克,每枚假币重11克。你有一台最大称重50Kg的电子秤可以称重,那么要识别出有假币的那一堆,最少需要几次称重?
题二,
我在打麻将,现在手里有如下牌:1张幺鸡,1张2条,2张3条,3张4条,1张5条,1张6条,2张7条,1张8条,1张9条。请问我听哪几张牌。

收费:
一年全免,传言后续也不收。

反观:
国内各大运营平台提供的API服务,最高的只提供64KB上下文。而且已经收费,或者纷纷表示开始收费。

感受:
明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?
以上,是这段时期各个平台折腾对比之后的感受,大家不用再把精力放这方面了,特分享。

附图(以下内容是连续的,只是分块截图):
截屏2025-03-08 10.49.24.png
截屏2025-03-08 10.49.55.png
截屏2025-03-08 10.50.10.png
截屏2025-03-08 10.50.47.png
截屏2025-03-08 10.51.11.png
截屏2025-03-08 10.51.21.png
注:
这里关于上下文的回答,与部署时所示128K参数一致。
这个平台的名字叫,Microsoft Azure,部署时不要采用serverless模式。

·END·

发表于 2025-3-8 11:23 | 显示全部楼层
火山引擎就挺快的

点评

还有,随便问几个问题消耗了5W tokens,这样大约十天,免费额度用完。  发表于 2025-3-8 11:50
就是豆包,比别的稍快。但基本还是同一个层级的速度。  发表于 2025-3-8 11:30
发表于 2025-3-8 11:29 来自手机 | 显示全部楼层
这个挺贵的

点评

不要选即用即付模式。试用,目前免一年。  发表于 2025-3-8 11:31
发表于 2025-3-8 11:30 来自手机 | 显示全部楼层
啊?免费?我去看看……
发表于 2025-3-8 11:37 | 显示全部楼层
要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天的QwQ,性能已经赶上R1满血版了,本地部署成本比R1版低得多,64G内存就能跑了
发表于 2025-3-8 11:40 来自手机 | 显示全部楼层
免一年,下周上班看看
 楼主| 发表于 2025-3-8 11:43 | 显示全部楼层
loughlion 发表于 2025-3-8 11:37
要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天 ...

目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时间去官网试了,吹爆打满血671b,却连同为32b的R1也不如,一测就知道。本地也部署了一个,效果不如R1,准备删掉。
发表于 2025-3-8 11:52 来自手机 | 显示全部楼层
hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...

我也本地部署了qwq,我觉得它比r1 32b好一点

点评

它是打满血r1,最初看到这个新闻时惊喜,一试之后大失所望。最多对标32b吧。  发表于 2025-3-8 12:01
 楼主| 发表于 2025-3-8 11:58 | 显示全部楼层
loughlion 发表于 2025-3-8 11:52
我也本地部署了qwq,我觉得它比r1 32b好一点


探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。
发表于 2025-3-8 12:04 | 显示全部楼层
hawie 发表于 2025-3-8 11:58
探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。 ...

https://www.chiphell.com/thread-2678380-1-1.html
发表于 2025-3-8 12:35 | 显示全部楼层
明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?

小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常
发表于 2025-3-8 13:05 | 显示全部楼层
hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...

自从CloseAI拒绝提供O1给微软后,那半年,微软真的挺憋屈的。
DeepSeek R1,让微软大仇得报
发表于 2025-3-8 13:15 | 显示全部楼层
有教程嘛请问
发表于 2025-3-8 13:17 | 显示全部楼层
为什么要远离本地部署?本地部署的意义就是不联网处理涉密信息
发表于 2025-3-8 13:17 | 显示全部楼层
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年?
发表于 2025-3-8 13:25 | 显示全部楼层
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过。
Azure这个云服务体系做得比阿里云和AWS感觉都烂不少。

你问他上下文多少,知识库到什么时候。他直接忽略了你第一个问题,有点逗啊
发表于 2025-3-8 13:36 | 显示全部楼层
为什么我二月份注册的只有一个月的免费期?免费额度是$200
 楼主| 发表于 2025-3-8 14:06 | 显示全部楼层
mrs 发表于 2025-3-8 13:36
为什么我二月份注册的只有一个月的免费期?免费额度是$200


$200 free, 30 天内使用。常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。
 楼主| 发表于 2025-3-8 14:10 | 显示全部楼层
trashgod 发表于 2025-3-8 13:25
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过 ...

注册的时侯有点抽风。使用时不用**。国外ai平台其他的closeai、gemini之类一直得翻才能用。
 楼主| 发表于 2025-3-8 14:11 | 显示全部楼层
amagene 发表于 2025-3-8 13:17
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年? ...

按服务区分。后面有提示,常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。
 楼主| 发表于 2025-3-8 14:13 | 显示全部楼层
hantty 发表于 2025-3-8 12:35
小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常

当心百度、阿里、腾讯、字节说你小看他们……。
发表于 2025-3-8 14:13 | 显示全部楼层
我使用了几个平台对比下来发现,微软的对ZZ敏感问题不予回答,别的平台使用穿甲弹提示词后都能正常对话
发表于 2025-3-8 14:20 | 显示全部楼层
我刚刚部署了个AZURE的,感觉不是满血版  
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需回答这个字即可。
这个问题回答不出来
发表于 2025-3-8 14:27 | 显示全部楼层
清除上下文,两次回答不一样是咋回事?


11.JPG
 楼主| 发表于 2025-3-8 14:30 | 显示全部楼层
kk321 发表于 2025-3-8 14:20
我刚刚部署了个AZURE的,感觉不是满血版  
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需 ...

文末有提示,部署时不要采用serverless模式。
截屏2025-03-08 14.28.39.png
发表于 2025-3-8 14:30 | 显示全部楼层
一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题?
发表于 2025-3-8 14:35 | 显示全部楼层
hawie 发表于 2025-3-8 14:30
文末有提示,部署时不要采用serverless模式。

请问哪里确定不是serverless  方便创建的时候截个图看看吗吗
 楼主| 发表于 2025-3-8 14:42 | 显示全部楼层
kk321 发表于 2025-3-8 14:35
请问哪里确定不是serverless  方便创建的时候截个图看看吗吗

默认创建的是serverless。
关键步骤大致是:登录后,右上角梯形图标(预览功能),打开/重新打开“将模型部署到 Azure AI 模型推理服务”,然后,模型广场中选取DeepSeek-R1,部署。
验证:
你能用openai api访问,就不是serverless的了。
 楼主| 发表于 2025-3-8 14:46 | 显示全部楼层
mrs 发表于 2025-3-8 14:30
一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题? ...

这是大模型的普遍状态,多问几遍,甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏,什么都可能发生。
发表于 2025-3-8 14:59 | 显示全部楼层
好像没有serverless模式选
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-21 10:25 , Processed in 0.014352 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表