看到有人烂炒本地部署deepseek带动显卡消费我就想笑

VariedValiance

chiyiangel 发表于 2025-2-20 09:43
7900XTX能跑model32B的Q4_K_M，我自己是只跑了14b，是有些弱智但有补充上下文起码不会“瞎说”（尤其涉及 ...

那还可以

cfan7777777

不要把自己的需求代替所有人的，有的需求只是在安全的大前提下成本允许的情况下适当减少工作量，比如很多信息化程度较低的审计部门花几w本地部署70b做一些初步工作，已经解决大问题，他们很多都觉得帮助很大了。说实在话现在投几十亿搞得那些审计大模型基本没什么可用性，除了上级来检查得时候开机，还没这个管用。

ricercar

amagene 发表于 2025-2-19 15:58
显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来 ...

个人本地部署就是玩玩的，真正的需求是企业学校研究所

Mufasa

是否利好显卡我不知道

利好内存条的销售是真的。。。。

amagene

ricercar 发表于 2025-2-20 10:53
个人本地部署就是玩玩的，真正的需求是企业学校研究所

个人本地部署是将来的一个爆发点，比游戏市场更大
只不过现在硬件太贵，无法普及

初秋的清晨丶

不用强行洗白，本地部署不等于投入商业使用，垂直领域能协助工作的很多，再者也很多个人和小企业部署玩玩只是想了解ai，看看能不能解决一些企业问题，再者多部署玩玩多了解ai让自己不至于掉队有问题吗

jianghaitao

pingji 发表于 2025-2-19 16:23
一台8卡240w和100张卡240w你选哪个，别说什么报账之类的事，在这种价差面前那都不是问题，当国企呢这么正 ...

国企也有很多办法通过非正规渠道占这种便宜，报账根本就不是事，至少在我这是没问题的（移动）

lja046

大佬有没有推荐的API，DS自己的目前关闭购买通道了

agrant

我觉得多个选择不是坏事，特别是从无到有的新实物。
价格、技术等各方面的因素，后面都会迭代改善的，实在不行的话，市场会淘汰的……
以前大哥大，过万的价格（当年的万元户），话费也贵，只有少数人在用
总不能说，这钱花来买邮票寄信可以寄20年了，谁知道多少年后就从2G到5G了
期间被淘汰的也有，比如小灵通。

我輩樹である

chiyiangel 发表于 2025-2-20 09:43
7900XTX能跑model32B的Q4_K_M，我自己是只跑了14b，是有些弱智但有补充上下文起码不会“瞎说”（尤其涉及 ...

蒸馏版中32b的其实是最好的，最近的测试里面吊打70b的。

千问和llama之间的差距吧，llama可能版本太老了。



注意这个测试主要关注的是专业知识，这意味32b的模型更适合做垂直领域的模型。

manwomans

大模型不联网也是个弱智
纯粹就是玩玩
大部分跟风部署的压根不知道api的方便之处
而且拿安全当理由就是可笑
99%的使用场景压根还上升不到安全的高度

manwomans

lja046 发表于 2025-2-20 11:19
大佬有没有推荐的API，DS自己的目前关闭购买通道了

火山引擎
还送50万token
速度也比硅基流动的快多了

pingji

jianghaitao 发表于 2025-2-20 11:14
国企也有很多办法通过非正规渠道占这种便宜，报账根本就不是事，至少在我这是没问题的（移动） ...

本来就不是啥问题，尤其是在几倍的价差面前

coolfgg

为了把我的4090利用起来玩玩，本地部署了个32b，玩玩挺好的，管他弱智不弱智，好玩就得了，而且我觉得他懂得东西再弱智，也比很多人聪明多了。

夏天的幻想

这是今天在OCTV包大人人那看到的一个本地部署配置。

qdzx123

夏天的幻想 发表于 2025-2-20 13:57
这是今天在OCTV包大人人那看到的一个本地部署配置。

什么方案？哪个模型 这配置很奇怪啊

chiyiangel

我輩樹である 发表于 2025-2-20 12:53
蒸馏版中32b的其实是最好的，最近的测试里面吊打70b的。

千问和llama之间的差距吧，llama可能版本太老了 ...

LLM还是参数量越大越好 毕竟 scaling law嘛 。。。

lja046

manwomans 发表于 2025-2-20 12:58
火山引擎
还送50万token
速度也比硅基流动的快多了

谢谢，我去看看

galfood

再加上现在很多云服务平台注册就送1000万-2000万Tokens，还有无限量不要钱的如讯飞，找个Chatbox多挂几个API，免费爽歪歪

galfood

fzyw 发表于 2025-2-19 16:37
deepseek不是已经暂停api充值了吗？

现在很多云服务商都开放满血R1了，可以先用第三方顶一顶，等幻方服务器扩容了再充值

galfood

chiyiangel 发表于 2025-2-20 09:43
7900XTX能跑model32B的Q4_K_M，我自己是只跑了14b，是有些弱智但有补充上下文起码不会“瞎说”（尤其涉及 ...

能跑和能用是两个概念，32B Q4没有20G以上显存的话，速度太感人了，4090以下顶天了32B Q2