本地dsr1 671b8位 性价比最高的方案是华为300i duo吗？

Neo_Granzon

pdvc 发表于 2025-2-9 19:28
牢厂的卡个人不要买……

个人玩玩q4的话，升腾的计算卡确实没比RTX便宜多少，甚至比顶配Mac Studio还要贵。

Neo_Granzon

deepfishing 发表于 2025-2-27 10:53
那玩意有技术支持都不咋好用。
我感觉民用平台196G+双48G显卡就能玩2.22bit量化的模型，不如指望开源社区的 ...

农企那生态妥妥的被华为吊打，开源社区也没几个人优化RoCm，没啥搞头。

gyc

testmepro 发表于 2025-2-27 11:01
还是等评测吧现在预购开启了3月中旬卖

可以等等看，不过，需要雷电，现有的设备都不支持（哭）


要是就是 PCIE转接卡就好了， 但看外形，大概率不是， 应该是重新做了板子

testmepro

gyc 发表于 2025-2-27 15:51
可以等等看，不过，需要雷电，现有的设备都不支持（哭）

雷电接口吗?我笔记本倒是有雷电4,估计他那个可能是雷电5吧

gyc

testmepro 发表于 2025-2-27 15:52
雷电接口吗?我笔记本倒是有雷电4,估计他那个可能是雷电5吧

是雷电4， 我要了标准版（最大96G）那款的说明文档。

最大速率是40Gbps ， 模型先加载到 内存然后通过雷电传入到设备中的内存。。

testmepro

gyc 发表于 2025-2-27 15:54
是雷电4， 我要了标准版（最大96G）那款的说明文档。

最大速率是40Gbps ， 模型先加载到 内存然后通过雷 ...

我记着那个不是自己一套系统么.还需要电脑的内存?

gyc

testmepro 发表于 2025-2-27 15:56
我记着那个不是自己一套系统么.还需要电脑的内存?

是的，这个就相当于一个外置显卡/计算卡（NPU）

所以你还需要一台带有 雷电4的主机，内存一定要大，因为模型要先加载到内存在传输到 NPU上， 因此如果内存太小，会提示加载错误。

af_x_if

不是二手512GB服务器配个16GB显卡，拿KTransformer跑么。

testmepro

gyc 发表于 2025-2-27 17:00
是的，这个就相当于一个外置显卡/计算卡（NPU）

所以你还需要一台带有 雷电4的主机，内存一定要大，因为 ...

那还卖那么贵...

平安是福

darkness66201 发表于 2025-2-9 14:08
不考虑速度的话洋垃圾cpu塞满内存就能跑了

这个是思维链模型，token速度直接影响思维链推理速度。。。

gyc

testmepro 发表于 2025-2-27 17:58
那还卖那么贵...

你看看 DUO 300I 的升腾计算卡， 市场价格也是1.5W ，不过那个只有96GB

testmepro

gyc 发表于 2025-2-27 18:42
你看看 DUO 300I 的升腾计算卡， 市场价格也是1.5W ，不过那个只有96GB

跟ai沾边的就没有便宜的

darkness66201

平安是福 发表于 2025-2-27 18:10
这个是思维链模型，token速度直接影响思维链推理速度。。。

就说能不能跑吧，哈哈哈

gig

gyc 发表于 2025-2-10 17:12
晕，发现一个更有趣的东西

香橙派OrangePi AIStudio Pro

会便宜很多么？

gig

zhuifeng88 发表于 2025-2-27 12:01
要说910b还凑合, 300I duo且不提r1, 不如先看看怎么在没有专人技术支持的情况下把常见2bit量化格式的7b den ...

不至于吧，差到这个程度么？

gyc

gig 发表于 2025-4-3 16:01
会便宜很多么？

之前有看过一些介绍。
感觉整体还是比较差的，

优点是 纸面规格确实够高，1.5W价格可以获得 192G NPU计算卡

但是由于和第三方合作搞的，所以很多地方压缩很厉害，以下是缺点（仅供参考，目前没看到实物）

1. 显存速度不快， 设备使用LPDDR4X 作为了显存， 实际速率在4266Mbps （宣传截图，但这里没说具体 现存带宽）

2. 只支持 雷电4（USB4） 的PCIE扩展链接， 总带宽只有40Gbps ， 因此加载模型需要先在电脑端加载到内存，然后再传输到NPU中。

3. 软件方面的兼容性有待考证， 从初步资料来看，升腾方案 目前就只支持FP8和FP16运算， 其他规格量化目前支持度不是很好， 也就说要运行模型需要的显存至少约等于模型参数大小， 即 30B模型需要大约30G显存（FP8）或者60G显存（FP16）

4， 硬件扩展性不高， 虽然理论上是雷电4的“外置显卡（npu）设备”， 但是 目前电脑上能提供原生雷电4接口不多，而且大多数都电脑还没有雷电4 接口

5， 内部架构存疑，（猜测） 根据现有Duo 显卡规格来看，是两个 48G NPU 组合一起的， 那么 这个192G怪物 可能就是4个 48G NPU模块组合在一起，至于内部如何协同，通讯带宽多少，都是未知。  但有一点可以肯定是，与电脑连接带宽就只有40Gbps，也就说即便多卡互联成立，多卡之间速度只有40Gbps ，性能影响是巨大的。