lh4357 发表于 2025-2-8 13:41
反正跑32b是永远吃不满。
5090我测下来可以跑到50t, 功耗480w，你再测测看看是不是软件更新适配了50系？
6800xt跑越狱版32b不到6t，勉强能用用
家用跑模型还得看mac
Technik 发表于 2025-2-7 13:18
4090D
total duration: 37.2562216s
load duration: 20.0582ms
我也好奇试了下，也是4090D
zcyandrew 发表于 2025-2-16 04:39
5090我测下来可以跑到50t, 功耗480w，你再测测看看是不是软件更新适配了50系？ ...
更新软件了，试了下，果然有提升。[狂笑]
lh4357 发表于 2025-2-16 12:00
更新软件了，试了下，果然有提升。
那这次真锁了个寂寞？你有测过训练吗
zcyandrew 发表于 2025-2-16 13:31
那这次真锁了个寂寞？你有测过训练吗
我不知道拿啥测训练。
常用的都是声音模型，但torchaudio居然到现在还没人编译个cuda12.8出来。。
本帖最后由 p_ricky777 于 2025-2-16 22:52 编辑
[震惊]
这个效果已经很好了，网上大把人部署的本地模型 10 tokens/s 都没有。
问题的复杂程度和输出的tokens/s 没有什么关系，问你好和问你十八代祖宗姓什么都差不多。
lbb68 发表于 2025-2-7 11:32
缩水版的 都是弱智，有啥用？
32B还有有些用的，企业方案落地里