7900xtx本地部署32B qwen R1有人测试过吗

kingofgu · 发表于 2025-1-28 23:55

上下文会不会很紧张

ltwhu123 · 发表于 2025-1-28 23:57

7900xtx 以前试过 qwen 32b 很轻松啊

manwomans · 发表于 2025-1-29 01:07

用gguf的
显存不够了还能用内存跑

lsw7314 · 发表于 2025-1-29 01:18

我是用6900XT跑的14B 感觉速度还行 32B token的生成速度要慢不少吧

YsHaNg · 发表于 2025-1-29 02:42

lsw7314 发表于 2025-1-28 17:18
我是用6900XT跑的14B 感觉速度还行 32B token的生成速度要慢不少吧

14b 2k上下文 q3量化上古10系卡8gb显存都能跑

掩不住的锋芒 · 发表于 2025-1-29 05:25

16GB 的显存就够了呀。

掩不住的锋芒 · 发表于 2025-1-29 05:25

24GB 4090 是有多余的，70B 的要32GB显存或者更多。

allensakura · 发表于 2025-1-29 12:47

掩不住的锋芒发表于 2025-1-29 05:25
24GB 4090 是有多余的，70B 的要32GB显存或者更多。

FP8不用这麽大了

可以抱的萝卜 · 发表于 2025-1-30 00:11

本帖最后由可以抱的萝卜于 2025-1-30 00:28 编辑

刚看到一张AMD官方发布的7900XTX对比4080S和4090的图，另外还发了支持的显卡和处理器型号

APU最低8700G/8600G起步，显卡最低RX7600起步

kingofgu · 发表于 2025-1-30 02:09

可以抱的萝卜发表于 2025-1-30 00:11
刚看到一张AMD官方发布的7900XTX对比4080S和4090的图，另外还发了支持的显卡和处理器型号

APU最低8700G/86 ...

Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距

cloudybeyond · 发表于 2025-2-4 17:35

最近明显咸鱼上有人在收 7900xtx

psps3 · 发表于 2025-2-4 23:30

看b站有人测的34token/s
http://b23.tv/i69BRH9

cloudybeyond · 发表于 2025-2-5 00:08

我刚测 7900xtx 只有 27token/s, 那个人是怎么跑到34的

自挂东南枝 · 发表于 2025-2-5 03:01

Q4量化可以开12k上下文

wjm47196 · 发表于 2025-2-5 08:03

cloudybeyond 发表于 2025-2-5 00:08
我刚测 7900xtx 只有 27token/s, 那个人是怎么跑到34的

rocm环境+超频版卡，我这个超白金默认30-32m

wjm47196 · 发表于 2025-2-5 08:06

kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距

本地70b是因为可以调显存，比水果的m4u价格还是便宜的

nabababa · 发表于 2025-2-5 14:51

kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距

我试过，在最常用的知识问答方面，14B和670B都没有明显的差距。
真的说相差大，可能是在解题或者科研方面把。

落寞之心 · 发表于 2025-2-5 21:15

kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距

个人体感70B比32B聪明一些

martin_ni · 发表于 2025-2-5 21:50

本地部署的能和APP一样吗

tankren · 发表于 2025-2-5 21:52

martin_ni 发表于 2025-2-5 21:50
本地部署的能和APP一样吗

不能联网

martin_ni · 发表于 2025-2-5 21:53

tankren 发表于 2025-2-5 21:52
不能联网

刚才部署用了下，难怪感觉笨笨的

账号		自动登录	找回密码
密码			加入我们

[显卡] 7900xtx本地部署32B qwen R1有人测试过吗