7900xtx本地部署32B qwen R1有人测试过吗
上下文会不会很紧张 7900xtx 以前试过 qwen 32b 很轻松啊 用gguf的显存不够了还能用内存跑 我是用6900XT跑的14B 感觉速度还行 32B token的生成速度要慢不少吧 lsw7314 发表于 2025-1-28 17:18
我是用6900XT跑的14B 感觉速度还行 32B token的生成速度要慢不少吧
14b 2k上下文 q3量化 上古10系卡8gb显存都能跑 16GB 的显存就够了呀。 24GB 4090 是有多余的，70B 的要32GB显存或者更多。 掩不住的锋芒 发表于 2025-1-29 05:25
24GB 4090 是有多余的，70B 的要32GB显存或者更多。
FP8不用这麽大了 本帖最后由 可以抱的萝卜 于 2025-1-30 00:28 编辑
刚看到一张AMD官方发布的7900XTX对比4080S和4090的图，另外还发了支持的显卡和处理器型号
https://s21.ax1x.com/2025/01/30/pEVRHns.jpg
APU最低8700G/8600G起步，显卡最低RX7600起步
https://s21.ax1x.com/2025/01/30/pEVWe3D.png 可以抱的萝卜 发表于 2025-1-30 00:11
刚看到一张AMD官方发布的7900XTX对比4080S和4090的图，另外还发了支持的显卡和处理器型号
APU最低8700G/86 ...
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距 最近明显咸鱼上 有人在收 7900xtx 看b站有人测的34token/s
http://b23.tv/i69BRH9 我刚测 7900xtx 只有 27token/s, 那个人是怎么跑到34的 Q4量化可以开12k上下文 cloudybeyond 发表于 2025-2-5 00:08
我刚测 7900xtx 只有 27token/s, 那个人是怎么跑到34的
rocm环境+超频版卡，我这个超白金默认30-32m kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距
本地70b是因为可以调显存，比水果的m4u价格还是便宜的 kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距
我试过，在最常用的知识问答方面，14B和670B都没有明显的差距。
真的说相差大，可能是在解题或者科研方面把。 kingofgu 发表于 2025-1-30 02:09
Strix Halo一手本地70B直接无敌了
不过据说70B和32B拉不开差距
个人体感70B比32B聪明一些 本地部署的能和APP一样吗 martin_ni 发表于 2025-2-5 21:50
本地部署的能和APP一样吗
不能联网 tankren 发表于 2025-2-5 21:52
不能联网
刚才部署用了下， 难怪感觉笨笨的
页:
[1]