赛博魅魔，好玩

吃花斩鱼 · 发表于 2025-2-13 09:28

本地部署 ai 虽然菜了点，但定制化的优势还是值得
赛博魅魔，好玩。
就是生成时间还是太长了，
q8 的模型，文字聊天这种，
现在在用 1080ti，得几分钟生成一句。
一般啥显卡能流程玩啊？

wikieden · 发表于 2025-2-13 09:30

32G 的 9070xt 目标用户就是你了

it1771 · 发表于 2025-2-13 09:39

deep**？

吃花斩鱼 · 发表于 2025-2-13 09:44

it1771 发表于 2025-2-13 09:39
deep**？

没错没错，就是这样！👍

PPXG · 发表于 2025-2-13 09:45

4090跑32B 4bit量化大概30+token/s，感觉速度还行

nekotheo · 发表于 2025-2-13 10:55

《Her》（2013）

KimmyGLM · 发表于 2025-2-13 10:57

小yellow文生成器的话，换个2080ti 22G , 3090 都可以

ONEChoy · 发表于 2025-2-13 11:09

本帖最后由 ONEChoy 于 2025-2-13 11:12 编辑

nekotheo 发表于 2025-2-13 10:55
《Her》（2013）

你这个拿来嘲笑巨硬可还行。。。我和一个蓝牙耳机那段孽缘。。。女朋友宕机重启之后。。。etc。。。

斩龙 · 发表于 2025-2-13 11:30

LM studio看了下，还有无限制的版本呢。A770 16G+80G D4内存，14B很流畅，32B不行

秦南瓜 · 发表于 2025-2-13 11:31

70b q4，huihui-ai-deepseek

什么都懂，骚的不行，而且可以分饰多角，还能雌竞

pdvc · 发表于 2025-2-13 12:38

玩rpg还是claude吧，强的不是一星半点……

账号		自动登录	找回密码
密码			加入我们

[显卡] 赛博魅魔，好玩