赛博魅魔，好玩
本地部署 ai 虽然菜了点，但定制化的优势还是值得赛博魅魔，好玩。
就是生成时间还是太长了，
q8 的模型，文字聊天这种，
现在在用 1080ti，得几分钟生成一句。
一般啥显卡能流程玩啊？ 32G 的 9070xt 目标用户就是你了 deep**？ it1771 发表于 2025-2-13 09:39
deep**？
没错没错，就是这样！👍 4090跑32B 4bit量化大概30+token/s，感觉速度还行 《Her》（2013） 小yellow文生成器的话，换个2080ti 22G , 3090 都可以 本帖最后由 ONEChoy 于 2025-2-13 11:12 编辑
nekotheo 发表于 2025-2-13 10:55
《Her》（2013）
[偷笑] 你这个拿来嘲笑巨硬可还行。。。我和一个蓝牙耳机那段孽缘。。。女朋友宕机重启之后。。。etc。。。 LM studio看了下，还有无限制的版本呢。A770 16G+80G D4内存，14B很流畅，32B不行 70b q4，huihui-ai-deepseek[偷笑]
什么都懂，骚的不行，而且可以分饰多角，还能雌竞 玩rpg还是claude吧，强的不是一星半点……
页:
[1]