个人准备本地部署DS+RAGFLOW知识库，求显卡推荐
本人现在电脑I7-8700+32G内存+6700XT（12G），布置了ollama deepseek-r1:8b,单纯是用DS还行，但是要结合知识库感觉非常非常的慢（Docker运行服务都要几分钟，登录界面约10分钟才能登录）。而且目前想用ollama蒸馏的14b的模型，想干脆就重新配一台9700X的平台，把现有的给老爸拿去玩耍AI。所以想问问大家对显卡的意见。或者直接用API形式。 ollama的话，用page assist来配合使用即可，而且还支持网络搜索 本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。你不如去连硅基流动，70B的100Wtoken才4块钱，你搞一张卡几千块花在API上都能让你玩到腻了 llzzll 发表于 2025-2-20 00:10
本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。
你不如去连硅基流动，70B的10 ...
这也是在考虑的范围中，主要看 7900xt 这样的显卡，跑 32b 挺快的，虽然是蒸馏版本的还是有点心动 网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索
目前就是这样配合的 你关它干啥 ollamadocker化跑服务一直在内存里 open webui传知识库用第二个embedding model 网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索
PA知识库不行。 ragflow和dify，哪个好用？ gfwen0 发表于 2025-2-20 09:33
ragflow和dify，哪个好用？
只用过RAG而且现在部署还有问题，解析上传文件后，去对话，连接本地的DS会出错。环境变量我也改了的，端口也没有动过，今天回去准备重新部署下 建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 本地跑有什么优势吗?怎么大家都想要搞下来本地跑 本地自用除非你用来突破伦理限制搞颜色，不然一律鉴定为闲得慌，直接阿里云、字节买API次数便宜的很，还能随时用最新的大模型[偷笑] 我直白点说
本地跑要么为了搞黄色或者突破一般伦理认知的内容，不然买API划算的多
又不是公司老板一看拍脑袋部署下来政治任务
70B也就坎坎够用，最性价比也要3张2080ti 22g。。当下2080ti 22g都给买涨了。。 galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
目前是这样做的，API确实便宜的多 pooChai 发表于 2025-2-21 14:40
本地跑有什么优势吗?怎么大家都想要搞下来本地跑
没啥优势据我目前了解的情况，除非你长期断网，不然真没必要本地部署 galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？ galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b，有时候甚至还不如。DS 官网啥时候才解禁 api 啊🤔还是那个好用 最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？
感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token lja046 发表于 2025-2-22 01:10
但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b， ...
这个还真不好量化，同一个模型，同一个问题，出来的答案也不一定相同，你可以多试几个比较一下 最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？
Pro是充值才能使用，非Pro可以使用赠送的token lja046 发表于 2025-2-22 01:11
感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token...
主要是分配的资源不同，非Pro可以使用赠送的token，所以基本上现在是硅基流不动 7900XTX X2
页:
[1]