DeepSeek本地化部署，有手就行

Rainwolf_Q

jedi1029 发表于 2025-3-18 13:55
你需要的最最基础解决办法就是文档索引工具，FileLocatorPro，DtSearch WEB 、桌面版等都可以做到，在0.X ...

谢谢您！

信息差的打破来自“恬不知耻”与“乐于助人”

LyRics

quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...

😆，我还纳闷用这部署的意义是什么

gylj7058

广告味道太重了

harrytao1

老饭 发表于 2025-3-18 13:06
SER8用户飘过，wifi蓝牙信号差到没法用，后悔死

感谢解毒～

unbelief

看不懂，太复杂

wzclow

内卷无处不在

arsenal5ive

大佬能不能发个帖子你是怎么利用本地模型喂公司制度或者修订公司制度的，很想学学

Chouchoufish

有个问题啊？LM读取附件不是都只能读取片段吗？你说的32个制度。。。你怎么全部让大模型全部读取啊？

tiantian80

问下楼主，我是8745H，24g*2，能不能显存划分32g用来跑7B模型

Freewill1

本地部署折腾过，我现在问我自己：为什么不用API调用呢？

mdeu

本地部署

一个是保密单位，但是保密单位你还用得着，或者说你还想自己搞？

一个是搞不方便上api的内容自娱自乐

现在几家都在卷api了，但凡没以上需求，一个328 3A钱都够玩好一阵了，ds原厂的价格一天能用2-3块钱都是很高强度使用了

FanXasy

虽然能调用核显，但那个NPU占用0还是难绷

xurendong

纯粹搞笑

Hakupenda

小白求大佬指点，通常说的“DEEPSEEK本地化部署“是什么意思？和普通的用电脑上DEEPSEEK网页进行问答（R1+联网）有何区别？

yuchengao828

Rainwolf_Q 发表于 2025-3-18 14:02
谢谢您！

信息差的打破来自“恬不知耻”与“乐于助人”

那位朋友推荐的是英文版，国内有个免费的叫“AnyTXT Searcher”，百度谷歌都能搜到。

下载和试用全免费，内置的文件快速预览功能可以在公众号免费领三天的体验码（可无限重复领取），或者分享朋友圈三天换永久使用码。

jokety

学习贴好评啊

设计失控

我就是很奇怪，这么贵的小机器真的有多少人去买呢，加一点钱配套台机不香吗～～～～

祐维

设计失控 发表于 2025-3-19 11:05
我就是很奇怪，这么贵的小机器真的有多少人去买呢，加一点钱配套台机不香吗～～～～ ...

所以你才看到了这帖子

zmzy

搞笑贴。一个笔记本就能干的事，搞得这么复杂。

MekkaSiekka

本地化部署这句话本身就很搞笑， 我通过docker vllm 拉一个32B 到笔记本本地然后把网线拔了也算部署吧， 然后直接带进公司不就行了， 为什么一定要依赖这个盒子？

zhoushengyue

连用统一内存架构的Mac选配超大内存跑大模型推理都近乎行为艺术，你这玩意简直搞笑

bbzcat

看到8B还要四位量化我就已经笑得合不拢嘴了

八喜

Chouchoufish 发表于 2025-3-18 16:58
有个问题啊？LM读取附件不是都只能读取片段吗？你说的32个制度。。。你怎么全部让大模型全部读取啊？ ...

单个文件夹，可以设置最大30个文档，转MD格式投喂，不超过这个文档数量，推理能力还是可以的。

tzycai

通过CPU+内存 的方式如何实现本地化部署？能不能详细的说一下，谢谢指教。

jcvc

那个宣称ai的npu是个摆设？

freebenny

70b的感觉出来的东西都完全没法接受

Huelse

不错不错，感谢分享～

lamoni001

我 mac mini 也是用lm，这玩意安全吗，数据和文件传到哪。

tcxn2003

不如2999的macminim4 跑蒸馏模型用不到24G显存 MAC16G内存都能被当作显存 算力也比这个高

LeeHiuKit

既然都只用14b模型了，干嘛不上丐版M4 mac mini？早上在costco看到上海国补到手也就3400+