找回密码
 加入我们
搜索
      
查看: 16405|回复: 85

[电脑] DeepSeek本地化部署,有手就行

  [复制链接]
发表于 2025-3-17 14:52 | 显示全部楼层 |阅读模式
自开年以来以DeepSeek为代表的AI工具火出了天际,工作中的许多琐碎事儿都可以交给AI来完成。不过对于商业体来说,提升生产力效率是一回事,数据隐私安全就是另一回事了。
像奶爸公司最近就发了通知,对DeepSeek工具的使用做了诸多要求,并且严禁将部分资料上传到非本地化部署的AI中。
image001.png
奶爸最近刚好在修订制度,目标是将现行的37个制度整合为7个制度,不让用DeepSeek不就要了我的老命了,果断带自费购买的零刻SER9 Pro Mini PC到公司本地化部署DeepSeek,直接当着合规同事的面上传公司制度到DeepSeek(手动狗头),舒服 。
image003.jpg
本地化部署DeepSeek教程
▼自从DeepSeek问世以来,众多玩家对于本地化部署的追求就没有停过,刚开始大家都以为只有硬核的独立显卡才能进行本地化部署,后来大家发现通过CPU+内存 以及 核显GPU+内存的形式都能实现,真正让DeepSeek本地化部署走进了千家万户。
对于AMD核显目前比较推荐使用LM Studio进行部署,对核显的支持更好,部署也更加简单。搜索引擎搜索LM Studio就能找到LM Studio,提醒一下官网的后缀是ai,别进了那个jewellery的网站。
image005.png
关于零刻SER9 Pro
▼DeepSeek对内存带宽相对来说还是比较敏感的,理论上带宽越高,响应速度会更快一点。零刻SER9 Pro采用8000MHz的美光板载LPDDR5内存,在DeepSeek的使用上更有优势一些,AMD AI 365处理器搭载的Radeon 880M核显也是目前核显第一梯队领头羊的存在。
image007.png
▼零刻SER9 Pro共有两个型号,高配版采用AMD AI 9 HX370处理器,搭载Radeon 890M核显,标准版搭载AMD AI 9 HX365处理器,相较高配版便宜600,更具性价比。
image009.jpg
▼相较上代锐龙8000系列,AMD锐龙AI 300系列处理器大幅更新了架构,CPU升级为Zen5大小核架构,核心更多,能效比更高;核显GPU则升级为了RDNA3.5架构,Radeon 880M有12个核心,Radeon 890M更是升级到了16颗;NPU则是升级到了XDNA2架构,AI算力达到了50 TOPS(不过目前LM Studio暂时无法让NPU加入运算)。
image011.jpg
▼零刻SER9 Pro延续了SER8/SEi14的经典设计,一体式金属机身造型以及圆润的倒角相当精致,对比Mac mini M4有电源键方便实用,保留有USB-A接口的优势(手动狗头)。
image013.jpg
image015.jpg
▼SER9 Pro采用下进风/后出风散热风道设计,背面与地板采用塑胶材质,保证冷热通道彻底隔离。讲道理SER9 Pro着实很安静,即便是高负载之下风扇的声音只会像自然中的风声,不会有风扇高速转动的那种风切的声音。
image017.jpg
▼SER9 Pro一如既往的大满贯的接口配置,前面板3个接口+背面8个接口,既保证了高度的扩展性也兼顾了便利性;电源依旧是小巧的航嘉代工120W,不论是外出携带还是收纳都很便利。
  • 1个USB-C 4(40Gbps/PD/DP1.4/雷电3)
  • 1个USB-C 3.2Gen2×1(10Gbps)
  • 2个USB-A 3.2Gen2×1(10Gbps)
  • 2个USB-A 2.0
  • 1个DP1.4(4K@240Hz)
  • 1个HDMI2.1(4K@240Hz)
  • 1个2.5G网口
  • 2个3.5mm音频口
image019.jpg
▼SER9 Pro AI 365版在崭新出厂的时候跑分在140万+.
image021.png
不过我的机器已经被我折腾了蛮久,鲁大师、360帮我装了蛮多的实用软件,造成纸面性能测试数据稍微低了点,不重要。
image023.png
部署时刻
▼LM Studio软件的安装很简单,基本上一路Next就行。
image025.png
▼我的零刻SER9 Pro搭在了1TB英睿达SSD,而且平时也没有分盘符的习惯,这里就装在了C盘,如果大家有分盘符,而且C盘容量比较小,建议不要部署在C盘,包括之后存储模型也是。
image027.png
▼打开LM Studio软件后,右上角位置有一个skip onboarding的按钮,点击跳过。
image029.png
▼接着点击Select a model to load按钮,进行大模型下载。
image031.png
▼搜索DeepSeek R1 Distill,注意要选择GGUF后缀(格式)。
image033.png
▼实测8B与14B Q4模型都能够较为流畅的运行,小伙伴们可以自行选择,根据我收集的信息来看Qwen相对来说更适合中文大语言模型,不过实测下来Qwen与Llama个人感觉不出来差异。点击右下角的Download即可进行下载,实测不适用魔法也能正常下载,速度在2-3MB/s所有。
image035.png
▼下载完成后就可以选择对应的模型进行加载了,默认情况下LM Studio会使用CPU进行运算,个人更建议使用GPU模式运行,一方面能避免CPU高负载电脑的超级卡顿,另一方面GPU模式在显存占用和响应速度上更具优势,更适合性能要求较高的场景。
image037.png
▼打开手动选择模型加载参数按钮,使用零刻SER9 Pro搭载的Radeon 880M核显进行运行。
image039.png
▼找到GPU OFFload这个控制选项,直接把数量拉满,如果你选用了中文会看到是GPU卸载,不用理会。
image041.png
▼这时候我们就可以正式加载蒸馏模型了,不过LM Studio会提示可能会造成设备高负载,这时候我们需要将策略改为“关闭”,反正我试了一下最宽松的策略也不允许加载。
image043.png
▼接着我们要设置系统给GPU分配的内存(约等于显存那么个意思),零刻SER9 Pro默认给到的是4GB。
image045.png
▼重启计算机疯狂点击键盘的Del按钮进入到BIOS。
image047.png
▼进入到BIOS Advanced功能标签页,选择AMD CBS功能。
image049.png
▼选择NBIO Common Options选项。
image051.png
▼进入到GFX Configuration功能。
image053.png
▼在Dedicated Graphics Memory位置就可以选择配置给核显的内存数量。
image055.png
▼零刻SER9 Pro的 BIOS预设了8G、16G、24G多个选项,用户可以很方便的进行选择。基本上7B模型给到8G就够用了。
image057.png
▼全都设置好以后F4保存并退出BIOS,电脑重新启动。
image059.png
▼这时候再调用DeepSeek R1模型,可以看到GPU已经快乐的奔跑起来了,虽然混合运行(CPU、GPU同时调用)的情况下,CPU占用率也蛮高,但是系统流畅度会提高不少。
image061.png
▼8B Q4蒸馏模型下10.32Token/s在使用中基本上高度可用。
image063.png
▼14B Q4蒸馏模型下8.22Token/s,相对7B模型并不会感觉到有明显的差异。不过注意使用14B模型要分配16GB内存给核显就是了。
image065.png
▼零刻官方对SER9 Pro370和SER9 Pro365本地部署DeepSeek的性能测试,感兴趣的小伙伴可以再了解下。
image067.jpg
零刻SER9 Pro性能测试核显3DMark基准测试
▼在3DMARK上,使用Fire Strike(DX11)、Time Syp(DX12)、Speed Way(DX12 Ultimate)、Port Royal(光追)四个个基准项目进行测试,他们分别能够反映主流网游、近几年的3A大作、以及光追性能,Steel Nomad则能够提现高性能游戏电脑性能。通过量化的数据能够方便我们进行不同设备之间的横向对比。
image069.png
▼最终测试结果如下:
Night Raid :39655;Fire Strike :9929,Time Spy :3501分;Steel Nomad Light:3360。零刻SER9 Pro HX365 搭载的AMD Radeon 880M核显的设备相较于前一代的Radeon 780M有着显著的性能提升,超高频的内存频率也起到了相当重要的作用。
image071.png
游戏性能测试
▼游戏性能测试这里,我们分别测试了网游LOL、竞速类游戏地平线5、老牌3A 古墓丽影暗影、吃配置小怪兽赛博朋克2077以及霍格沃兹之遗。3A大作在1080P分辨率全高画质下也能有48帧以上的成绩,不追求极致的画面用Mini PC玩游戏也挺好的。
image073.png
8000MHz内存性能测试
▼常用AMD的小伙伴们都知道,在AMD处理器上我们一般都是追求低延迟,对高频不敢有什么奢望,但是零刻SER9 Pro却搭载了4 * 8(32GB)lpddr5内存,就还蛮离谱的,不得不测一下了。
image075.png
▼通过AIDA64进行测试,读取速度90.74GB/s,写入速度为109.29/s,复制速度为80.58GB/s,延迟138.1ns,复制速度相当不错,非常适合用来做大模型项目部署。
image077.png
写在最后
高性能迷你主机市场中,零刻有着美观的设计与极致的性价比。
对于SER9 Pro来说,AMD锐龙AI 9 365处理器10核20线程设计,最高加速频率达5.0GHz,轻松应对多任务处理与高负载应用,Radeon 880M核显RDNA 3.5架构,12CU单元,2900MHz频率,性能堪比入门独显,完全是一步到位入坑即退坑之选。
如果同时追求性能与更极致的性价比,那么SER8 8745HS版本也是不错的选择。

image002.gif
image004.jpg
image006.gif
image008.gif
image010.jpg
image012.jpg
image014.jpg
image016.jpg
image018.jpg
image020.jpg
image022.gif
image024.gif
image026.gif
image028.gif
image030.gif
image032.gif
image034.gif
image036.gif
image038.gif
image040.gif
image042.gif
image044.gif
image046.gif
image048.gif
image050.gif
image052.gif
image054.gif
image056.gif
image058.gif
image060.gif
image062.gif
image064.gif
image066.gif
image068.jpg
image070.gif
image072.gif
image074.gif
image076.gif
image078.gif

评分

参与人数 9邪恶指数 +251 门户文章 +1 收起 理由
176116654 + 5
Mr.Chris + 5
ilas + 200
柔情光年 + 5 就是NB
xavier_cx + 10 就是NB
zzmonly + 1
Kevin_Aidaren + 20
nApoleon + 1
Wolverine + 5

查看全部评分

发表于 2025-3-17 17:05 来自手机 | 显示全部楼层
小主机的推广介绍都这么卷了嘛,以后除了3dm,游戏,还要测llm?

评分

参与人数 1邪恶指数 +5 收起 理由
fisheess + 5 非常赞同

查看全部评分

发表于 2025-3-17 17:18 | 显示全部楼层
企业内部网络(不接入互联网),如何部署呢?
发表于 2025-3-17 17:29 来自手机 | 显示全部楼层
学习了  晚上抄作业
发表于 2025-3-17 17:35 来自手机 | 显示全部楼层
这卖点还是有人要的
发表于 2025-3-17 21:05 | 显示全部楼层
感谢分享!~
发表于 2025-3-17 22:05 来自手机 | 显示全部楼层
不错啊,感谢指点
发表于 2025-3-17 22:45 来自手机 | 显示全部楼层
不错,收藏下,厉害。
发表于 2025-3-17 22:50 | 显示全部楼层
卖酱油,点了一只鸡的感觉,内网本地部署就是用来耍,无法干活的
发表于 2025-3-18 08:06 | 显示全部楼层
同款键盘,昨天刚淘了一个你的感觉咋样
发表于 2025-3-18 08:50 | 显示全部楼层
yangyang00131 发表于 2025-3-17 17:18
企业内部网络(不接入互联网),如何部署呢?

在家部署好后带入公司。不过这帖子就是个广告,骗骗人的。部署个8B模型有什么用。。。
发表于 2025-3-18 09:16 | 显示全部楼层
quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告,骗骗人的。部署个8B模型有什么用。。。 ...

一针见血了
发表于 2025-3-18 09:23 | 显示全部楼层
用来告诉别人我部署过了,然后再删掉(我就这么干过),哈哈哈
发表于 2025-3-18 09:40 | 显示全部楼层
怎么这么软..
发表于 2025-3-18 09:44 | 显示全部楼层
广告无疑,懂本地化部署的都知道部署8B和14B纯粹是来搞笑的。
发表于 2025-3-18 09:52 | 显示全部楼层
感谢分享!~
发表于 2025-3-18 10:21 | 显示全部楼层
10个token /S 是不是 每个回答都得 喝杯茶才能出结果了
发表于 2025-3-18 10:28 | 显示全部楼层
还以为是哪家395的mini主机出货了......原来是残血版啊
发表于 2025-3-18 10:33 | 显示全部楼层
14B效果都很差,更何况7B、8B
发表于 2025-3-18 10:51 | 显示全部楼层
老年人的不懂就问:

(1)我的需求——把一堆文献扔到某个工具里,然后让它帮我找到能解决问题的哪个,或者给个思路,Deepseek能否胜任这个工具?

(2)如果Deepseek或者某个**之类的工具能解决这个问题,而我又想部署到本地,那我大概需要多少B?对应的配置又应该是什么样子的?

(3)楼上好几位说7B 14B根本解决不了问题,那我想知道32B或者多少B能解决问题吗?如果能,32B需要上到什么配置?

年纪大了,张口闭口BBB的,感觉自己一点B数都没有,

发表于 2025-3-18 10:53 | 显示全部楼层
补充一下,我对时长不在乎,只要不是以天计。
发表于 2025-3-18 11:35 | 显示全部楼层
不是,软广味太冲了吧?我以为是docker部署镜像+权重文件的深度计算环境部署呢,结果你就给我来个这?14B的模型和人工智障差不多真能用?自己一个人用至少也得32B q4吧?
发表于 2025-3-18 11:50 来自手机 | 显示全部楼层
插眼 deepseek 本地部署眼
发表于 2025-3-18 12:00 | 显示全部楼层
广告味道太重了
同时。。蒸馏版本,不如不部署
我是万万没想到,32G内存 没显卡的东西能蹭到R1的流量???
发表于 2025-3-18 12:38 | 显示全部楼层
StevenG 发表于 2025-3-17 17:05
小主机的推广介绍都这么卷了嘛,以后除了3dm,游戏,还要测llm?

合格的二楼.但是说实话是不好的.
发表于 2025-3-18 12:41 | 显示全部楼层
这个详细啊,学习一下,谢谢分享
发表于 2025-3-18 13:06 来自手机 | 显示全部楼层
SER8用户飘过,wifi蓝牙信号差到没法用,后悔死
发表于 2025-3-18 13:27 | 显示全部楼层
看到一半感觉到事情不简单。。。
发表于 2025-3-18 13:50 | 显示全部楼层
部署过的都知道,16B的都跟智障一样。图文还弄了两遍,复制粘贴的吧
发表于 2025-3-18 13:55 | 显示全部楼层
Rainwolf_Q 发表于 2025-3-18 10:51
老年人的不懂就问:

(1)我的需求——把一堆文献扔到某个工具里,然后让它帮我找到能解决问题的哪个,或 ...

你需要的最最基础解决办法就是文档索引工具,FileLocatorPro,DtSearch WEB 、桌面版等都可以做到,在0.X秒内找到想要的关键词。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-11 22:07 , Processed in 0.021648 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表