|
虽然一直以来谈到AI就是英伟达如何云云，但是本次DeepSeekR1的发布着实让人知晓了AMD早已突破了老黄的AI垄断。AMD在其发布之初就官方宣布了自家显卡在推理上的独到优势，并且很快在测试版驱动中开启了DeepSeekR1的本地使用选项，可谓是高歌猛进啊。 不过可能诸位手里有A卡的朋友们受限于PC知识，主要还是用着DeepSeek的官方应用，没有自己部署R1的想法。而现在层出不穷的DeepSeekR1部署方法又大多数都是命令行或者部署接口，搞的非常高级，但是日常使用完全用不上，也不太适合新手。所以为了大家都能用上国产争气大模型，我实验出了一个方法，可以完全避开使用命令行，让大家3步给自己部署一个本地的DeepSeekR1蒸馏模型，不受网络错误的气！
这次就用我平时在用的电脑为例，简单给大家演示一下如何不用任何命令行，就能在本地部署这个备受瞩目的大模型，而大家需要准备的材料只有： - 一台电脑，有独显，或者有AMD的8系APU（例如8845）或者AI系APU（例如AI 9 370）
- 可以上网
- 有手就行
步骤1：下载LMStudio
一般而言，windows上本地部署开源大模型有ollama这个方案，但是使用上并不是很方便。原因主要就在于这个东西他是高手用的，像我这样的低手完全不想碰命令行。而且ollama下载模型基本都是官方仓库，占用显存更少的量化模型找起来比较复杂，所以对于我们家用用户来说，LMStudio更方便
安装过程全默认即可，打开之后就能看到很简洁的界面，过程并不需要装额外的依赖内容，也不需要下载额外资源，而且LM Studio在0.2版本就已经支持了ROCm，所以默认使用AMD显卡也是可以跑满速的
点击文件夹图标可以看到本地的模型，但是目前本地没有模型，联网也找不到模型。这个问题是因为huggingface.io在部分地区无法访问，所以我们需要绕过这个
步骤2：下载模型绕过huggingface.io下载模型的方法也很简单，国内有hf的镜像网站，内容很齐全，版本也很新： HF-Mirror
比如我们搜索DeepSeek-R1-Distill-Qwen-1.5B-GGUF，然后打开页面，就能看到已经被量化打包好的模型。点开fileandversion这一栏，就能下载模型了。一般我们只需要下载一个模型，这里面比较推荐使用Q8模型，当显存不足的时候可以考虑Q2以及Q4
觉得慢可以用某雷p2p加速一下，会比浏览器下载快很多。下载的时候建议同时下载gitattributes这个文件，方便LMStudio读取模型信息
步骤3：准备本地模型文件下载好上文中的模型文件之后，我们需要新建一个LMStuidioModels文件夹，这是仓库的根目录，然后新建一个unsloth文件夹，这是模型来源索引文件夹，然后再在其中根据模型名称新建文件夹，比如刚才下载了DeepSeek-R1-Distill-Qwen-1.5B-GGUF，我们就在这个文件夹里新建这个文件夹，然后放入下载好的模型文件，以及gitattributes
然后我们打开LMStudio，点击这个按钮更改本地仓库到刚才的LMStuidioModels文件夹，就能看到本地模型了
开始使用DeepseekR1此时我们回到对话栏，就能在最上面选择模型，加载，然后开始使用啦。有A卡的情况下可以把CPU层数开到最大，这样就能完全使用GPU
比如我们选用一个模型，这里用的是最小的1.5B模型，完成加载后如图。我们此时就能在下方的对话框里随意提问了，和一般的大模型使用并无区别
查看显卡占用情况，就能看到LM Studio确实调用了GPU，因为LM Studio在0.2版本就已经支持了ROCm，所以使用AMD显卡也是可以跑满速的
至于性能可以看图，因为7900XTX的显存足够，所以能跑最大32B的量化模型。速度上，使用最小的模型可以达到225token/s，最大的模型也有35.4token/s，速度绝对是够用的，相比于一般CPU来说快了非常多
（可选）部署内网API接口LMStudio也支持内网API接口调用，打开开发者模式，以及接口运行，就能在本地开启对应模型的接口。
比如这里使用models的api可以查看目前可用的模型名称，也可以使用curl命令进行尝试，直接按下这个按钮就能复制curl命令。打开内网API之后可以看到对应接口的端口，比如这里打开了这个端口之后，就能在其他应用里面进行调用
最简单的例子就是使用python做开发，可以直接通过request包来，调用这个API，如果有耐心还可以自己封装一些应用
总结虽然很想让DeepSeek帮我总结了，但是还是认真讲一下吧。LMStudio作为大语言模型入门的应用来说非常方便，但是默认接入抱抱脸是一个痛点，不过使用迅雷和国内镜像网站就能回避，总的来说比较方便。而大语言模型也是非常实用的一个工具，我平时做开发也会用大语言模型来写代码，DeepSeek爆发之后也是让我如虎添翼，所以我很推荐有条件的朋友都搞一个来玩玩。 至于部署需要的硬件成本，我觉得不高，你需要的是：一张12G以上显存的显卡用来部署14B的模型，16G以上的显卡部署32B的量化模型，或者AMD最新的8系或者AI系APU，比如8845或者AI 9 370之类内置NPU，用上内存也能跑32B的模型，使用上基本能媲美独显。而平时应用也非常方便，不仅是写文档写代码，有一些知识相关的可以用大模型来学，比如想学一下外语（正经），大语言模型是一个非常不错的老师。 AMD在AI领域内的不断追赶也让我这个小Afan更有信心了，本身AMD的显卡精度阉割就没那么狠，底子很不错。在AI这个方向上，先是开源的ROCm，接着又是计算卡MI系列，现在又在顶级大语言模型上有比同级N卡更强的推理能力。我已经开始期待奸商老黄被AMD的方案不断吃掉份额，然后被迫卖掉皮衣补贴公司的场景了（做梦中）为了助力这个梦想，大家都快把手里的A卡AU用起来啊，本地部署个DeepSeekR1给自己享受一把最新的科技进步！
最后送上一张图，感谢大家围观
| 
310112100042806
发表于 2025-2-18 18:58
