最近我想本地部署deepseek真是魔怔了，大家看看这个跑70b模型速度怎么样

laucsky · 发表于 2025-2-7 10:55

除非是马上拿来当生产力赚钱不然不值得折腾

pdvc · 发表于 2025-2-7 11:19

i6wz1l 发表于 2025-2-7 10:48
api买了好几个没一个速度快的，官方的买了，硅基流动买了

openrouter看看，有快的

h125445797 · 发表于 2025-2-7 11:22

可能需要128的内寸会好一些...

realsavage · 发表于 2025-2-7 11:38

h125445797 发表于 2025-2-7 11:22
可能需要128的内寸会好一些...

M4 mini Pro 最大的也就是64G ，只能等着 M4 Ultra 是否有了。笔记本是M4 Max 内存带宽要比pro大。

jaycty · 发表于 2025-2-7 12:47

你应该买m2 ultra吧 192GB版本的mac studio吧我感觉目前性价比最高的可以跑671b的
https://www.bilibili.com/video/BV1BZF5e8Em3/

MikuLuka · 发表于 2025-2-7 13:32

阳光技师发表于 2025-2-7 10:04
自己部署不是为了自己训练吗？或者生成一些用自己的算力的东西，比如图片，视频。虚心请教，自己本地部署 ...

自己部署是为了保密和保护个人隐私
反正现在好多小工作室和小公司自己内网AI全是用这个当理由

marcobai · 发表于 2025-2-7 13:42

本地部署毫无意义

wqxlcdymqc · 发表于 2025-2-7 13:48

mac可以淘宝买，定制配置，价格差不多官网77折

千古伟人空一格 · 发表于 2025-2-7 13:53

家用就32B吧，70B代价太大了

pooChai · 发表于 2025-2-7 13:57

本帖最后由 pooChai 于 2025-2-7 14:02 编辑

捡洋垃圾, cpu挑核多的,内存挑单根容量大的尽量插满, 671b的模型 fp8精度 6百多G 一台单机就能组出来, 这一套比显卡便宜太多太多了, token的生成速度个人用肯定是够了适合自己玩 , llama.cpp用cpu跑推理也不慢

tim6252 · 发表于 2025-2-7 13:57

家用ai搭建真的有啥用么

mkkkno1 · 发表于 2025-2-7 13:59

用多卡解决吧，支持多卡的

tankren · 发表于 2025-2-7 14:01

不是从业者花那冤枉钱干嘛，买现成的服务吧，linkai或者硅基流动这种就行了，充点钱够用。
官方的太卡了

mkkkno1 · 发表于 2025-2-7 14:04

其实可以去租云上的gpu平台试试。

mkkkno1 · 发表于 2025-2-7 14:16

KimmyGLM · 发表于 2025-2-7 14:30

pdvc 发表于 2025-2-7 10:09
对，但速度不慢，可以接受。

另外该试过1.58bit量化的完整版，96GB内存加128GB虚拟内存跑的，只有2token ...

刚从Toppc那边看批量更新了内存兼容性，48G*2 / *4 D5套条估计年后开始批量上市了，QVL清单里多了一大串。
后面家用平台 192G 插满+4090 D/ 5090D 来跑70B 应该比较容易接受，全量化版本的1.58B估计还是不太行。

Miner · 发表于 2025-2-7 14:41

KimmyGLM 发表于 2025-2-7 14:30
刚从Toppc那边看批量更新了内存兼容性，48G*2 / *4 D5套条估计年后开始批量上市了，QVL清单里多了一大串 ...

Toppc Lin? 请问具体是哪里

KimmyGLM · 发表于 2025-2-7 14:43

Miner 发表于 2025-2-7 14:41
Toppc Lin? 请问具体是哪里

微星林大啊, 去他B站看动态就行。
去年12月就已经展示了192G 插满X870E 并正常用了，而且可以跑5600

Miner · 发表于 2025-2-7 15:20

KimmyGLM 发表于 2025-2-7 14:43
微星林大啊, 去他B站看动态就行。
去年12月就已经展示了192G 插满X870E 并正常用了，而且可以跑5600 ...

谢谢，看到那个视频了。最近在关注华硕 B850M，这板子 QVL 内存不太多

Sinner · 发表于 2025-2-7 16:47

秦南瓜发表于 2025-2-7 10:06
我也是为了deepseek 70b，刚买300a，满供电，三星显存，5接口，顶部供电，dell涡轮两张，送nvlink
等到货 ...

我记得魔改的2080Ti之前大概在3200左右

秦南瓜 · 发表于 2025-2-7 17:17

Sinner 发表于 2025-2-7 16:47
我记得魔改的2080Ti之前大概在3200左右

2080ti涡轮最低跌到过15xx

YsHaNg · 发表于 2025-2-7 17:32

lz2906190 发表于 2025-2-7 02:01
免费的Gemini2.0 flash think 跑到飞快，你自己部署相同效果不得个千八百万。

flash版用r1 70b就能打过上周五出的李飞飞斯坦福s1更是只需要32b

暂时是猫 · 发表于 2025-2-7 17:45

mac mini m4不是好的选择，可以说是比较糟糕的选择。

花16000 你用epyc 7003 早就可以运行685B. 你买这个mac mini 离685B 估计还差几个 16000。
epyc 7003内存带宽都和统一内存的mac mini 差不多了...

archxm · 发表于 2025-2-7 17:46

人菜瘾大

archxm · 发表于 2025-2-7 17:47

这些其实并不成熟，花大价钱购买硬件，不值当

swordkj · 发表于 2025-2-7 17:53

wqxlcdymqc 发表于 2025-2-7 13:48
mac可以淘宝买，定制配置，价格差不多官网77折

有推荐靠谱店铺吗?

YsHaNg · 发表于 2025-2-7 17:58

i6wz1l 发表于 2025-2-7 02:48
api买了好几个没一个速度快的，官方的买了，硅基流动买了

欧洲本土用户少https://nebius.com/blog/posts/deepseek-r1-v3-chinese-ai-new-year-started-early

暂时是猫 · 发表于 2025-2-7 17:59

archxm 发表于 2025-2-7 17:47
这些其实并不成熟，花大价钱购买硬件，不值当

应该就是想买个mac mini 玩玩，其他是借口罢了

i6wz1l · 发表于 2025-2-7 21:11

暂时是猫发表于 2025-2-7 17:59
应该就是想买个mac mini 玩玩，其他是借口罢了

我其实买过两个 mac mini的乞丐版本了都是用了几天就卖了

1014982466 · 发表于 2025-2-7 21:53

本地部署毫无意义+1
你API都觉得慢本地部署更慢，要是快那精度早都没眼看了
最后搞半天还被免费的gemini暴打

账号		自动登录	找回密码
密码			加入我们

[装机] 最近我想本地部署deepseek真是魔怔了，大家看看这个跑70b模型速度怎么样

评分

浏览过的版块