最近学习machine learning想用nuc替换掉群晖

wimming · 发表于 2023-7-3 23:45

最近接触机器学习，需要一台性能好点的服务器，目前J4125的群晖性能基本被我榨干了，10+个docker，3个虚拟机，想换一台性能强点、体积小、静音的“家用”服务器，因为intel在科学计算方面有很大的优势所以基本不考虑amd了。

因为市面上支持3.5寸硬盘的机箱基本没有比群晖更小更精致的了，加之现在固态便宜，所以考虑干脆放弃3.5寸硬盘，把蓝光原盘等影视资源全放到阿里云，这样的好处是不用考虑家里的上传带宽，只要下行有个100m就能看原盘了，也能分享给其他亲戚朋友看。然后一些重要的数据以及经常用到的热数据就放在固态硬盘里（包括那些“你们懂的”资源

），剩下的基本就是在nuc里面选了：

   【选项1】nuc12、nuc13，因为我打算用linux系统，不知目前发行版的linux对大小核调度还有没有问题？

   【选项2】nuc9幽灵峡谷，比起上面最大的优势是可以放显卡（虽然目前暂时用不到DL），三条m.2插槽，老平台虽然性能差点但肯定能稳定跑linux，再怎么也比群晖j4125强。但在看到那个1U的电源时我又纠结了，我对这种电源的印象就四个字：飞机起飞，板砖虽大但起码安静。

   这两个选项也许都不完美，迷你主机要求体积小、静音、性能这三者貌似是一个“不可能三角”，如果要取舍，我还是选前两者，毕竟只是主要用来学习，性能可以凑合对付一下，但群晖的性能已被榨干无论如何也凑合不了，各位老铁还有什么其他方案吗？

myway · 发表于 2023-7-3 23:54

记得 Ubuntu 针对 NUC 有优化……要么记错了

dedededede · 发表于 2023-7-4 00:03

nuc9不吵，电源和风扇只有轻微的风声。
主要问题是散热，主板上那两条m2，拷贝个几百兆就上了70度，底板上那条稍微好些。
插槽上我用转接卡插了两块u2，里面那块离主板非常近，把cpu的涡轮风扇进风口堵了，外面那块稍好些，温度都不低。
每次往里灌的时候，都不敢大批量，只能灌一些歇一会，平常读取的时候没啥问题。

shuizhuyuanluo · 发表于 2023-7-4 00:16

机器学习，不考虑下 jetson orin 吗，支持cuda，不过是arm的

lmbh · 发表于 2023-7-4 00:24

两台机器各干各不好吗？感觉针对的功能完全没有重叠的地方。

BetaHT · 发表于 2023-7-4 00:45

我的方案是在nuc中跑win+vmware/hyperv

24小时开机，很稳定很安静

leonhard · 发表于 2023-7-4 01:38

直接云主机得了，省得思考

regwoo · 发表于 2023-7-4 05:40

没GPU你学什么啊

meng83 · 发表于 2023-7-4 06:49

regwoo 发表于 2023-7-4 05:40
没GPU你学什么啊

cpu也可以跑

archxm · 发表于 2023-7-4 07:15

你真狠，4125 开三个虚拟机

yin19991999 · 发表于 2023-7-4 08:00

meng83 发表于 2023-7-4 06:49
cpu也可以跑

cpu跑的是人才那速度。.

tedaz · 发表于 2023-7-4 08:58

具体什么机器学习，能用cpu？

我輩樹である · 发表于 2023-7-4 09:02

很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。

meng83 · 发表于 2023-7-4 09:33

yin19991999 发表于 2023-7-4 08:00
cpu跑的是人才那速度。.

取决于具体模型，很多时候cpu比gpu快

mosigan · 发表于 2023-7-4 09:35

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

m2 ultra优势也就是显存大，不支持cuda，速度也比不上nv，拿来推理还行，训练还是算了

deigo_block · 发表于 2023-7-4 11:24

选项2 NUC9 的话不如考虑马格努斯一号准系统,散热性能比NUC9好太多了,还不吵

archxm · 发表于 2023-7-4 11:30

nuc9不便宜吧，能装显卡，个头也不小。还不如搞个a4，b760itx 13400

wimming · 发表于 2023-7-4 11:39

archxm 发表于 2023-7-4 11:30
nuc9不便宜吧，能装显卡，个头也不小。还不如搞个a4，b760itx 13400

5L应该比A4小吧，能装20CM的显卡，用的1U那种电源

wimming · 发表于 2023-7-4 11:40

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

ARM软件支持还不太好啊，我自己用的M1 MACBOOK

wimming · 发表于 2023-7-4 11:40

archxm 发表于 2023-7-4 07:15
你真狠，4125 开三个虚拟机

openwrt、win10 ltsc、ubuntu ，18G内存用完了

wimming · 发表于 2023-7-4 11:41

yin19991999 发表于 2023-7-4 08:00
cpu跑的是人才那速度。.

前辈用的什么设备，我目前还在学习阶段

wimming · 发表于 2023-7-4 11:42

dedededede 发表于 2023-7-4 00:03
nuc9不吵，电源和风扇只有轻微的风声。
主要问题是散热，主板上那两条m2，拷贝个几百兆就上了70度，底板上 ...

不装显卡都这样了那装了显卡岂不是

wimming · 发表于 2023-7-4 11:43

lmbh 发表于 2023-7-4 00:24
两台机器各干各不好吗？感觉针对的功能完全没有重叠的地方。

主要不想管理太多电脑，就存储加工作，也不打算整all in one

wimming · 发表于 2023-7-4 11:44

tedaz 发表于 2023-7-4 08:58
具体什么机器学习，能用cpu？

前辈用的什么设备，我目前还在学习阶段

wimming · 发表于 2023-7-4 11:45

BetaHT 发表于 2023-7-4 00:45
我的方案是在nuc中跑win+vmware/hyperv

24小时开机，很稳定很安静

是普通小盒子那种NUC吗

wimming · 发表于 2023-7-4 11:46

myway 发表于 2023-7-3 23:54
记得 Ubuntu 针对 NUC 有优化……要么记错了

之前只知道WIN11才支持大小核调度，怕有些驱动搞不定

BetaHT · 发表于 2023-7-4 12:00

wimming 发表于 2023-7-4 11:45
是普通小盒子那种NUC吗

是的。作为个人服务器性能已经非常过剩了。

tedaz · 发表于 2023-7-4 12:30

wimming 发表于 2023-7-4 11:44
前辈用的什么设备，我目前还在学习阶段

不懂机器学习也就玩玩在线的ai和sd绘图

facebbook · 发表于 2023-7-4 13:06

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

试试~~~~~~~

SeeSnow · 发表于 2023-7-4 13:24

如果用TensorFlow和PyTorch

你也可以考虑在m1或m2的mac mini或studio上跑

https://zhuanlan.zhihu.com/p/410961551

账号		自动登录	找回密码
密码			加入我们

[NAS] 最近学习machine learning想用nuc替换掉群晖