Framework发布AMD Ryzen AI MAX+ “Strix Halo” 迷你主机: 4.5L, 最高128GB内存

gtx9

soleck

五折吧，下不了手

Insidiousy

哈哈哈哈😄这价格快赶上幻x了。。

平安是福

感觉还不如等老黄那个5070的迷你“超算”

可以抱的萝卜

价格劝退

eee45

这价格略高啊

FanXasy

可以这样跑671b

ts02147823

平安是福 发表于 2025-2-26 08:01
感觉还不如等老黄那个5070的迷你“超算”

老黄那迷你超算根本比不上这个

chenwen834

据说这玩意有很强的可扩展性？

平安是福

ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个

老黄的迷你超算好歹是5070呀，这个核显性能最多对标4070

TincoJ

FanXasy 发表于 2025-2-26 09:43
可以这样跑671b

搞得很像堆叠

bingshitian

老黄的迷你超算能打游戏么，还是只能ai

shiangyeh

ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个

谁给你的感觉老黄的迷你超算比不上这个的，不谈AI的部分，这东西就算光栅性能也就4060呀

StevenG

ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个

单台性能确实打不过，但架不住那个超算有双口200g迈络思网卡啊，多台互联，应该能跑完整版deepseek。官方信息，两台可以直接互联跑400b的模型，要是能用迈络思的交换机互联多台，搞不好就是最便宜的ds完整版平台

bloodybird

老黄也要出这种融合CPU了

ts02147823

shiangyeh 发表于 2025-2-26 10:05
谁给你的感觉老黄的迷你超算比不上这个的，不谈AI的部分，这东西就算光栅性能也就4060呀 ...

这台不就跑AI的，老黄那台开2999

这台1999还能动态调用显存来塞ds大模型

liolio

显存拉到96g然后单机跑70b么

银月

好看，还有好多可能没用的模块化设计

8owd8wan

liolio 发表于 2025-2-26 11:03
显存拉到96g然后单机跑70b么

跑是可以跑，不知道每秒能吐多少token

yuwl3000

8owd8wan 发表于 2025-2-26 11:07
跑是可以跑，不知道每秒能吐多少token

之前泄露是70b模型不到5t

liolio

8owd8wan 发表于 2025-2-26 11:07
跑是可以跑，不知道每秒能吐多少token

https://www.chiphell.com/thread-2672083-1-1.html

这个测试是开64g显存跑70b爆显存时3token/s 个人的话应该勉强能用吧

8owd8wan

liolio 发表于 2025-2-26 11:16
https://www.chiphell.com/thread-2672083-1-1.html

这个测试是开64g显存跑70b爆显存时3token/s 个人的 ...

也不是不能用。。。
其实吧，前两年，很多企业内部私有化部署RAG，也就拿着13B这种规模的LLM基座凑合。
如果这样来看，拿着AI MAX，个人本地流畅跑 DS R1-32B蒸馏模型，已经是从温饱走到了小康

testmepro

感觉今年是AI studio 大年....

gtx9

怎么感觉那么多人不知道老黄那个是计算卡跑不了游戏

https://www.nvidia.com/en-us/project-digits/

8owd8wan

testmepro 发表于 2025-2-26 11:20
感觉今年是AI studio 大年....

可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚需

gtx9

8owd8wan 发表于 2025-2-26 11:45
可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚 ...

https://blog.csdn.net/qq_44948500/article/details/127346390

testmepro

8owd8wan 发表于 2025-2-26 11:45
可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚 ...

主要是推理吧.个人做训练要求有点高哦

8owd8wan

gtx9 发表于 2025-2-26 11:54
https://blog.csdn.net/qq_44948500/article/details/127346390

问题还挺多的，训练就不折腾AMD了。

仔细想想：
1. LLM本地微调训练，对于大多数应用调包侠（我们这类）或学生来说，也就是know-how，实际意义不大。

2. yolo这类CV的训练，CPU就能应付，更别说随便找一张cuda卡

3. 好像最近本地训练的需求，就一个基于bert的embedding模型。。。

算了，能有这样规模的，做推理的玩意儿，就很满足了。

liolio

8owd8wan 发表于 2025-2-26 11:20
也不是不能用。。。
其实吧，前两年，很多企业内部私有化部署RAG，也就拿着13B这种规模的LLM基座凑合。
...

零刻给的测试数据 12CU+24G“显存”和16CU+48G“显存”基本都是14BQ8跑到6点几 Q4的话10出头

就看32/40CU时的表现能不能等比例上去了

deepfishing

gtx9 发表于 2025-2-26 11:54
https://blog.csdn.net/qq_44948500/article/details/127346390

A卡和APU的支持是两码事，而且这种玩意更需要类似老黄tensorrt这种的推理库吧