Framework发布AMD Ryzen AI MAX+ “Strix Halo” 迷你主机: 4.5L, 最高128GB内存
五折吧，下不了手 哈哈哈哈😄这价格快赶上幻x了。。 感觉还不如等老黄那个5070的迷你“超算” 价格劝退 这价格略高啊 https://images.prismic.io/frameworkmarketplace/Z7eCQJ7c43Q3gCGb_fwdesktop_family_ml_cluster.jpg?auto=format,compress
可以这样跑671b 平安是福 发表于 2025-2-26 08:01
感觉还不如等老黄那个5070的迷你“超算”
老黄那迷你超算根本比不上这个 据说这玩意有很强的可扩展性？ ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个
老黄的迷你超算好歹是5070呀，这个核显性能最多对标4070 FanXasy 发表于 2025-2-26 09:43
可以这样跑671b
搞得很像堆叠[生病] 老黄的迷你超算能打游戏么，还是只能ai ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个
谁给你的感觉老黄的迷你超算比不上这个的，不谈AI的部分，这东西就算光栅性能也就4060呀 ts02147823 发表于 2025-2-26 09:50
老黄那迷你超算根本比不上这个
单台性能确实打不过，但架不住那个超算有双口200g迈络思网卡啊，多台互联，应该能跑完整版deepseek。官方信息，两台可以直接互联跑400b的模型，要是能用迈络思的交换机互联多台，搞不好就是最便宜的ds完整版平台 老黄也要出这种融合CPU了 shiangyeh 发表于 2025-2-26 10:05
谁给你的感觉老黄的迷你超算比不上这个的，不谈AI的部分，这东西就算光栅性能也就4060呀 ...
这台不就跑AI的，老黄那台开2999
这台1999还能动态调用显存来塞ds大模型 显存拉到96g然后单机跑70b么[偷笑][偷笑][偷笑][偷笑] 好看，还有好多可能没用的模块化设计 liolio 发表于 2025-2-26 11:03
显存拉到96g然后单机跑70b么
跑是可以跑，不知道每秒能吐多少token 8owd8wan 发表于 2025-2-26 11:07
跑是可以跑，不知道每秒能吐多少token
之前泄露是70b模型不到5t 8owd8wan 发表于 2025-2-26 11:07
跑是可以跑，不知道每秒能吐多少token
https://www.chiphell.com/thread-2672083-1-1.html
这个测试是开64g显存跑70b爆显存时3token/s 个人的话应该勉强能用吧 liolio 发表于 2025-2-26 11:16
https://www.chiphell.com/thread-2672083-1-1.html
这个测试是开64g显存跑70b爆显存时3token/s 个人的 ...
也不是不能用。。。
其实吧，前两年，很多企业内部私有化部署RAG，也就拿着13B这种规模的LLM基座凑合。
如果这样来看，拿着AI MAX，个人本地流畅跑 DS R1-32B蒸馏模型，已经是从温饱走到了小康 感觉今年是AI studio 大年.... 怎么感觉那么多人不知道老黄那个是计算卡跑不了游戏[流汗]
https://www.nvidia.com/en-us/project-digits/
testmepro 发表于 2025-2-26 11:20
感觉今年是AI studio 大年....
可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚需 8owd8wan 发表于 2025-2-26 11:45
可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚 ...
https://blog.csdn.net/qq_44948500/article/details/127346390
8owd8wan 发表于 2025-2-26 11:45
可惜现在AMD这边（以及后面很长一段时间），还没办法做训练。
不然这个AI MAX，可能会变成AI专业人员的刚 ...
主要是推理吧.个人做训练要求有点高哦 gtx9 发表于 2025-2-26 11:54
https://blog.csdn.net/qq_44948500/article/details/127346390
问题还挺多的，训练就不折腾AMD了。
仔细想想：
1. LLM本地微调训练，对于大多数应用调包侠（我们这类）或学生来说，也就是know-how，实际意义不大。
2. yolo这类CV的训练，CPU就能应付，更别说随便找一张cuda卡
3. 好像最近本地训练的需求，就一个基于bert的embedding模型。。。
算了，能有这样规模的，做推理的玩意儿，就很满足了。 8owd8wan 发表于 2025-2-26 11:20
也不是不能用。。。
其实吧，前两年，很多企业内部私有化部署RAG，也就拿着13B这种规模的LLM基座凑合。
...
零刻给的测试数据 12CU+24G“显存”和16CU+48G“显存”基本都是14BQ8跑到6点几 Q4的话10出头
就看32/40CU时的表现能不能等比例上去了[偷笑][偷笑][偷笑][偷笑] gtx9 发表于 2025-2-26 11:54
https://blog.csdn.net/qq_44948500/article/details/127346390
A卡和APU的支持是两码事，而且这种玩意更需要类似老黄tensorrt这种的推理库吧
页:
[1]
2