M4现在对做AI落地应用支持的如何呢？

manyhn

个人工作原因，需要经常跑各类模型，包括语言模型，图像模型，OCR模型，视频理解模型等，主要是做推理任务。

由于之前错过了4090，就一直拿A卡做这方面。说实在的大部分场景确实是能跑，但是有些细节场景就会很麻烦，比如:
1. 跑量化大模型，好像是AWQ，环境搭建会比较麻烦
2. Flash-attn也是个问题
3. 很多GitHub项目依赖了具体的PyTorch版本，但ROCM的PyTorch很可能没有对应版本。
所以实际上我只是用A卡跑一下模型的基础配置，一旦需要量化等则去Autodl 租机器。

所以想问下有知道现在m系列芯片做同样的任务现在支持程度怎么样呢？

PS: 不用推荐N卡，我完全理解最好的选择肯定是N卡，只是肯定不会在这个点入手。

dming

不太懂具体需求，B站早上刷macmini视频看到个评测可以去瞅瞅有没有帮助
【35瓦GPU挑战700亿参数大模型！苹果M4 Max/M4性能深度分析】 https://www.bilibili.com/video/B ... cdc1609b5aae8b5fd92

manyhn

dming 发表于 2024-11-8 09:50
不太懂具体需求，B站早上刷macmini视频看到个评测可以去瞅瞅有没有帮助
【35瓦GPU挑战700亿参数大模型！苹 ...

性能其实不那么重要，能跑就行。我现在的7900xtx性能也是够的，毕竟我是负责调研环节，不是生产环节。

但是生态的支持度很关键，比如跑一个本地大模型时，量化没有库支持、flash-attn没法用、vllm部署不支持的话，就比较麻烦。

当然毫无疑问，上述最好的就是N卡。

xy.

1. 现在的环境是咋跑的
2. https://github.com/ggerganov/llama.cpp/issues/7141
3. 版本都有, 毕竟就相当于 x86 的 cpu version

h125445797

MAC上只能说可以玩玩，手里的m2 pro也就玩玩draw things；语言模型推荐需要MAX以上的，内存96以上;
一般推荐租赁算力

richienie

可以这么理解，如果是觉得贵所以不上N卡，那apple的生态就更贵了，而且还没有A卡好。
如果为了性能买高配的apple，那这个钱也已经完全足够买N卡。

当然，为了颜值，那例外

用户

无特殊需求的话，付费服务**4o mini效果好价格低。服务器端能优化的很多，开源工具跟不上的。

多崎作

研究玩玩可以，正经生产感觉还是得N卡

fudaming

ROCM支持的Pytorch版本应该比apple silicon的多的样子。

a6057c

ROCm已经是除了N卡CUDA之外对ML支持最好的环境了

manyhn

额，那就算了。只跑一个本地大模型对我也没什么意义，等明年5系卡算了

xeon13

说实话，笔记本本地跑大语言模型VS Mobile Cloud Computing （在云上跑或者自建homelab跑然后从笔记本和手机远程调用），到底哪个更好其实现在还很难讲。 个人感觉只要没有特别延迟敏感的部分，基本上后者完胜。毕竟现在手机没有网就是一坨废物，即使模型自己能离线跑，但是很多配合LLM使用的应用框架离线了也基本上都用不了。

Sirlion

干这行,却坚持不用n卡, 有点出戏