苹果或通过新的闪存利用技术， 让iPhone等设备运行LLM

ym168

人工智能（AI）是今年业界的热门话题，以Chat**为首的各类人工智能支持的应用受到了不少用户的欢迎，背后需要大型语言模型（LLM）提供支持。虽然苹果在人工智能方面暂时还没有带来重量级的功能，不过近期公布的论文显示，苹果在人工智能研究上已经下了不少功夫。



据TechPowerup报道，苹果的研究人员通过新的闪存利用技术，使用闪存芯片存储人工智能模型的数据，让内存有限的设备运行大型语言模型，比如iPhone。要知道大型语言模型需要大量的计算，十分消耗硬件资源，同时加速器和大容量内存也是必不可少，而苹果的新方法旨在解决这些难题。

根据苹果研究人员的介绍，通过将人工智能模型数据存储在闪存上，必要时才会转移到内存，其中涉及到两项关键技术：一是Windowing，人工智能模型不会每次加载新数据，而是重复使用部分已经处理过的数据，从而减少读取内存的次数，让处理过程变得高效；二是Row-Column Bundling，通过更高效地分组数据，使其能更快地从闪存中读取，最终加快了处理的速度。

苹果称在新技术的加持下，能让iPhone运行人工智能模型的规模达到可用内存容量的两倍，M1 Max的CPU运行大型语言模型的推理速度可以提高4到5倍，而GPU可以20到25倍，能极大地扩展适用性和可访问性。

https://www.expreview.com/91537.html

gnhen5415

人家显卡动不动40g显存，m3也只有max能超过

joemorin

gnhen5415 发表于 2023-12-23 17:52
人家显卡动不动40g显存，m3也只有max能超过

我不要你觉得，我要我觉得，我觉得 4g 就够了，那就是够了！哼～

haomjc

闪存寿命堪忧

iaminheu

haomjc 发表于 2023-12-24 10:31
闪存寿命堪忧

其实原本打算过了保修期就自动报废的

但机器里面塞C4有点过于昂贵了 就那么地吧

8+256的配置 明年估计连手机都不如了吧