AMD推出GAIA：一个在Ryzen AI NPU上运行的本地LLM开源项目

mnak888

AMD宣布，推出一个名为“GAIA”的新开源项目。这是一款生成式AI应用程序，利用了Ryzen AI NPU来运行本地大语言模型（LLM），暂时仅限于Windows平台，并针对Ryzen AI 300系列处理器进行了优化。这种集成允许更快、更有效的处理，一方面功耗更低，另一方面保持了数据的本地化及安全性。



目前GAIA提供了两个版本，一个是可以在任何Windows PC上运行，但是会比较慢，另一个就是经过优化的版本，可在Ryzen AI PC上运行，利用NPU和iGPU以获得更好的性能。GAIA的突出特点之一是其代理检索增强生成（RAG）管道，可以将LLM与知识库相结合，使代理能够在交互式聊天环境中检索相关信息、原因、计划和使用外部工具，产生更准确及上下文感知的响应。

AMD表示，在NPU上本地运行LLM有几个好处：增强了私密性，消除了将敏感信息发送到云端的需要，大大增强了数据隐私和安全性，同时仍能提供高性能的AI功能；无需与云端通信，从而减少了延迟；通过NPU优化了性能，从而实现更快的响应时间和更低的功耗。从Ryzen AI Software 1.3版本开始，支持同时使用NPU和核显的量化LLM部署提供混合支持，提升了运行效率。

如果想进一步了解并尝试GAIA，可在github.com/amd/gaia上查看GAIA存储库。



新闻来源 https://www.expreview.com/98921.html

用户

好好支持ollama就完事了，搞这玩意浪费钱

lqf3dnow

这东西是不是就是AMD版的ollama?

QYE

所以8700G和8600G的NPU能跑这玩意么？