听说这次的ultra处理器都有npu？那读gguf的大模型能加速了？

manwomans · 发表于 2024-10-12 17:22

目前14700k的话运行70b的大模型才1token/s
根本没法愉快玩耍
如果ultra有npu加速的话，要能提升到5t/s的话至少是能用状态了
新u的游戏性能拉跨，但是大模型能加速的话我还真有心把手头这个14700k给换了

awpak78 · 发表于 2024-10-12 17:39

瓶颈在内存上，就算intel把NVIDIA收购了在285K里集成4090也是1~2token/s

YsHaNg · 发表于 2024-10-12 17:46

流星湖的npu 真要硬说12-14代也有npu 那会还叫gna 要不发布会上ultra 200v还有openvino里那个第五代npu哪来的

平安是福 · 发表于 2024-10-12 23:41

awpak78 发表于 2024-10-12 17:39
瓶颈在内存上，就算intel把NVIDIA收购了在285K里集成4090也是1~2token/s

amd有个四通道的附带40cu核显与npu的玩意，那个跑llm岂不是很舒服

Ownab · 发表于 2024-10-12 23:51

本帖最后由 Ownab 于 2024-10-13 00:10 编辑

NPU不像CPU和GPU那样是个标准硬件
各家的NPU 甚至各代的NPU 都要用厂商私有SDK对接
别说ultra200，就算ultra300估计也很难普及，除非微软在系统层面完成硬件对接，对应用提供标准接口，就像DirectX那样标准化
而各家做端侧模型的为了覆盖更多市场(手机、车机、以及各种安卓设备) 高通平台优先级是最高的，Windows端侧适配NPU的商业区动力尚且不足

ultra200 硬件大概明年3月上市，而据我所知目前行业内头部厂商都没有正式的适配计划

ykdo · 发表于 2024-10-13 01:52

就为一小碟醋包两车皮饺子？

赫敏 · 发表于 2024-10-13 01:55

随便弄个显卡不都比这强？

厌夜 · 发表于 2024-10-13 02:16

用cpu跑大模型，这么狠。

cpu的内存带宽只有gpu的1/10，换9950x来都不太好使的，还是不要干这种事情吧。

账号		自动登录	找回密码
密码			加入我们

[CPU] 听说这次的ultra处理器都有npu？那读gguf的大模型能加速了？