没想到农企软件适配这么早搞好了，9070xt跑rocm版的llamacpp推理
本帖最后由 deepfishing 于 2025-3-28 09:33 编辑折腾了好几天，终于跑起来了。
先决条件，无法在win下编译，wsl也不行，必须装ubuntu，使用rocm6.3.4，还需要手动编译hipblaslt。
可以看看这个，vulkan版的各种卡的性能 https://github.com/ggml-org/llama.cpp/discussions/10879。
只能讲适配确实比以前早的太多了，虽然我感觉性能优化可能还有优化空间
试了编译rocWMMA，爆fp8相关的错误，然后看rocWMMA最新版要rocm6.4，然后公开版本没有6.4，只能讲农企这波软件更新和打鸡血一样了。 ROCm 的文档上还没写支持，居然实际已经支持了，hipblaslt 估计下个版本就可以好了，现在 ROCm 更新的比以前明显快了 过年在7900xtx简单跑了下7b感觉好于预期。 rocm一如既往linux支持最好
页:
[1]