买40系的理由越来越少了。

zhuifeng88 · 发表于 2023-4-20 12:31

fkpwolf 发表于 2023-4-20 12:17
https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/installation.html#prerequisites

...

这个只是库, 只有在hopper上才会用fp8专用单元加速, 在其他gpu上是软件优化
"Transformer Engine (TE) is a library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit floating point (FP8) precision on Hopper GPUs"

gtv · 发表于 2023-4-20 15:01

代码库方便share吗？我这边有硬件，也想测测看

我輩樹である · 发表于 2023-4-20 15:39

今天更新了cuda 12.1 release 1，根据nv开发者的信息transformer engine应该可以正常运作了。

https://github.com/NVIDIA/Transf ... ecomment-1515703357

账号		自动登录	找回密码
密码			加入我们

[显卡] 买40系的理由越来越少了。