富士通发布了Fugaku-LLM， 使用Fugaku超算进行训练

mnak888

日本的Fugaku超级计算机在很长时间里，一直都位居Top500榜首，即便现在已经不是世界上最快的计算机器，但是仍然是一个强大的系统。其搭载了富士通开发的A64FX，是首款使用SVE指令集的Arm架构处理器，具备多功能特性，支持FP64、FP32、FP16和INT8格式，允许用于各种工作负载，也包括人工智能（AI）。

据TomsHardware报道，富士通在本周发布了Fugaku-LLM，是一个具有高级日语处理能力的大型语言模型（LLM），专为研究和商业应用而设计，其中使用了Fugaku超级计算机来进行训练。Fugaku-LLM计划是由日本多家企业和科研院校合作推动的，包括了东京工业大学、东北大学、富士通、RIKEN、名古屋大学、CyberAgent和Kotoba Technologies等。



Fugaku-LLM具有130亿个参数，与 **-4的1750亿个参数相比显得要小得多。富士通表示，Fugaku-LLM的130亿个参数不需要大量的计算资源来推理，对日本的企业和研究人员来说是最佳选择，其中大约60%的训练数据是日语，40%的数据是英语、数学和代码数据。Fugaku-LLM有着不错的日语水平，在日语MT-Bench上获得了5.5的平均分，另外在人文和社会科学方面尤其出色，取得了令人印象深刻的9.18分的基准成绩。

A64FX采用台积电7nm FinFET工艺制造，拥有87.86亿个晶体管，596个信号针脚，集成了52个核心，包括48个计算核心和4个一样结构的管理核心。所有的52个核心分为四组，每组13个，共享8MB二级缓存。每组之间的互联使用的是富士通第二代TOFU，也就是6D mesh/torus片上互联网络。同时配置了配的32GB HBM2内存，16条PCIe Gen3通道，拥有1024 GB/s的存储带宽。可以提供2.7 TFLOPS@64bit，21.6 TFLOPS@8bit的性能。

富士通下一代针对AI和HPC应用的Arm处理器正在开发中，代号为“MONAKA”，以取代现有的A64FX。其配备了大约150个增强型Armv9核心，并拥有使用加速器的能力，将提供强大的性能。

新闻来源：https://www.expreview.com/93730.html

348495990

这个开源吗

风车车

Post-K这种注重双精度浮点性能的传统超算，其训练能力是无法和现有的GPU/NPU抗衡的，例如华为910b便以单芯片实现了300+TFLOPS的bf16精度，一片能顶A64FX十片。这个用A64FX训练的大语言模型的象征意义大于实质，后面还是得做专用NPU。

zcyandrew

风车车 发表于 2024-5-12 22:29
Post-K这种注重双精度浮点性能的传统超算，其训练能力是无法和现有的GPU/NPU抗衡的，例如华为910b便以单芯 ...

几年前NEC搞过Vector Engine，貌似就是个NPU，但是现在也没下文了
富岳感觉最大的意义就是支持SPARC，很多祖传的代码又可以继续跑了

libfire2002

我朝的超算和AI，都落后了，得抓紧啊