［ai应用3］单卡可跑的语言模型，100x速度

T.JOHN

项目flexgen：

地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (facebook) 联合发布

标题：Running large language models like OPT-175B/g p t-3 on a single GPU. Up to 100x faster than other offloading systems.

在单个gpu上运行大型语言模型，类似opt-175b/g p t-3，相比其他卸载系统有高达100x速度提升

论文：

地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf


目测10个联合署名的7个应该是华人

运行硬件：
测试平台：Hardware: an NVIDIA T4 (16GB) instance on GCP with 208GB of DRAM and 1.5TB of SSD.

gcp上一块16gb t4，208gb内存，1.5tb ssd。我没仔细看内存是不是要吃那么多，回头试了再说

12小时直接2.3k star，这速度基本超级爆炸了

相比纸片人老婆，你可以打造真正的soulmate waifu

目前只能在16GB以上显存跑，仅有的消费级N卡是3090/4080/4090。可见老黄未雨绸缪，刀法精准，80ti 12gb实在太有远见。显存或者内存不足有解决方案，参考github


以下为g p t3的数据量，中文文章仅29万篇，英文2亿3千篇。可见中文训练还大有可为！

language	number of documents	percentage of total documents
en	235987420	93.69%
de	3014597	1.20%
fr	2568341	1.02%
pt	1608428	0.64%
it	1456350	0.58%
es	1284045	0.51%
nl	934788	0.37%
pl	632959	0.25%
ja	619582	0.25%
da	396477	0.16%
no	379239	0.15%
ro	320256	0.13%
fi	315228	0.13%
zh	292976	0.12%
ru	289121	0.11%
cs	243802	0.10%
sv	161516	0.06%
hu	149584	0.06%
zh-Hant	107588	0.04%

目前的结果是英语训练完以后，模型同样能理解其他语言，开发人员不知道为啥。

参考：
文章数量 https://github.com/openai/**-3/b ... _document_count.csv
Jan Leike蓝鸟：https://twitter.com/janleike/status/1625207251630960640

iooo

试试消费级的卡呢，别出个凤Jie就行

gmlee1999

这玩意咋玩的？

我輩樹である

刚出来的，单卡跑**3等级的模型。

碌木

我輩樹である 发表于 2023-2-22 00:56
刚出来的，单卡跑**3等级的模型。

被屏了啥

SheetLorde

3090要涨价！

T.JOHN

碌木 发表于 2023-2-22 05:54
被屏了啥

g p t 三个字母连续起来变星号

T.JOHN

SheetLorde 发表于 2023-2-22 06:51
3090要涨价！

我4080不服

mypchas6fans

mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧

叶子烟

狂牛疯牛生不逢时

T.JOHN

叶子烟 发表于 2023-2-22 09:10
狂牛疯牛生不逢时

以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑。过去你们嫌弃我黄狂牛卡，现在我黄直接不给了

T.JOHN

mypchas6fans 发表于 2023-2-22 09:06
mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧

格局低了，什么简易版？你这就是自主研发，独立可控的xxx语言模型

fairness

T.JOHN 发表于 2023-2-22 09:12
以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑 ...

别太在乎显存大小，有解决方案的。

YsHaNg

碌木 发表于 2023-2-21 21:54
被屏了啥

Generative pre trained transformers

YsHaNg

补一个新鲜出炉amazon家的 吹自己百分之一的参数量做到准确率更高 要超越openai的

YsHaNg

https://github.com/amazon-science/mm-cot