找回密码
 加入我们
搜索
      
查看: 72255|回复: 67

[CPU] HEDT新玩法,EPYC超频组建全能工作站,CFD计算完胜牙膏厂

[复制链接]
发表于 2019-5-18 10:45 | 显示全部楼层 |阅读模式
本帖最后由 mousefire 于 2019-5-18 13:34 编辑

概述

最近工作上用有限元、CFD比较多,公司给配的工作站(可怜其实是个X99 HEDT平台)实在是不太给力,自己用了两年多的Thinkpad P50也不太能满足我日益增长的性能需求,毕竟拿移动工作站来跑计算也实在是有些难为它了。现有的娱乐机还是年头更久的未来人类X611,P157sm-a那版,自己给换了GTX 970m,然而也实在是跟不上时代了。

确定下来的需求是:工作优先,需要最大化有限元和CFD计算能力,Solidworks这些建模软件也得流畅些,跑个Visualization渲染什么的要给力;兼顾家用,主要是Lightroom照片处理以及一些单机游戏。任务比较多,可以算是个全能工作站了。

经过一番折腾,可以得到以下一些结果,有兴趣的可以继续往下看:
1)     EPYC用作有限元、CFD类计算时性价比极高,除了intel某些十二通道内存的怪物,可以说是市面上最强单路、最强双路。之所以不是最强四路只是因为现在推出的工作站配置还没有四路的。如果算上价格的话,hmmm。。真是yes,总体价格可以比主流HEDT平台做得更低。
2)     EPYC用作全能工作站曾经的唯一劣势是频率太低,单线程工作能力差,这样对于建模,科学计算的前后处理这些都不利,想在工作之余爽把游戏也成问题。有两个解决方案:不想折腾的话直接上7371,这也是目前市面上16核高频工作站cpu里面独一家的产品,价格相对来讲也还可以,大概9000左右;二是自己超频,现在已经有了破解版的AsusZenStates,EPYC系列超个3.6 GHz算是基本盘。
3)     超频时需要注意主板供电能力和散热,超微的板子是6相供电,永擎有7相供电,如果想玩得比较极限的话可以选择永擎。主板散热方面的话,如果只是小超,机箱风道做好些就可以了。CPU散热方面,基本上风冷也足够了,看机箱的风道配置,如果用猫头鹰的U14s的话最好有垂直风道,用超微的工作站散热器的话可以从机箱后部排风。
4)    配上给力的显卡,3.6 GHzEPYC当游戏机用效果也还不错。作日常工作任务使用的话至少有主流配置的性能水平。




平台选型及科学计算能力比较




大概3月开始就慢慢的看一下现在的行情,一开始设想的是HEDT平台,多堆上一些核就行了,考虑到Adobe全家桶、Solidworks以及其它娱乐应用都对Intel比较友好(虽然现在不至于能把AMD全家轰成渣了,但是操作流畅度方面击败AMD全家问题还是不大的),主要考虑9900X以上的几个,连海淘内存都想到了,很欢喜的看到芝奇DDR4 3600C17 16G*8套条在美蛋上从1339美元降到1160美元,到手价也就8千出头吧。直到回到初衷,开始关注正儿八经的科学计算能力的时候,发现一幕轰成渣的惨案(此图中数据越大越好,表征单位时间内完成的迭代步数):

OpenFoamBenchMark.png


上面的图中,会出现诸如7820X胜过7940X的情况,原因基本都是因为内存问题,7820X的玩家把内存超频到了3400MHz的频率并进行了时序优化。EPYC 7601没有打过7501仅仅因为内存使用了Ranks=1的型号,导致内存带宽略输。同时也可以看到,针对科学计算优化过的工作站平台,不管是intel还是amd的,在内存参数差不多的情况下,也都比自家hedt平台有一定的性能优势,至于I7-8700K这样的桌面平台强U,表现就比较惨不忍睹了,一身功夫被内存瓶颈卡住,不得发挥。

也就是说,并不是牙膏厂的CPU不给力,只是对于目前有限元、CFD这两块计算能力而言,CPU计算能力往往已经过剩,瓶颈是内存带宽,因而坐拥8通道的EPYC得以笑傲群雄。对比Intel V4以及之前的工作站系统,EPYC可以很轻松的单路战双路,双路战四路,即便是现在推出了可扩展系列,单打独斗也不是EPYC一代的对手,除了以下几个壕物,它们是12通道的(当然单看Price那一列,就可以直接排除掉了,这压根都已经不用数字表达了,另外,Intel赶工赶出来的这波白金cpu,TDP也是够感人的。):

PlatnumCPUs.jpg


除了OpenFoam这样的开源软件,也搜集了一下为Intel深度优化的商业软件的测试数据,主要是Fluent(这个是为AVX2优化过的),而且E5系统用的是DDR4-2400,7301系统用的是DDR4-2133,7301作为EPYC产品序列里频率最低的16核,配置也处于劣势。然而结果还是轰成渣(此图中数据越小越好,数据来源:https://www.cfd-online.com/Forum ... s-ansys-fluent.html):


fluentCompare.png


以上结果就太尴尬了,Intel处理器虽好,然而内存带宽上的巨大劣势完全限制死了计算能力的发挥。然而EPYC也不是没有劣势,首发批次里的处理器最高频率不过3.2 GHz,如果考虑全核频率的话最高也就是7351的2.9 GHz,这个频率要用来日用是很尴尬的,大把常用软件中的表现都不会太好,娱乐项目也不用想了,即便是只考虑工作站应用,Solidworks和科学计算的前后处理都不会太舒服。

好在新近推出的EPYC 7371给了一条新的思路,8核睿频3.8 GHz,16核睿频3.6 GHz,这个频率水平也终于让EPYC的特性栏里加上了Videoand Gaming这一项,算是可以抢ThreadRipper的饭碗了,TDP涨到200W,也算是可以接受。


7371Specs.png


EPYC 7371的性能测试可以参考:http://www.moepc.net/?post=5146。五月底罗马发布以后,应该还会有IPC更好的高频SKU,但愿明年此时的价格可以让我更新一把。

主板方面,EPYC目前可选的主流主板有超微、永擎和技嘉。超微比较老牌,性能稳定,双路的板子貌似目前也只有他家的可选,货源也比较稳定。唯一的不足可能是各方面都中规中矩,对EPYC提供的PCI-E通道利用得不那么完善。PCI-E 16x只给了三条,NVME接口只有一个,其它的都要自己想办法扩展。永擎供电部分用料足一些,提供两个NVME接口,4条x16的PCI-E插槽。作家用工作站的话,超微和永擎的单路板子都是ATX板型,用起来很方便。因为我有两块NVME SSD,还是倾向于永擎多些,可以免去插转接卡的麻烦,不过永擎在国内的供货似乎是个问题,四月底下的单子,供货期要到五月底,好在卖家比较靠谱,先给了块超微测试。目前本帖的内容都基于超微的板子,待永擎的板子到货后,就超频的情况再作更新。

EPYCD8Motherboard.jpg


其它的主要部件也秀点图,其中为了获得最大化的带宽,内存挑选了Ranks=2的型号,在CFD online的讨论中,2R的DDR4-2133可以获得接近1R的DDR4-2666的成绩,还是值得注意一下的。


201905_未命名_0001.jpg



201905_未命名_0002.jpg


201905_未命名_0004.jpg


201905_未命名_0015.jpg


测试机没有好好理线,丑陋了些:


201905_未命名_0001-2.jpg


201905_未命名_0003-2.jpg



EPYC超频->工作站版ThreadRipper




选定平台以后的工作就好做多了,无非就是把各个部件都确定完,再把价格摸清楚。当然了,能折腾的还是想折腾一番。我这台工作站的主要目的是性能验证,也是放家里自己用的,所以选择了单路,准备等测试得差不多了,给公司建议上双路。基础配置如下:

  
项目

型号
价格
CPU
7351P
约4500
主板
永擎EPYCD8
2700
内存
16G 2Ranks*8
4000
显卡
Quadro RTX 4000
6500
机箱
酷冷至尊 HAF XB EVO
600
电源
海盗船RM750x
800
散热器
折腾了一堆
约2000
SSD
2*970 evo 2tb
利旧
机械硬盘
HGST 10TB企业级
2000

霄龙二代这个月底的发布会应该就能出现了,计算能力也确定能上一个台阶,然而我的主要应用瓶颈并不在计算能力方面,也就不多等这几个月了,当然更关键的是目前霄龙一代的价格实在是很美丽。16核的7351价格在5000元左右,32核的7551也不过售价12000元。2代频率提升,IPC优化基本上是板上钉钉的事儿,对前后处理和日常应用应该更有好处,只能期待早日铺货,然后最好和如今的EPYC一代一样,能有个几乎白菜的价格。

更yes的是这个:https://forums.servethehome.com/index.php?threads/overclock-your-amd-epyc.23422/   海外人士放出的超频利器:修改版AsusZenStates,取消了对主板的品牌要求,可以适用于华硕以外的品牌主板。

EPYC本身体质还可以,只是传统应用场景对功耗的限制比较厉害,导致频率水平和线程撕裂者差不少。对于个人工作站而言,EPYC 7371这样的SKU还是太少了些,好在有了大神,可以自己动手,丰衣足食。从外网的情况看,32核的EPYC超到全核3.6 ~ 3.8GHz也很寻常,电压可以控制在1.35V左右。

       从7371的评测结果看,全核3.6GHz的EPYC 7351就可以基本满足我预设的需求,同时应当能把功耗控制在可以接受的水平。而手头这台机器体质不好不坏,用超微的主板的话1.25V就可以过prime 95第三项烤机一晚上。酷冷的这个机箱是罕见的卧式,初衷是为了满足家里存放空间的需要(正好有这么大小的一个格子),现在看风道短直也是个不小的优点,主板MOS散热部分受到进风风扇的直吹,冷却效果不错,如果需要追求极限的话,可以淘宝找个风扇支架,直接对着mos散热片吹。遗憾的是超微的服务器散热器也迟迟没有到货,猫头鹰U14s装上去,这个风道就被破坏了,机箱顶部的20cm风扇因为限高也无法安装:


201905_未命名_0002-2.jpg



OverClockSetting.png



        为了以防万一,memTestPro也跑了,然后查看了一下没有47事件。


memoryTest.png




        最后跑个CB15算是验收通过:


CB15.jpg



科学计算表现



性能方面,其实前面列的国外的评测数据更全面,我自己只是简单跑了几个测试,权当娱乐了。首先是Aida 64的内存带宽测试。


Aida64_MemoryBandwidth.png



这项测试其实已经基本可以反映出一台机器作有限元、CFD计算的能力。8通道内存的带宽也确实是主流HEDT平台无法比拟的,如果是双路的话跑计算就更舒服了。
        接下来做了一个简单的Fluent三通管模型,启用了Energy,湍流模型使用k-w SST,算法用了coupled,手工把网格数量增加到了约70万,强制跑200步。由于超线程对CFD计算基本是拖后腿的设置,因此关掉了。



fluentSet.png



由于是用2019R1新版做的测试,公司那台老旧的X99平台“工作站”还没更新,因此只和我自己的移动工作站P50作一下对比,基本配置是6820 HQ @ 3.2GHz,4*16GB DDR4-2133的内存。用时705.4s。

P50_fluent.png

接下来是EPYC的表现,用时164.2s。相比P50的话,速度大概是4.3倍,Fluent Coupled算法的并行效率还是可以的。

EPYC_fluent.jpg

下面测试的是Ansys Workbench Mechanical的一个算例,计算对象是一个压缩机转子的热和结构、模态耦合的工况,这是个实际案例,案例图就不上了,网格数量是270万,同样与Thinkpad P50作对比。热分析和结构分析几十秒就能搞定,模态分析用时较长,P50的模态分析用时5301.1s:

P50_Modal.jpg

EPYC用时1768.5s,增速比3.0左右,没有CFD那么大,我结构分析用得少,其实结构分析时,开超线程是能获得一点速度加成的:

EPYC_Modal.jpg


娱乐表现


个人已经很久没有跟最新的3A大作了,只作了3D Mark的测试,由于CFD计算不需要超线程,我这台电脑就关掉了(后来也尝试过开着测了下timespy,得分反而会降个200左右),得到的成绩如下:

TimeSpy.jpg


       FireStrikeExtreme.jpg



这个跑分成绩比站内RTX 4000评测的那位兄弟得到的略好,可能跟驱动更新优化也有关系。总体上看,光论游戏的话,比RTX 2060能强些,但与同源的RTX 2070比还是差些。不过用在我2K的屏幕上应该也足够爽玩了。







评分

参与人数 6邪恶指数 +220 收起 理由
林之乎 + 20
nApoleon + 100
duskash + 10 666
ltycomputer + 20
kthlon + 50 分析的吼哇
luo + 20

查看全部评分

发表于 2019-5-18 11:10 | 显示全部楼层
华擎这板子的PCIE 布局不错,比超微那个灵活
发表于 2019-5-18 11:13 | 显示全部楼层
猫头鹰这散热原来压得住200W的U啊,对我1700上面的银箭IBE更有信心了
 楼主| 发表于 2019-5-18 11:19 | 显示全部楼层
454243332 发表于 2019-5-18 11:13
猫头鹰这散热原来压得住200W的U啊,对我1700上面的银箭IBE更有信心了

建议谨慎,EPYC的散热比threadRipper容易多了,毕竟cpu表面积就一大坨,而且16个核心分布在四个die上,非常有利于散热,我这烤机也就60多度,比1950x的温度好多了
 楼主| 发表于 2019-5-18 11:32 | 显示全部楼层
deigo_block 发表于 2019-5-18 11:10
华擎这板子的PCIE 布局不错,比超微那个灵活

是的。。然而等货等得人心焦
发表于 2019-5-18 11:54 | 显示全部楼层
仰望高端玩家,
发表于 2019-5-18 12:06 | 显示全部楼层
等LZ上ROME
 楼主| 发表于 2019-5-18 13:37 | 显示全部楼层

Rome估计还可得等一阵,国内代理告诉我国内可能要年底才能铺货。其实我主要是觉得对于有工作需求的人而言,这阵子的EPYC一代真的是比HEDT平台性价比高得多,也总算可以不用去看Intel那堆洋垃圾了。
发表于 2019-5-18 13:53 | 显示全部楼层
mousefire 发表于 2019-5-18 13:37
Rome估计还可得等一阵,国内代理告诉我国内可能要年底才能铺货。其实我主要是觉得对于有工作需求的人而言 ...

是啊 所以说2990WX阉割了内存通道和PCIE真是难受。。

PCIE还好,内存通道真的是很伤。。
发表于 2019-5-18 15:55 来自手机 | 显示全部楼层
挺好的
发表于 2019-5-18 16:57 来自手机 | 显示全部楼层
本帖最后由 fenquen 于 2019-5-18 16:58 编辑

这会也在物色弄个epyc的机器楼主你的帖子出现的正好,能不能pm购买链接
 楼主| 发表于 2019-5-18 17:12 | 显示全部楼层
fenquen 发表于 2019-5-18 16:57
这会也在物色弄个epyc的机器楼主你的帖子出现的正好,能不能pm购买链接

可以的,已经pm给你了。。
发表于 2019-5-18 17:19 | 显示全部楼层
顶lz 终于有amd用于ansys帖子了,前一阵就一直想问zen出来之后不知道科学计算好用不好用 有没有bug
 楼主| 发表于 2019-5-18 17:40 来自手机 | 显示全部楼层
zhangfeideya 发表于 2019-5-18 17:19
顶lz 终于有amd用于ansys帖子了,前一阵就一直想问zen出来之后不知道科学计算好用不好用 有没有bug
...

貌似在国外已经流行了有一年多了,我看cfd online的硬件版都快被epyc占领了,应该不会有什么影响比较大的bug
发表于 2019-5-18 17:51 | 显示全部楼层
deigo_block 发表于 2019-5-18 11:10
华擎这板子的PCIE 布局不错,比超微那个灵活

求你个性签名图片中的CPU冷头型号!!!真帅
发表于 2019-5-18 17:52 | 显示全部楼层
AMD YES!嘿嘿
发表于 2019-5-18 20:49 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2019-5-18 21:48 | 显示全部楼层
本帖最后由 wansijie 于 2019-5-20 09:38 编辑

这内存的带宽~~~ 看看我自己的在40,50G,这都150G了~~ 第一次让我看到了桌面与专业的区别。
发表于 2019-5-18 22:45 | 显示全部楼层
内存测试图已盗 打算哪天装个逼亮出来
发表于 2019-5-18 22:49 | 显示全部楼层
观摩~
发表于 2019-5-18 23:03 | 显示全部楼层
又见猫头鹰
 楼主| 发表于 2019-5-18 23:17 | 显示全部楼层

其实TR4/SP3平台的猫头鹰还是值得说道说道的,除了综合效能最强的U14s,还有个非常强力的小散热器U9s,不同于普通平台的9系,U9s有六根热管、两个A9风扇,效能与U12s相当,更关键的是,U9s是可以用于绝大多数4u机箱的。

当然用在SP3平台上有个小小的问题:风道方向,这个在我帖子里也提到了,不过如果组双路,配合追风者614P这样的机箱,可以走垂直风道,还可以避免前后风道里,靠后的CPU抽前面CPU排出的热气的问题。
发表于 2019-5-19 17:47 | 显示全部楼层
泼个冷水,如果计算用的软件需要AVX2时,AMD32核性能仅能打英特尔的16核(v3v4)。如果软件还支持AVX512,那么32核只能打8核(7820X)。当然,如果用的软件不支持AVX,那就用AMD,性能非常高
 楼主| 发表于 2019-5-19 18:57 | 显示全部楼层
rico19375 发表于 2019-5-19 17:47
泼个冷水,如果计算用的软件需要AVX2时,AMD32核性能仅能打英特尔的16核(v3v4)。如果软件还支持AVX512, ...

Fluent支持AVX2,且Intel完败,请仔细看帖
发表于 2019-5-19 22:15 | 显示全部楼层
实在是太专业,长见识了
发表于 2019-5-20 00:17 | 显示全部楼层
454243332 发表于 2019-5-18 11:13
猫头鹰这散热原来压得住200W的U啊,对我1700上面的银箭IBE更有信心了

题外话,以IBE的能力压个1700绰绰有余……
发表于 2019-5-20 00:21 | 显示全部楼层
chei31 发表于 2019-5-20 00:17
题外话,以IBE的能力压个1700绰绰有余……

我的1700是个大雷,1.39V才能超到3.9就上不去了,烤鸡180W功耗用两颗扇子的IBE压都75度了,其实我感觉换个普通散热估计温度不会很好看
发表于 2019-5-20 00:35 来自手机 | 显示全部楼层
很厉害,楼主请问一般的solidworks 一万个特征左右,网格化以后,有限元需要多大内存?处理器是r5 2600 我想看看喂饱处理器是要32g内存还是64 如果64就得换主板了
发表于 2019-5-20 04:20 | 显示全部楼层
楼主麻烦PM下主板的购买渠道,谢谢
 楼主| 发表于 2019-5-20 09:18 | 显示全部楼层
ATDpF 发表于 2019-5-20 04:20
楼主麻烦PM下主板的购买渠道,谢谢

已经pm给你啦。。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-11-22 09:56 , Processed in 0.027621 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表