[分享]威联通TS-h1290FX 桌上型全快闪 分享 [厂商优化中+]

godspeed66

设备简介
https://www.qnap.com.cn/zh-cn/product/ts-h1290fx

TS-h1290FX 支援 U.2 NVMe PCIe Gen 4 / SATA SSD 存储架构，是高性价比的全快闪 NAS，匠心独具的桌上型设计及精美外观，极适合放置办公室环境；搭配强悍AMD EPYC™ 7002 系列 8 核心/16 核心处理器与内置 25GbE 高速传输，全面满足高效能、低延迟的关键存储应用，并实现无痛分享、存取、备份影音大文件，对于效能需求严苛的 4K/8K 影音串流和后制工作，可带来更高的产制流程效率。TS-h1290FX 具备 ZFS 卓越的数据减量功能、SSD 优化技术，以及数据自我修复功能可确保数据完整性，以具竞争力的价格提供高效能备份、协作、与影音编辑存储方案。


上周到手的，昨天硬盘到了，正式使用，亏了先拷贝测试了下，结果就挂了

硬盘是12块全新的SN640 7.68TB，没有在咸鱼买，没有买二手盘，真的很明智！！！
设备是实体店购买，没有在淘宝、咸鱼买，真的很明智！！！



实体店服务很及时到位，买NAS，实体店的服务具有明显优势



过程：

第一次拷贝不到200GB数据，无异常；

第二次拷贝500GB数据，大约拷贝至80%完成率时，突然提示找不到路径，然后就这样了

现状：


机器红了



硬盘红了



确认BUG：
硬盘温度识别异常，插拔后恢复 这块硬盘是NAS的11号盘，与掉盘的1-3号无关



现阶段第一阶段：

1.找实体店技术，通过操作，能够读取数据，但读取只有330-360MB/秒，点个赞，至少数据没丢；

2.技术正在检查磁盘，并怀疑是硬盘故障导致的，我不认;

威联通（实体店）技术反馈：“先等他扫描 过会再看下吧 我感觉可能是硬盘有问题”

我不认可的理由：“不接受  即使硬盘故障也不会出现正好1、2、3号盘位同时故障，哪怕我就是拿12块随时坏的硬盘，也不会出现1、2、3号盘位同时损坏，不符合概率论。除非设备接口有异常，同时损坏固定插槽的硬盘，才能出现1、2、3接口的硬盘同时损坏”


现阶段第二阶段

1.NAS强制检查硬盘坏道后，故障自动消失；


2.高度怀疑是硬盘固件出现BUG（参见 坛友的帖子https://www.chiphell.com/thread-2431116-1-1.html）

3.再次遇见喜闻乐见的读写速度问题，明天继续测试
   万兆电口 写1GB/s，读360MB/s
   40G网卡 写1.7GB/s，读500MB/s
  

第三阶段，完蛋，NAS在疯狂掉盘 PS:  硬盘已经都更新至最新固件







第四阶段，更新系统为QTS5.01(原来是QuTS hero h5.0.0）后，现在很稳定。至少比原来稳定


异常断电一次，产生了新的问题：存储池或卷无法被删除



点击  恢复出厂设置  和  重新初始化 ，均失败


但是，经过  恢复出厂设置  和  重新初始化 后，存储池或卷可以删除了


第五阶段，尝试恢复初始状态

今天晚上测试下 恢复初始设置

PS：现阶段 读 2.5GB/s  ,  写 2GB/s   期待写能达到 3.5GB/s

测试环境：

NUC11BTMi9  三星256GB系统盘，测试盘： 980PRO 2TB PCIE4.0*4 *2 RAID0  , INTEL P5316 30.72TB PCIE4.0*4 , 40G网卡

DAC直连

威联通 TS-h1290FX （SN640 7.68TB * 12 RAID0)+40G网卡


临时更新
（由于某网络&安全厂商研发的奇葩作品，被迫全员加班排查，累的心脏病犯病了，估计很多事情要延期 ）


1.关于网卡

要“吐槽下” ，威联通随机自带的25G网卡是Mellanox MT2894 Family [ConnectX-6 Lx]，这么强大的网卡，竟然主页和厂商视频都没有介绍？！

尤其是主页介绍中关于扩展网卡的歧义，让我认为自带的网卡不支持高级功能，结果竟然SR-IOV、RoCEv、RDMA、iSER全支持！！！ 早知道我为啥折腾买网卡呀！！！






40G网卡 是在淘宝上看到的，399一张
Mellanox ConnectX-3 Pro CX314A EN MCX314A-BCCT 40G万兆网卡


这个风扇有个缺点，就是过热掉速！


                 PS：2022.10.5   实测此网卡在威联通的VirtualizationStation 3 中 SR-IOV 功能异常，表现为虚拟机认出网卡，但提示“由于该设备有问题，windows已将其停止”

                  

2. 关于噪音

2个9CM风扇换成了猫扇，CPU散热器也换了，同样用猫扇，噪音非常低！！！，低到需要把耳朵贴在机箱上才能听见，转速平时不到700转，拷贝数据测试时最高不到1000转，赞！！！

其实不换风扇噪音也很小，只是我的要求太高

原装时候噪音：比DS1621XS+（全固态）声音略大，主要是cpu风扇的噪音，这个8038风扇品控一般般，在低转速时有一定声音（感觉像是轴没调较好）

9CM猫扇*3+青梅CPU风扇 时的噪音：

风扇自动模式下，噪音约等于DS1522+（全固态）声音，赞！

由于SN640硬盘体积小，散热略差，我调风扇转速为35~50%，噪音约等于DS1621XS+（全固态），总体来说声音小



第六阶段

                   掉盘问题再现

                  

                    很奇怪的是硬盘明明在线啊，与以前故障现象不是太一致

                    而且这次故障的硬盘就是一直出故障的“11号盘”，已经换位置至现在的10号位置

                    不排除这块硬盘确实有问题


第七阶段重新初始化NAS
               
                    
                    
                    系统初设需求：
                                   1.ES   
                                   2.个人日志
                                   3.人物相册
                                   4.PT下载
                                   5.其他高性能需求

                    考虑到系统已经基本稳定[del]，2块RAID1+10块RAID50

                  =========================
                  2022.10.6
                  太舒服了，威联通TS-h1290FX 的 VirtualizationStation 3 性能非常好，正在专研中，如稳定的话，可以把其他跳板机关机了
                  强烈推荐发烧友使用威联通TS-h1290FX

                  硬盘强烈建议选单盘15.36TB的

                  =========================
                  2022.10.7
                  貌似RDMA没有生效啊

                  


                   但是NAS中的网络设置里，显示是支持的啊，难道需要特殊设置？
                  
                  

=============================================================================

第八阶段，在原厂的远程操作下，更换系统至 QuTS hero


1.  文件拷贝写入速度快 很轻松就能达到2GB/s的复制粘贴速度，相同文件QTS带宽占用14.5~16Gbps，QuTS hero提升至17~18Gbps，甚至2线程可以达到23.3Gbps的带宽使用，大约提升15%以上的的文件拷贝速度



2. 读取
直接复制粘贴文件读取怎么才1.2GB/s？


用软件读取速度有所提升，但与之前QTS的2.5GB/s相差很远


ISCSI 模式下 读2.3GB/s




ISCSI 模式下 写1.7GB/s


======================================================
2022.10.9
厂商远程协助测试优化中，期待啊


最新进展:写入NAS  4GB/s  带宽31~35Gbps



======================================================

第九阶段，换回QTS系统


目前我个人有些怀疑 399一张“Mellanox ConnectX-3 Pro CX314A EN MCX314A-BCCT 40G万兆网卡”的兼容性，因为插在NUC12（Winserver 2022)上会导致蓝屏（WINSERVER下NUC12的无线网卡也不能使用），但是插在NUC11（WIN11）上正常


PS： 基本确认是NUC12兼容性问题  只能等NUC13了

=========================================================

2022.10.18
第十阶段

1.厂商正在搭建测试环境，不需要用我的设备远程调试了，希望近期能有个优化版本吧；

2. SN640 7.68TB 翻车1块硬盘，PC、NAS、U2转USB均不能识别这块盘了


3. 关于NAS读写速度
    厂商明显需要继续优化系统，

          1）U.2双盘及以上（RAID0）速度稳定在读2.5GB/s，写2GB/s
            哎，明显软RAID不够给力啊
          2）6块SATA SSD 与6块U.2 分别组RAID0，稳定在读2.5GB/s，写2GB/s

            这算厂商的负优化吗？
            这种情况下实在不知道除了价格便宜，用U2硬盘还有什么优势

                   我慎重的在考虑换SATA SSD 了，根据实测，即使在读写时温度才30摄氏度（开30%风扇），而U.2要50~60摄氏度（开60%风扇）

                   目前海鲜市场sata ssd 7.68TB 约 4300~4500（二手无保修），4TB的民用SATA SSD还是很有性价比的
                   U.2 SN640  7.68TB才2099~2699，INTEL的要4000+





===========================================================================

第十阶段的厂商反馈



“搭建完测试环境了,测试速度和您这边差不多,正在找人分析看是否有上调空间,看是哪里有问题导致速度只有这么多.”




============================================================================
2022.10.19

定制的散热片到了，今天按上1个对比测试下，看看硬盘温度能否降低些




大小是：100*60*10mm的，由于SN640本身才7mm厚度，而一般U2盘都是15mm的，因此散热片可以更厚（高）些，在找13mm厚度（高度）的还没找到

打算给2号盘换上新到的散热片


换散热片后的数值，大约下降2摄氏度




=============================================================================
2022.10.24 厂商反馈


“还在测试 优化系统,在针对dirty page做优化”


=============================================================================
2022.11.12 厂商反馈

这周更新了厂商最新推出的“ QuTS hero h5.0.1.2192 build 20221020        2022-11-04” ，使用效果很好，大文件峰值读写均能达到3.9GB/s以上


另，该NAS技术上支持换CPU（但厂商说不支持），已经把CPU从 AMD EPYC™ Embedded 7232P        SOC 8核16线程 升级成 AMD EPYC™ Embedded 7302P        SOC 16核32线程

同时，本月厂商还修改了官网NAS的CPU型号，从7232P 修改为  7252（增补） ，这可能意味更多的CPU型号能被支持；

关于功耗（使用厂商默认CPU）：

裸机大约100瓦，整机大约175瓦（12块U2满配），因性能太强目前测不出峰值功耗

对比DS1522+ 满配5块16TB机械硬盘，功耗大约在50~56瓦

对比跳板机NUC11、NUC12 功耗大约在50~90瓦
=============================================================================
2022.11.16

1. 为了配合厂商优化，CPU又换成AMD EPYC™ Embedded 7302P   SOC 16核32线程TDP155W，待机功耗竟然比TDP120W的7232P 低约10瓦？！待机功耗仅159~163瓦



2. 目前在考虑要不要把NAS的系统盘和交换分区盘（SSD1、SSD2）换成905P 480G或960G，希望能一定幅度提升NAS的系统反应速度，以及顺便提升虚拟机的性能；

    2.1  905P的高队列下读IOPS性能与SN640持平（都为500K的水平），但是不知道一般系统环境下1~4队列深度如何，网上测评说傲腾在低队列下就可以有很高的IOPS，尤其是混合读写模式，预期905P比SN640能有质的提升？；
   
    2.2  905P 读写延迟仅10us~11us，而SN640读延迟约90us，SN640写入延迟未知（估计会更差)





NUC11+Intel D5-P5316 ，40Gbps网卡，通过SMB V3 向NAS写入数据， D5-P5316读7GB/s，h1290FX写入速度约为3.6GB/s~4.5GB/s,使用带宽峰值约38.3Gbps


PS： 厂商继续优化中，目前在优化设备内存以及QTS系统写入速度


=================================================================================

2022.11.18

本来想测试下数据恢复能力，结果有4个硬盘没有彻底拔出，导致安装系统的时候数据被初始化了  亏了有备份

还原数据原以为要好长时间，实际上连数据校验加一起才5小时

计算了下整体读写速度能到到3GB/s以上了

天雨雪

硬盘挂了还是NAS挂了

godspeed66

天雨雪 发表于 2022-9-28 12:31
硬盘挂了还是NAS挂了

NAS的硬件没挂

怀疑系统出BUG了

cyt0d01

无痛分享

有钱人的烦恼就是多

blackbeardever

都是最下面的3个盘位红，是不是下面的散热设计有问题呢？SN640也是发热大户，也就比CD6凉快一点点

声色茶马

cyt0d01 发表于 2022-9-28 12:46
无痛分享

有钱人的烦恼就是多

擦……

突然看见自己的心里话，吓一跳。

godspeed66

blackbeardever 发表于 2022-9-28 13:02
都是最下面的3个盘位红，是不是下面的散热设计有问题呢？SN640也是发热大户，也就比CD6凉快一点点 ...

下面1-3 盘位确实温度高，但仅仅高1~3摄氏度，而且最高才59摄氏度；

设定NAS风扇为性能模式后，最高温度才51~55摄氏度，一般47~51摄氏度

voandrew

这个机器无福消受啊。楼主你这个是工作室吧

shadoweyre

真大佬了，这机器有插槽，直接扩成100G的玩吧。。。

godspeed66

shadoweyre 发表于 2022-9-28 13:28
真大佬了，这机器有插槽，直接扩成100G的玩吧。。。

40G的网卡够了

40G网卡399一张

100G的要8000~10000，而且速度上没啥差别

tsaotse

盲猜是散热的锅，TSH973AX用P4510就经常把风扇拉到起飞……-_-||

shadoweyre

SN640我记得很刚的，去年chia火的时候有个老板搞了p盘，天天60多°都好好的，没这么容易挂吧。。。

阿炜

这机器啥价格啊

zsnw9527

看了眼京东，好家伙20万

nodlinxinyang

zsnw9527 发表于 2022-9-28 15:59
看了眼京东，好家伙20万

实体没那么贵，加上含12块U2盘了  盘就要不少钱了

frontwing

久不愈 发表于 2022-9-28 16:28
威联通的系统真是千疮百孔

别威联通的系统了，LZ已经证实是盘的固件问题……

老饭

不搞视频编辑，像我这样下下电影，感觉ssd nas纯粹浪费

hzsohu

网上购买的话，不知道扯皮扯到什么时候

linxijun

感觉还是我现在用的1688x（qts系统主机）+tl-1600s（sata扩展）+rexp-1000 pro（sas扩展）靠谱不少，后期打算继续上牙膏芯二手的ts-1685（主机），也打算上+tl-1600s（sata扩展）+rexp-1000 pro（sas扩展），农企的1677x把淘汰下来的tl-d800s继续用

QSG

zfs确实不是很适合nvme

fangl2002

QTS-H系统的ZFS就别上了，各种毛病，各种权限冲突，烦死我了。换成普通的QTS这些烦恼都没有了。

pureivan

这机器太牛逼了
羡慕
不过，qnap一直bug不少就是了

老饭

QSG 发表于 2022-9-28 21:51
zfs确实不是很适合nvme

epyc pcie直通nvme，只能zfs了把

Illidan2004

blackbeardever 发表于 2022-9-28 13:02
都是最下面的3个盘位红，是不是下面的散热设计有问题呢？SN640也是发热大户，也就比CD6凉快一点点 ...

640真的算发热最低的那档次了

VictorTDD

Illidan2004 发表于 2022-9-29 00:47
640真的算发热最低的那档次了

7300pro也不错

赫敏

这读写速度怎么

堪比ssd优盘

godspeed66

翻车+1

完蛋了

整个NAS在疯狂掉盘

梵谷的左耳

看到12块8t 我的内心平静无比 哈哈哈

kartanus

前部门更新存储，本来我的建议是再买一个3617，和之前我负责的那个3617无论大小功耗还是使用都是零学习成本，无奈后过来的leader以价格高让换别的方案，那我索性不管了，后来it推荐的是qnap的一款，那就it配置呗，然后总是有1-2个硬盘掉盘，半年多都没投入使用，最初也是怪硬盘的事儿，换了硬盘还是不行，后来...

又买了个3617...