请教TrueNAS下的Fushion Pool

随野

已知: 一个仅由HDD Vdev组成的System Dataset Pool在Idle时会有有规律的随机写入, HC550这种企业盘在此时噪音最大. 目前的解决方案是新建了一个仅由SSD组成的Pool并将System Dataset Pool迁移到此Pool.

想请教: 如果在HDD Vdev组成的System Dataset Pool里增加一个SSD组的Metadata Vdev组成一个Fushion Pool, 系统Idle时的随机写入还会发生在HDD Vdev里吗, 还是只会发生在Metadata Vdev里?

gnattu

已知: 一个仅由HDD Vdev组成的System Dataset Pool在Idle时会有有规律的随机写入, HC550这种企业盘在此时噪音最大. 目前的解决方案是新建了一个仅由SSD组成的Pool并将System Dataset Pool迁移到此Pool.

你可以直接用boot pool的，一般boot pool都是SSD并且boot pool的容量远远高于TrueNAS本身安装大小

如果在HDD Vdev组成的System Dataset Pool里增加一个SSD组的Metadata Vdev组成一个Fushion Pool, 系统Idle时的随机写入还会发生在HDD Vdev里吗, 还是只会发生在Metadata Vdev里?

系统周期性写的是data不是metadata，包括各种日志之类的东西

随野

gnattu 发表于 2022-9-14 07:58
你可以直接用boot pool的，一般boot pool都是SSD并且boot pool的容量远远高于TrueNAS本身安装大小
...

我boot pool就一块16G的optane, 感觉不够供应64T的hdd pool. 另外, TrueNAS Scale好像不能设置apps位置为boot pool, 怀疑到时候还是会有随机读写.

系统周期性写的是data不是metadata，包括各种日志之类的东西

所以如果有了metadata vdev (aka. special vdev), 周期性写的data还会写进hdd那个vdev里吗?

TrueNAS docs里这么解释metadata vdev的: "A special vdev can store meta data such as file locations and allocation tables. The allocations in the special class are dedicated to specific block types. By default, this includes all metadata, the indirect blocks of user data, and any deduplication tables. The class can also be provisioned to accept small file blocks. This is a great use case for high performance but smaller sized solid-state storage. Using a special vdev drastically speeds up random I/O and cuts the average spinning-disk I/Os needed to find and access a file by up to half." 没有提系统log的去向.

guitengyue

这货不是有内存池么，还需要另外增加ssd池？

gnattu

随野 发表于 2022-9-14 08:36
我boot pool就一块16G的optane, 感觉不够供应64T的hdd pool. 另外, TrueNAS Scale好像不能设置apps位置为b ...

我boot pool就一块16G的optane, 感觉不够供应64T的hdd pool. 另外, TrueNAS Scale好像不能设置apps位置为boot pool, 怀疑到时候还是会有随机读写.

两码事。 我没有让你把boot pool当成special vdev（正常手段也不能），而是让你把 System Dataset设置到boot pool上

app不能设置到boot-pool上是TrueNAS的附加限制，这个没有什么太好办法，你只能额外增加一个pool来放，但是app的pool和system dataset是两个东西

所以如果有了metadata vdev (aka. special vdev), 周期性写的data还会写进hdd那个vdev里吗?

会，对于ZFS文件系统来说log文件是一个file，file写到pool里就会包含metadata和data两部分，其中的data部分依然会进hdd的vdev。这个metadata是ZFS文件系统本身的metadata，而不是对TrueNAS来说的metadata，不知道这么讲你能不能理解。这个metadata是非常底层的，文件系统层面的，而不是应用程序层面的。

随野

gnattu 发表于 2022-9-14 10:51
两码事。 我没有让你把boot pool当成special vdev（正常手段也不能），而是让你把 System Dataset设置 ...

是不是能大概理解成special vdev就是记录hdd vdev里文件address用来加速的 并不会存系统本身的metadata?

那我还是接着用我目前的方案(app和system dataset都在那个ssd pool里)好了.

gnattu

随野 发表于 2022-9-14 11:16
是不是能大概理解成special vdev就是记录hdd vdev里文件address用来加速的 并不会存系统本身的metadata?
...

可以这么理解