[分享]f1290FX 每小时1.5亿条日志收集

godspeed66 · 发表于 2022-12-7 15:06

本帖最后由 godspeed66 于 2022-12-7 15:23 编辑

[分享]f1290FX 每小时1.5亿条日志

直接用NAS收集日志，不需要额外日志服务器，7323P 8核16线程，64GB内存

每小时1.5亿条.jpg

小于等于1ms 延迟，，磁盘完全没压力

每小时1.5亿条 2.jpg

=======================

对比之前老服务器，老服务器每小时仅能收集0.7亿条数据，12TB*8 HDD RAID5，双路银牌4214 24核48线程，128GB内存

0.7亿.png

=======================

关于检索速度，哎，没法对比了，一个是秒出结果，一个是等到海枯石烂

lee_jiunn · 发表于 2022-12-7 18:43

不明觉厉

regwoo · 发表于 2022-12-7 19:40

新服务器 12 x U.2 SSD
老服务器 8 x HDD......
有效的就这些信息

weston · 发表于 2022-12-7 19:46

能问一下，啥业务这么多日志吗？不明觉厉啊

log4j · 发表于 2022-12-7 21:23

有必要吗。。。

逃学生 · 发表于 2022-12-7 21:24

大受震撼……

Hellboy2016 · 发表于 2022-12-7 22:08

u.2 7.68t 啥型号啥渠道价格

xks07 · 发表于 2022-12-7 22:13

Hellboy2016 发表于 2022-12-7 22:08
u.2 7.68t 啥型号啥渠道价格

SN640 楼主之前发过贴

Hellboy2016 · 发表于 2022-12-8 00:43

xks07 发表于 2022-12-7 22:13
SN640 楼主之前发过贴

就是坏了好几块那个看来厂家升级系统了

风车车 · 发表于 2022-12-8 00:56

图看不清，持久化用什么做的，卡芙卡用了么

lmeva2002 · 发表于 2022-12-8 02:25

这是啥。。不明觉厉

godspeed66 · 发表于 2022-12-8 09:33

本帖最后由 godspeed66 于 2022-12-8 09:35 编辑

风车车发表于 2022-12-8 00:56
图看不清，持久化用什么做的，卡芙卡用了么

没有持久化

没有卡夫卡

容器.jpg

godspeed66 · 发表于 2022-12-8 09:37

图片质量怎么下降这么严重？

风车车 · 发表于 2022-12-8 14:14

本帖最后由风车车于 2022-12-8 14:18 编辑

godspeed66 发表于 2022-12-8 09:33
没有持久化

没有卡夫卡

不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太get得到没有持久化的意思，logstash不就是做日志收集和存储的么，持久化就在里面啊

godspeed66 · 发表于 2022-12-8 14:51

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

没有特意配置logstash的持久化队列

godspeed66 · 发表于 2022-12-8 14:58

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

另，有啥办法能降低logstash的CPU开销吗？

风车车 · 发表于 2022-12-8 15:07

本帖最后由风车车于 2022-12-8 15:08 编辑

godspeed66 发表于 2022-12-8 14:58
另，有啥办法能降低logstash的CPU开销吗？

这个问题很难解，可以先从jvm的profiling入手，看看是不是jvm调优的问题，比如老生常谈的jvm heap太小这种的

再说你这个30%我觉得还好吧

账号		自动登录	找回密码
密码			加入我们

[NAS] [分享]f1290FX 每小时1.5亿条日志收集