(新葡京娱乐场) Java日志分析的方案?
澳门新葡京官网
澳门新葡京官网
当前位置 : 澳门新葡京官网 > 新葡京娱乐场

(新葡京娱乐场) Java日志分析的方案?

Spring+MyBatis+SNMP+Postgresql的监控系统,需要处理日志里的交易信息,日志形如:

----交易开始----
交易信息
----交易结束----

日志按小时分文件。
我的需求是5分钟扫一次日志,把交易成功数汇总,把失败交易写入监控数据库,目前我是把log文件映射为数据库表,用for循环每次取一个交易的信息解析,尝试了一下每个log里有5K个交易,5分钟别说解析完,就连映射到数据库表的时间都不够。映射用的是PG创建外部表的功能:

CREATE SERVER pglog FOREIGN DATA WRAPPER file_fdw;
CREATE FOREIGN TABLE pglog SERVER pglog OPTIONS filename xxxx, format...;

在不上内存数据库、NoSQL的前提下,有没有最简单的方案能提高日志分析的速度?或者说我需要放弃映射为数据库表这条路,走别的路?


PS:由于之前使用外部表创建视图来做查询,不论映射速度还是查询速度都比较慢,现在改为创建表来保存外部表的信息,速度提升明显,先尝试一下看看,另外谢谢 @kevinz 的提醒,由于每次分析时会记录行号,可以在后续分析时跳过上次分析的行,这也是一种缩减时间的方式。继续期待更优的方案:

  1. 记录上次文件解析的位置。第二次解析日志时使用InputStream.skip跳过可避免重复分析数据

  2. 一个线程解析日志将解析的数据存放在内存中,由额外的线程专门处理数据(这样解析的速度会很快5K的数据应该也是秒级的)

日志分析已经有很多成熟的产品,比如Logstash,不用非得入库,并且入库还涉及服务器io性能,入库频次高的时候,反而影响正常业务。

栏目列表

广告位

澳门新葡京官网