2022年秋 第九次DevOps论文研讨会-通过深度学习从系统日志中检测和诊断异常

[lijinlus]

Title
DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning

Link
https://dl.acm.org/doi/10.1145/3133956.3134015

Year
2017

Conference or Journal
ACM

Rank
CCF-A

Keywords
异常检测；深度学习；日志数据分析

Abstract
异常检测是构建安全和值得信赖的系统。系统日志的主要目的是记录各关键点的系统状态和重大事件以帮助调试系统故障并执行根本原因分析。这样的日志数据在几乎所有的计算机系统中都是通用的。日志数据是理解的重要而宝贵的资源系统状态和性能问题；因此，各种系统日志自然是在线信息的绝佳来源监测和异常检测。我们建议DeepLog利用长期短期记忆（LSTM）的神经网络模型，将系统日志建模为自然语言序列。允许DeepLog从正常执行中自动学习日志文件，并在对数参数偏离模型时检测异常根据正常执行下的日志数据进行训练。此外，我们演示如何在中增量更新DeepLog模型一种在线时尚，以便随着时间的推移适应新的日志文件。此外，DeepLog从底层构建工作流系统日志，以便一旦检测到异常，用户可以进行诊断并有效地进行根本原因分析。对大量测井数据的广泛实验评估表明DeepLog已经超越了其他现有的基于日志的异常的基于传统数据挖掘方法的检测方法。

[19883235]

https://www.bilibili.com/video/BV1ie4y1s7i2/