一种基于日志的计算机系统故障诊断方法及装置

1.一种基于日志的计算机系统故障诊断方法，包括以下步骤：
（S1）故障日志分析：对计算机系统中的日志进行实时分析，利用故障关键词矩阵量化人工学习的故障分类结果，按照不同的故障类型，对每条故障日志确认故障类型；
（S2）故障日志关联：利用故障日志分析的结果并结合时间窗口进行故障原因分析，把由同一故障引起的相关故障日志聚合为一类，找到这类故障的根源。
2.根据权利要求1所述的故障诊断方法，其中，步骤（S1）包括以下步骤：
（1）日志预处理，包括对重复的日志进行过滤和对每条日志中无意义的词语进行过滤；
（2）提取日志不变量，也即通过过滤掉日志文本中的变量，来提取日志当中的结构信息；
（3）日志模板信息过滤：采取自动聚类方式把内容和格式相似的日志放到一个分类中；
（4）获取故障关键词矩阵，其中故障关键词矩阵是由模板中的单词出现在每种故障类型的概率构成的二维矩阵；
（5）利用故障关键词矩阵对日志进行故障判断。
3.根据权利要求2所述的故障诊断方法，其中，步骤（1）包括以下子步骤：
（1-1）对在同一进程在某段时间内产生的重复出现的日志进行过滤；
（1-2）对于英文中的虚词，使用英文停词表进行过滤，只保留真正有实义的词。
4.根据权利要求2所述的故障诊断方法，其中，所述变量指的是在日志文本当中会发生变化的单词，包括数字、IP地址、内存地址、目录、文件名、程序名、端口。
5.根据权利要求4所述的故障诊断方法，其中，步骤（2）包括以下子步骤：
（2-1）采用正则表达式去除日志文本中的数字、目录、IP地址、内存地址；
（2-2）采用基于词频统计的方法进一步对日志信息进行筛选，留下日志的模板信息。
6.根据权利要求5所述的故障诊断方法，步骤（2-2）中，所述基于词频统计的方法采用改进的TF-IDF来计算每个单词ti占整体日志的重要性tfidfi，j＝tfi，j×idfi，其中，tfi，j为词语ti在某一特定设备dj里的重要性： 式中ni，j是该词在设备dj中的出现次数，而分母则是在设备dj中所有字词的出现次数之和；
idfi为该词语ti的逆向文件频率，由设备dj产生的总日志数目除以包含该词语之日志的数目，再将得到的商取对数得到。
7.根据权利要求2所述的故障诊断方法，其中，步骤（4）包括以下子步骤：
（4-1）对样本中的日志进行人工分类，对每一个分类中的日志模板进行调整，修正自动聚类的结果；
（4-2）对人工分类的结果进行学习，建立故障关键词矩阵A：
其中，m表示所有出现在样本日志模板中的不同单词个数，n表示日志故障类型的数量，ai，j表示第i个单词属于第j种故障分类的概率。
8.根据权利要求2所述的故障诊断方法，其中，步骤（5）具体为：假设需要判断日志L的故障类型，则对于日志L中的每一个单词查找故障关键词矩阵A中的对应行，计算日志L属于不同故障类型的概率值，若存在一个最大概率值，则将日志L的故障类型判断为最大概率值所对应的故障类型。
9.根据权利要求1所述的故障诊方法，其中，步骤（S2）包括以下步骤：
（1）通过传统地基于时间的关联性分析对日志进行聚合；
（2）对每个元组内的日志进行人工分析，确定不同故障类型的时间窗口大小；
（3）利用故障关键词矩阵，在矩阵中添加一行，用来存储每种故障类型不同的时间窗口大小；
（4）选择需要进行故障诊断的日志，确认该日志的故障类型后，通过查询故障关键词矩阵找到该故障相应的时间窗口，然后利用时间窗口对日志进行诊断。
10.一种基于日志的计算机系统故障诊断装置，包括以下模块：
故障日志分析模块，用于对计算机系统中的日志进行实时分析，利用故障关键词矩阵量化人工学习的故障分类结果，按照不同的故障类型，对每条故障日志确认故障类型；
故障日志关联模块，用于利用故障日志分析的结果并结合时间窗口进行故障原因分析，把由同一故障引起的相关故障日志聚合为一类，找到这类故障的根源。

暂无