(12)发明专利申请
(10)申请公布号 CN 111563016 A(43)申请公布日 2020.08.21
(21)申请号 202010343408.4(22)申请日 2020.04.27
(71)申请人 平安医疗健康管理股份有限公司
地址 200001 上海市黄浦区北京东路666号
H区(东座)12G室(72)发明人 丁凯 刘莹浓 周伟 范子龙
陈思干 (74)专利代理机构 北京英特普罗知识产权代理
有限公司 11015
代理人 程超(51)Int.Cl.
G06F 11/30(2006.01)
权利要求书2页 说明书12页 附图4页
CN 111563016 A(54)发明名称
日志采集分析方法、装置、计算机系统及可读存储介质(57)摘要
本申请涉及公开了日志采集分析方法,可应用在云技术领域,包括:采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称获得简析日志信息,并将其录入预设的错误信息表中;汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;从预设的权限映射表中得到对简析摘要具有获取权限的用户端,并将简析摘要及其报错分析报告发送用户端,将报错分析报告存储至区块链中。本申请得到了目标系统运算报错的异常类型和/或类,进而直接获得了目标系统运行出现错误的原因和位置,并且直观获得该原因或位置的严重程度。
CN 111563016 A
权 利 要 求 书
1/2页
1.一种日志采集分析方法,其特征在于,包括:采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;
汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;
从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。
2.根据权利要求1所述的日志采集分析方法,其特征在于,将所述简析摘要及其报错分析报告发送所述用户端之后还可包括:
接收用户端根据所述简析摘要发送的测试脚本,触发与所述简析报告对应的目标系统运行所述测试脚本并生成测试日志信息,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告,并将其发送所述用户端。
3.根据权利要求1所述的日志采集分析方法,其特征在于,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息的步骤,包括:
对原始日志信息进行分词获得至少一个日志分词;
在预设的异常词汇中获取与所述日志分词一致的词汇将其设为异常类型,提取所述日志分词的类关键字并将其作为类名;其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符;
提取原始日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成简析日志信息;其中,所述系统名称是指生成原始日志信息的目标系统的名称。
4.根据权利要求1所述的日志采集分析方法,其特征在于,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告的步骤,包括:
计算所述简析摘要中简析日志信息的数量,并将该数量作为所述系统摘要集的报错总量;
按照异常类型划分所述简析摘要中的简析日志信息获得至少一个异常信息集,并计算各所述异常信息集中简析日志信息的数量,将各所述异常信息集的异常类型与其简析日志信息的数量对应并汇总形成异常报错数;
按照类名划分所述简析摘要中的简析日志信息获得至少一个类名信息集,计算所述类名信息集中简析日志信息的数量,将各所述类名信息集的异常类型与其简析日志信息的数量对应并汇总形成类名报错数;
汇总所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;还包括,将所述报错分析报告上传至区块链中。5.根据权利要求1所述的日志采集分析方法,其特征在于,从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端的步骤,包括:
2
CN 111563016 A
权 利 要 求 书
2/2页
创建权限映射表;其中,所述权限映射表录入有具有映射关系的系统名称以及用户端的编号;
从所述权限映射表中,获取与所述系统名称之间建立映射关系的编号,并将所述编号所对应的用户端设为对所述系统摘要集具有获取权限的用户端。
6.根据权利要求2所述的日志采集分析方法,其特征在于,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息的步骤,包括:
对测试日志信息进行分词获得至少一个测试分词;
在预设的异常词汇中获取与所述测试分词一致的词汇将其设为异常类型,提取所述测试分词的类关键字并将其作为类名;其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符;
提取测试日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成测试简析信息;其中,所述系统名称是指生成测试日志信息的目标系统的名称。
7.根据权利要求6所述的日志采集分析方法,其特征在于,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告的步骤,包括:
计算所述测试简析信息的数量,并将该数量作为所述系统摘要集的报错总量;按照异常类型划分所述测试简析信息获得至少一个异常信息集,并计算各所述异常信息集中测试简析信息的数量,将各所述异常信息集的异常类型与其测试简析信息的数量对应并汇总形成异常报错数;
按照类名划分所述简析摘要中的测试简析信息获得至少一个类名信息集,计算所述类名信息集中测试简析信息的数量,将各所述类名信息集的异常类型与其测试简析信息的数量对应并汇总形成类名报错数;
汇总所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告;还包括,将所述测试分析报告上传至区块链中。8.一种日志采集分析装置,其特征在于,包括:采集精简模块,用于采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;
汇总分析模块,用于汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;
权限管理模块,用于从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。
9.一种计算机系统,其包括多个计算机设备,各计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述多个计算机设备的处理器执行所述计算机程序时共同实现权利要求1至7任一项所述日志采集分析方法的步骤。
10.一种计算机可读存储介质,其包括多个存储介质,各存储介质上存储有计算机程序,其特征在于,所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至7任一项所述日志采集分析方法的步骤。
3
CN 111563016 A
说 明 书
1/12页
日志采集分析方法、装置、计算机系统及可读存储介质
技术领域
[0001]本申请涉及计算机监控技术领域,尤其涉及一种日志采集分析方法、装置、计算机系统及可读存储介质。
背景技术
[0002]日志信息是记录系统中硬件、软件和系统问题,以及监视系统中发生的事件的数据。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。[0003]当前的日志信息管理软件通常是从服务器中收集日志信息,通过搜索器检索日志文件,并通过Kibana界面查看日志信息;但是,系统一旦运行较大的文件时,其将会产生大量的日志信息,纵使测试者通过搜索器搜索关键字并结合Kibana界面展示的方式获得所需的日志信息,也会因其数量庞大,导致当前用户无法在系统运行较大的文件并产生大量的日志信息时,获得系统运行出现错误的原因和位置,进而导致无法对对系统运行错误严重程度的定量分析。
发明内容
[0004]本申请的目的是提供一种日志采集分析方法、装置、计算机系统及可读存储介质,用于解决现有技术存在的无法在系统运行较大的文件并产生大量的日志信息时,获得系统运行出现错误的原因和位置,进而导致无法对对系统运行错误严重程度的定量分析的问题。
[0005]为实现上述目的,本申请提供一种日志采集分析方法,包括:[0006]采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;
[0007]汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;
[0008]从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。[0009]上述方案中,将所述简析摘要及其报错分析报告发送所述用户端之后还可包括:[0010]接收用户端根据所述简析摘要发送的测试脚本,触发与所述简析报告对应的目标系统运行所述测试脚本并生成测试日志信息,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告,并将其发送所述用户端。[0011]上述方案中,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,的步骤,包括:
4
CN 111563016 A[0012]
说 明 书
2/12页
对原始日志信息进行分词获得至少一个日志分词;
[0013]在预设的异常词汇中获取与所述日志分词一致的词汇将其设为异常类型,提取所述日志分词的类关键字并将其作为类名;其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符;[0014]提取原始日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成简析日志信息;其中,所述系统名称是指生成原始日志信息的目标系统的名称。[0015]上述方案中,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告的步骤,包括:
[0016]计算所述简析摘要中简析日志信息的数量,并将该数量作为所述系统摘要集的报错总量;
[0017]按照异常类型划分所述简析摘要中的简析日志信息获得至少一个异常信息集,并计算各所述异常信息集中简析日志信息的数量,将各所述异常信息集的异常类型与其简析日志信息的数量对应并汇总形成异常报错数;
[0018]按照类名划分所述简析摘要中的简析日志信息获得至少一个类名信息集,计算所述类名信息集中简析日志信息的数量,将各所述类名信息集的异常类型与其简析日志信息的数量对应并汇总形成类名报错数;[0019]汇总所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;[0020]还包括,将所述报错分析报告上传至区块链中。[0021]上述方案中,从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端的步骤,包括:[0022]创建权限映射表;其中,所述权限映射表录入有具有映射关系的系统名称以及用户端的编号;
[0023]从所述权限映射表中,获取与所述系统名称之间建立映射关系的编号,并将所述编号所对应的用户端设为对所述系统摘要集具有获取权限的用户端。[0024]上述方案中,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息的步骤,包括:
[0025]对测试日志信息进行分词获得至少一个测试分词;
[0026]在预设的异常词汇中获取与所述测试分词一致的词汇将其设为异常类型,提取所述测试分词的类关键字并将其作为类名;其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符;[0027]提取测试日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成测试简析信息;其中,所述系统名称是指生成测试日志信息的目标系统的名称。[0028]上述方案中,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告的步骤,包括:
[0029]计算所述测试简析信息的数量,并将该数量作为所述系统摘要集的报错总量;[0030]按照异常类型划分所述测试简析信息获得至少一个异常信息集,并计算各所述异常信息集中测试简析信息的数量,将各所述异常信息集的异常类型与其测试简析信息的数量对应并汇总形成异常报错数;
[0031]按照类名划分所述简析摘要中的测试简析信息获得至少一个类名信息集,计算所
5
CN 111563016 A
说 明 书
3/12页
述类名信息集中测试简析信息的数量,将各所述类名信息集的异常类型与其测试简析信息的数量对应并汇总形成类名报错数;
[0032]汇总所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告;
[0033]还包括,将所述测试分析报告上传至区块链中。[0034]为实现上述目的,本申请还提供一种日志采集分析装置,包括:[0035]采集精简模块,用于采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;[0036]汇总分析模块,用于汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;[0037]权限管理模块,用于从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。[0038]为实现上述目的,本申请还提供一种计算机系统,其包括多个计算机设备,各计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述多个计算机设备的处理器执行所述计算机程序时共同实现上述日志采集分析方法的步骤。[0039]为实现上述目的,本申请还提供一种计算机可读存储介质,其包括多个存储介质,各存储介质上存储有计算机程序,所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述日志采集分析方法的步骤。[0040]本申请提供的日志采集分析方法、装置、计算机系统及可读存储介质,通过对原始日志信息进行精简得到简析日志,使用户能够通过简析日志信息直观快速的得到目标系统运算报错的异常类型和/或类,进而用户可通过异常类型和类直接获得目标系统运行出现错误的原因和位置,极大的提高了用户获取运行错误的效率;通过计算简析摘要的报错总数异常报错数和类名报错数形成报错分析报告,使用户直接通过报错分析报告即可直观的获得系统运行出现错误的原因和位置,以及该原因或位置的严重程度,实现了对系统运行错误严重程度的定量分析;通过权限映射表规定了各用户端对各系统的权限,并且只将简析摘要及其报错分析报告发送有获取权限的用户端,保证了系统运行的安全性。附图说明
[0041]图1为本申请日志采集分析方法实施例一的流程图;
[0042]图2为本申请日志采集分析方法实施例二中日志采集分析方法的环境应用示意图;
[0043]图3为本申请日志采集分析方法实施例二的具体方法流程图;
[0044]图4为本申请日志采集分析方法实施例二中精简原始日志信息获得简析日志信息的具体方法流程图;
[0045]图5为本申请日志采集分析方法实施例二中计算所述简析摘要形成报错分析报告的具体方法流程图;
6
CN 111563016 A[0046]
说 明 书
4/12页
图6为本申请日志采集分析方法实施例二中得到对所述简析摘要具有获取权限的
用户端的具体方法流程图;
[0047]图7为本申请日志采集分析方法实施例二中精简测试日志信息获得测试简析信息的具体方法流程图;
[0048]图8为本申请日志采集分析方法实施例二中计算测试简析信息形成测试分析报告的具体方法流程图;
[0049]图9为本申请日志采集分析装置实施例三的程序模块示意图;
[0050]图10为本申请计算机系统实施例四中计算机设备的硬件结构示意图。[0051]附图标记:[0052]1、日志采集分析装置 2、服务器 3、网络 4、用户端[0053]5、目标系统 6、计算机设备 11、采集精简模块 12、汇总分析模块[0054]13、权限管理模块 14、测试模块 61、存储器 62、处理器具体实施方式
[0055]为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。[0056]本申请提供的日志采集分析方法、装置、计算机系统及可读存储介质,适用于计算机监控领域,为提供一种基于采集精简模块、汇总分析模块、权限管理模块的方法。本申请通过采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。[0057]实施例一[0058]请参阅图1,本实施例的一种日志采集分析方法,包括:[0059]S101:采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;[0060]S102:汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;[0061]S103:从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。[0062]在示例性的实施例中,通过对原始日志信息进行精简得到简析日志,使用户能够通过简析日志信息直观快速的得到目标系统运算报错的异常类型和/或类,进而用户可通
7
CN 111563016 A
说 明 书
5/12页
过异常类型和类直接获得目标系统运行出现错误的原因和位置,极大的提高了用户获取运行错误的效率,以解决当前用户无法在系统运行较大的文件并产生大量的日志信息时,获得系统运行出现错误的原因和位置的问题。
[0063]通过计算简析摘要的报错总数异常报错数和类名报错数形成报错分析报告,使用户直接通过报错分析报告即可直观的获得系统运行出现错误的原因和位置,以及该原因或位置的严重程度(通过数量的大小即可获知原因或位置出现错误的严重程度),实现了对系统运行错误严重程度的定量分析,以解决因同一异常类型和/或类名出现多次报错,导致用户获得的日志信息非常混乱的情况。
[00]通过权限映射表规定了各用户端对各系统的权限,并且只将简析摘要及其报错分析报告发送有获取权限的用户端,保证了系统运行的安全性,避免了无权用户获得系统的简析摘要及其报错分析报告,导致系统信息泄露的情况发生,本申请方案可以应用在智慧安防如安全监控等场景中,从而推动智慧城市的建设。[0065]实施例二
[0066]本实施例为上述实施例一的一种具体应用场景,通过本实施例,能够更加清楚、具体地阐述本申请所提供的方法。在实现本实施例提供的方法时,可以精简原始日志信息获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中,并汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告,直观快速的得到目标系统运算报错的异常类型和/或类,进而用户可通过异常类型和类直接获得目标系统运行出现错误的原因和位置,并实现对系统运行错误严重程度的定量分析。[0067]下面,以用于获取源数据库及目标数据库所在服务器的基本参数,并调整所述源数据库与目标数据库之间数据传输的传输速率为例,来对本实施例提供的方法进行具体说明。需要说明的是,本实施例只是示例性的,并不本申请实施例所保护的范围。
[0068]图2示意性示出了根据本申请实施例二的日志采集分析方法的环境应用示意图。[0069]在示例性的实施例中,日志采集分析方法所在的服务器2通过网络3连接用户端4和目标系统5,所述服务器2可以通过一个或多个网络3提供服务,网络3可以包括各种网络设备,例如路由器,交换机,多路复用器,集线器,调制解调器,网桥,中继器,防火墙,代理设备和/或等等。网络3可以包括物理链路,例如同轴电缆链路,双绞线电缆链路,光纤链路,它们的组合和/或类似物。网络3可以包括无线链路,例如蜂窝链路,卫星链路,Wi-Fi链路和/或类似物;
[0070]所述用户端4和目标系统5可以由单个或多个计算机设备(如,服务器)组成。该单个或多个计算设备可以包括虚拟化计算实例。虚拟化计算实例可以包括虚拟机,诸如计算机系统的仿真,操作系统,服务器等。计算设备可以基于定义用于仿真的特定软件(例如,操作系统,专用应用程序,服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变,可以在一个或多个计算设备上加载和/或终止不同的虚拟机。可以实现管理程序以管理同一计算设备上的不同虚拟机的使用。
[0071]图3是本申请一个实施例提供的一种日志采集分析的具体方法流程图,该方法具体包括步骤S201至S204。[0072]S201:采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异
8
CN 111563016 A
说 明 书
6/12页
常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中。[0073]通常地,原始日志信息不仅包括系统名称和模块ID及其创建时间,还包括异常类型、类名以及用于描述报错具体信息及其位置的主要信息,因此,原始报错日志的数据量较为庞大,某一系统的某一模块在出现错误时,会频繁的报错并且以原始报错日志的形式展示出来。
[0074]因此,为使用户能够在系统运行较大的文件并产生大量的日志信息时,能够快速高效的获得系统运行出现错误的原因和位置,本步骤通过对原始日志信息进行精简得到简析日志,使用户能够通过简析日志信息直观快速的得到目标系统运算报错的异常类型和/或类,进而用户可通过异常类型和类直接获得目标系统运行出现错误的原因和位置,极大的提高了用户获取运行错误的效率。[0075]于本实施例中,在采集至少一个目标系统的原始日志信息之前,包括:[0076]设置原始日志收集引擎,通过所述原始日志收集引擎从应用服务器中采集原始日志信息。
[0077]需要说明的是,所述原始日志收集引擎是Logstash,其为一款开源的数据收集引擎,具备实时管道处理能力,用于成为数据源与数据存储分析工具之间的桥梁;所述搜索器是ElasticSearch,其为基于Lucene的搜索服务器,是一个分布式多用户能力的全文搜索引擎,能够达到实时搜索,具有稳定,可靠,快速,安装使用方便的优点。[0078]在一个优选的实施例中,请参阅图4,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息的步骤,包括:
[0079]S201-1:对原始日志信息进行分词获得至少一个日志分词。[0080]本步骤中,通过预设的分词规则对所述原始日志信息进行分词,所述分词规则是用于进行分词操作的计算机程序,其可通过自然语言处理模型实现。由于本领域技术人员很容易通过自然语言处理模型对文件进行分词,因此,其工作原理在本申请中不做赘述。[0081]S201-2:在预设的异常词汇中获取与所述日志分词一致的词汇将其设为异常类型,提取所述日志分词的类关键字并将其作为类名。[0082]其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符。[0083]示例性地,将预设的异常集中各异常词汇与所述原始分词集中各日志分词比对;若所述原始分词集中具有与所述异常词汇一致的日志分词,则将与所述日志分词一致的异常词汇设为所述原始日志信息的异常类型。所述异常词汇至少包括:ArithmeticExecption(算数异常类)、NullPointerException(空指针异常类型)、ClassCastException(类型强制转换类型)、NegativeArrayException(数组负下标异常)、ArrayIndexOutOfBoundsException(数组下标越界异常)、SecturityException(违背安全原则异常)、EOFException(文件已结束异常)、FileNotFoundException(文件未找到异常)、NumberFormatException(字符串转换为数字异常)、SQLException(操作数据库异常)、IOException(输入输出异常)、NoSuchMethodException(方法未找到异常)、IndexOutOfBoundsExecption(下标越界异常)、SystemException(系统异常)等异常类型。
9
CN 111563016 A[0084]
说 明 书
7/12页
示例性地,提取原始分词集中,位于class之后的词汇,例如:class BOX,那么BOX
就是所述原始报错日志类名。[0085]S201-3:提取原始日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成简析日志信息;其中,所述系统名称是指生成原始日志信息的目标系统的名称。[0086]本步骤中,还可提取原始日志信息中的报错时间、模块ID及其创建时间,其中,所述报错时间是指目标系统生成原始日志信息的时间。[0087]示例性地,简析日志信息包括:报错时间:2019-01-03 18:31;异常类型是:ArithmeticExecption,即算数异常类;类名是:BOX;系统名称是:第一服务系统;模块ID是ZK001;创建时间是:2018-07-02。[0088]S202:汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告。[00]其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量。
[0090]为避免因同一异常类型和/或类名出现多次报错,导致用户获得的日志信息非常混乱的情况,本步骤通过计算简析摘要的报错总数异常报错数和类名报错数形成报错分析报告,使用户直接通过报错分析报告即可直观的获得系统运行出现错误的原因和位置,以及该原因或位置的严重程度(通过数量的大小即可获知原因或位置出现错误的严重程度),实现了对系统运行错误严重程度的定量分析。[0091]在一个优选的实施例中,请参阅图5,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告的步骤,包括:[0092]S202-1:计算所述简析摘要中简析日志信息的数量,并将该数量作为所述系统摘要集的报错总量。[0093]示例性地,提取名称为“第一服务系统”的简析摘要,计算并获得该简析摘要中简析日志信息的数据量5,那么获得报错数量的内容为:第一服务系统,报错总量为5。[0094]S202-2:按照异常类型划分所述简析摘要中的简析日志信息获得至少一个异常信息集,并计算各所述异常信息集中简析日志信息的数量,将各所述异常信息集的异常类型与其简析日志信息的数量对应并汇总形成异常报错数。[0095]示例性地,假设系统摘要集中包括ArithmeticExecption(算数异常类)和NullPointerException(空指针异常类型)两种简析摘要;计算获得ArithmeticExecption的简析摘要数量为2,获得NullPointerException的简析摘要数量为3,那么将获得异常报错数的内容为:ArithmeticExecption数量为2,NullPointerException数量为3的异常分析信息。
[0096]S202-3:按照类名划分所述简析摘要中的简析日志信息获得至少一个类名信息集,计算所述类名信息集中简析日志信息的数量,将各所述类名信息集的异常类型与其简析日志信息的数量对应并汇总形成类名报错数。[0097]示例性地,假设简析摘要中包括BOX和FOX两种简析日志信息;计算获得类名BOX的简析日志信息的数量为1,获得FOX的简析日志信息的数量为4,那么将获得类名报错数的内容为:BOX数量为1,FOX数量为3。[0098]S202-4:汇总所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析
10
CN 111563016 A
说 明 书
8/12页
报告。
可选的,可通过邮件、短信或即时通信软件将所述系统摘要集及其报错分析报告
发送所述具有获取权限的用户端。[0100]S202-5:还包括,将报错分析报告上传至区块链中。[0101]基于报错分析报告得到对应的摘要信息,具体来说,摘要信息由报错分析报告进行散列处理得到,比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息,以便查证报错分析报告是否被篡改。[0102]S203:从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。
[0103]为避免无权用户获得系统的简析摘要及其报错分析报告,导致系统信息泄露的情况发生,本步骤通过权限映射表规定了各用户端对各系统的权限,并且只将简析摘要及其报错分析报告发送有获取权限的用户端,保证了系统运行的安全性。[0104]在一个优选的实施例中,请参阅图6,从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端的步骤,包括:[0105]S203-1:创建权限映射表;其中,所述权限映射表录入有具有映射关系的系统名称以及用户端的编号;[0106]本步骤中,每个用户端都具有其唯一的编号,该编号可以是MEI码,可以是用户名,也可以是基于需要为用户端编写的编码;通过在系统名称与编号之间建立映射关系,以定义用户端有权获得哪些系统所生成的原始报错日志,无权获得哪些系统所生成的原始报错日志。
[0107]S203-2:从所述权限映射表中,获取与所述系统名称之间建立映射关系的编号,并将所述编号所对应的用户端设为对所述系统摘要集具有获取权限的用户端。[0108]示例性地,从所述权限映射表中,获取与所述系统名称之间建立映射关系的编号,并将所述编号所对应的用户端设为对所述系统摘要集具有获取权限的用户端。[0109]S204:接收用户端根据所述简析摘要发送的测试脚本,触发与所述简析报告对应的目标系统运行所述测试脚本并生成测试日志信息,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告,并将其发送所述用户端。
[0110]由于用户端在解决目标系统中出现错误的部分(即所述原因或位置所对应的代码)时,无法获知其解决方案是否能够完全消除所述错误,因此为确保系统出现错误的部分已被修复,本步骤通过测试脚本再次对目标系统进行测试并生成测试分析报告并将其发送用户端;如果所述测试分析报告为空,则说明用户端已完全消除了所述出现错误的部分,如果测试分析报告不为空,用户端仅需根据测试分析报告再次解决其中出现错误的部分,并再次执行所述S204直至获得内容为空的测试分析报告为止;这种方法有效的为用户端提供了解决所述出现错误的部分的方案的反馈,保证了目标系统的稳定性。[0111]于本实施例中,可通过将测试脚本载入与简析摘要对应的目标系统中,并发送触发信号使其控制系统运行测试脚本;还可通过定时模块设置触发时点,使目标系统每到该触发时点时均自动运行测试脚本。
11
[0099]
CN 111563016 A[0112]
说 明 书
9/12页
在一个优选的实施例中,请参阅图7,精简所述测试日志信息获得能够表达目标系
统出现错误的异常类型和/或类的测试简析信息的步骤,包括:[0113]S204-1:对测试日志信息进行分词获得至少一个测试分词。[0114]本步骤中,通过预设的分词规则对所述测试日志信息进行分词,所述分词规则是用于进行分词操作的计算机程序,其可通过自然语言处理模型实现。由于本领域技术人员很容易通过自然语言处理模型对文件进行分词,因此,其工作原理在本申请中不做赘述。[0115]S204-2:在预设的异常词汇中获取与所述测试分词一致的词汇将其设为异常类型,提取所述测试分词的类关键字并将其作为类名。[0116]其中,所述关键字是指计算机程序预先定义并具有特定含义的标识符,所述类关键字是指创建的对象共同的属性和方法所对应的标识符。[0117]示例性地,将预设的异常集中各异常词汇与所述测试分词集中各测试分词比对;若所述测试分词集中具有与所述异常词汇一致的测试分词,则将与所述测试分词一致的异常词汇设为所述测试日志信息的异常类型。所述异常词汇至少包括:ArithmeticExecption(算数异常类)、NullPointerException(空指针异常类型)、ClassCastException(类型强制转换类型)、NegativeArrayException(数组负下标异常)、ArrayIndexOutOfBoundsException(数组下标越界异常)、SecturityException(违背安全原则异常)、EOFException(文件已结束异常)、FileNotFoundException(文件未找到异常)、NumberFormatException(字符串转换为数字异常)、SQLException(操作数据库异常)、IOException(输入输出异常)、NoSuchMethodException(方法未找到异常)、IndexOutOfBoundsExecption(下标越界异常)、SystemException(系统异常)等异常类型。[0118]示例性地,提取测试分词集中,位于class之后的词汇,其中,class为类,位于class之后的标识符为类名,例如:class BOX,那么BOX就是所述原始报错日志类名。[0119]S204-3:提取测试日志信息中的系统名称,汇总所述系统名称、异常类型和类名形成测试简析信息;其中,所述系统名称是指生成测试日志信息的目标系统的名称。[0120]本步骤中,还可提取测试日志信息中的报错时间、模块ID及其创建时间,其中,所述报错时间是指目标系统生成测试日志信息的时间。[0121]示例性地,测试简析信息包括:报错时间:2019-01-03 18:31;异常类型是:ArithmeticExecption,即算数异常类;类名是:BOX;系统名称是:第一服务系统;模块ID是ZK001;创建时间是:2018-07-02。[0122]在一个优选的实施例中,请参阅图8,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告的步骤,包括:[0123]S204-4:计算所述测试简析信息的数量,并将该数量作为所述系统摘要集的报错总量。
[0124]示例性地,提取名称为“第一服务系统”的简析摘要,计算并获得该简析摘要中测试简析信息的数据量5,那么获得报错数量的内容为:第一服务系统,报错总量为5。[0125]S204-5:按照异常类型划分所述测试简析信息获得至少一个异常信息集,并计算各所述异常信息集中测试简析信息的数量,将各所述异常信息集的异常类型与其测试简析信息的数量对应并汇总形成异常报错数。[0126]示例性地,假设系统摘要集中包括ArithmeticExecption(算数异常类)和
12
CN 111563016 A
说 明 书
10/12页
NullPointerException(空指针异常类型)两种简析摘要;计算获得ArithmeticExecption的简析摘要数量为2,获得NullPointerException的简析摘要数量为3,那么将获得异常报错数的内容为:ArithmeticExecption数量为2,NullPointerException数量为3的异常分析信息。
[0127]S204-6:按照类名划分所述简析摘要中的测试简析信息获得至少一个类名信息集,计算所述类名信息集中测试简析信息的数量,将各所述类名信息集的异常类型与其测试简析信息的数量对应并汇总形成类名报错数。[0128]示例性地,假设简析摘要中包括BOX和FOX两种测试简析信息;计算获得类名BOX的测试简析信息的数量为1,获得FOX的测试简析信息的数量为4,那么将获得类名报错数的内容为:BOX数量为1,FOX数量为3。[0129]S204-7:汇总所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告。
[0130]可选的,可通过邮件、短信或即时通信软件将所述系统摘要集及其报错分析报告发送所述具有获取权限的用户端。[0131]S204-8:还包括,将测试分析报告上传至区块链中。[0132]基于测试分析报告得到对应的摘要信息,具体来说,摘要信息由测试分析报告进行散列处理得到,比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息,以便查证测试分析报告是否被篡改。[0133]实施例三[0134]请参阅图9,本实施例的一种日志采集分析装置1,安装在所述服务器2中,包括:[0135]采集精简模块11,用于采集至少一个目标系统的原始日志信息,识别并提取原始日志信息中的异常类型、类名以及系统名称,获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中;[0136]汇总分析模块12,用于汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数形成报错分析报告;其中,所述异常报错数是指在简析摘要中同一异常类型的报错数量,所述类名报错数是指简析摘要中同一类名的报错数量;[0137]权限管理模块13,用于从预设的权限映射表中得到对所述简析摘要具有获取权限的用户端,并将所述简析摘要及其报错分析报告发送所述用户端。[0138]可选的,所述日志采集分析装置还包括测试模块14,用于接收用户端根据所述简析摘要发送的测试脚本,触发与所述简析报告对应的目标系统运行所述测试脚本并生成测试日志信息,精简所述测试日志信息获得能够表达目标系统出现错误的异常类型和/或类的测试简析信息,计算所述测试简析信息的报错总数,异常报错数和类名报错数形成测试分析报告,并将其发送所述用户端。
[0139]本技术方案可应用于云技术中云监控领域,通过采集至少一个目标系统的原始日志信息,精简所述原始日志信息获得能够表达目标系统出现错误的异常类型和/或类的简析日志信息,并将其录入预设的错误信息表中,以及汇总错误信息表中具有相同系统名称的简析日志信息形成简析摘要,计算所述简析摘要的报错总数,异常报错数和类名报错数
13
CN 111563016 A
说 明 书
11/12页
形成报错分析报告,进而可有效处理云系统中大量目标系统产生的大量日志,并根据日志确定出现错误的原因和位置,及该原因或位置的严重程度,实现了对系统运行错误严重程度的定量分析。因此,本申请通过对云系统中各目标系统的日志监控,高效的实现了对云系统中所有目标系统进行异常监控的技术效果。[0140]实施例四:
[0141]为实现上述目的,本申请还提供一种计算机系统,该计算机系统包括多个计算机设备6,实施例二的日志采集分析装置1的组成部分可分散于不同的计算机设备中,计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于:可通过系统总线相互通信连接的存储器61、处理器62,如图10所示。需要指出的是,图10仅示出了具有组件-的计算机设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。[0142]本实施例中,存储器61(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器61可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,存储器61也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器61还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器61通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例一的日志采集分析装置的程序代码等。此外,存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。[0143]处理器62在一些实施例中可以是处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备的总体操作。本实施例中,处理器62用于运行存储器61中存储的程序代码或者处理数据,例如运行日志采集分析装置,以实现实施例一的日志采集分析方法。[0144]实施例五:
[0145]为实现上述目的,本申请还提供一种计算机可读存储系统,其包括多个存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器62执行时实现相应功能。本实施例的计算机可读存储介质用于存储日志采集分析装置,被处理器62执行时实现实施例一的日志采集分析方法。[0146]本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0147]上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
14
CN 111563016 A[0148]
说 明 书
12/12页
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
[0149]以上仅为本申请的优选实施例,并非因此本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
15
CN 111563016 A
说 明 书 附 图
1/4页
图1
图2
图3
16
CN 111563016 A
说 明 书 附 图
2/4页
图4
图5
图6
图7
17
CN 111563016 A
说 明 书 附 图
3/4页
图8
图9
18
CN 111563016 A
说 明 书 附 图
4/4页
图10
19
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- cepb.cn 版权所有 湘ICP备2022005869号-7
违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务