CN102932195B - 一种基于网络协议分析的业务分析监控方法及系统 - Google Patents

Abstract

本发明涉及一种基于网络协议分析的业务分析监控方法及系统，该方法包括以下步骤：数据采集模块采集生产业务系统中产生的新的业务数据包，并将业务数据包复制到数据采集器；数据采集器通过数据文件进行存储或通过数据流方式发送到指定位置；协议分析网关提取业务数据包，并对其进行解码；协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。与现有技术相比，本发明具有独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力等优点。

Description

一种基于网络协议分析的业务分析监控方法及系统

技术领域

本发明涉及一种业务分析方法及系统，尤其是涉及一种基于网络协议分析的业务分析监控方法及系统。

背景技术

如何分析监控日益复杂的生产业务系统是一个非常困难但又非常重要的问题，特别是对于企业的运维，有着非常重要的实际意义。目前还没有好的解决方案。

企业级的业务系统多基于网络，采用B/S或C/S构架。出于对效率和安全的考虑，在实际部署中，会建立多个子网，并部署路由器、网关、防火墙等大量网络设备，这大大增加了观察整个业务系统的困难，带来了运维的复杂性。而目前，随着云计算和虚拟化等新技术被越来越多地引入到业务系统中，更是大大加剧了这种复杂性。

另一方面业务系统随着企业和业务的不同，呈现出多种多样并且巨大的差异，有着很多的定制需求，甚至有些系统就是单独为该企业该业务开发的，例如中国银联系统是全世界独一无二的。而同时，企业中往往运行多个关键的业务系统，这些系统之间可能需要相互协作，例如验证系统为其它系统提供授权和验证服务。所以，在传统的运维过程中，缺少统一的方法和工具去分析和观察业务系统，一般只能考量一些硬件指标(例如CPU使用率)和底层网络指标(例如网络带宽使用率，TCP响应时间等)，来大致评估系统的运行情况。这种方法不但针对性和预见性差，不能将底层指标和上层业务关联起来，当问题发生时，还需要消耗大量时间和人力才可能找出故障到底发生在网络层面或硬件层面还是生产业务系统层面；而且当网络或硬件指标告警时，也不能对业务的运行提供降低风险的指导。同时这种方法效益低下，往往造成这样一种局面：企业不断地加大硬件投入和提高网络带宽，而实际的生产业务系统性能却没有什么明显改善。

目前已有的一些业务分析系统主要是以该系统附加功能的方式出现的，通过软件自身增加额外代码来输出运行(和错误)日志或者管理配置界面等方式提供。这种方法带来以下几个问题：(1)各个系统独立，没有统一监控界面，而且不能监控管理系统之间的交互情况；(2)这些附加功能明显提高了业务系统的复杂性，带来潜在的故障点，并且明显造成业务系统的性能下降；(3)随着业务扩展和调整，新业务增加，相应监控系统的开发同样需要投入大量的人力物力；(3)非第三方的监控系统，明显存在不够客观的问题，很多时候，业务开发方不愿意提供详细指标和数据来测量自己系统的弱点。

因此，业务分析系统相对独立，缺乏统一管理视图，在发生问题时常常需要付出较多的人力成本和时间成本。而随着核心业务的扩展、新业务的不断增加，系统自身负担日益加重，运维管理压力也逐渐增大。与此同时，工作人员也发现在传统的管理手段下，各业务系统之间缺乏统一的管理视角，系统运行、网络运行与业务运营指标关联度不够高，导致各层面的管理系统之间形同信息孤岛，无法实现流畅的信息对接。所以在运维工作中管理人员往往需要付出额外的工作量，依靠技术积累和经验进行人工分析、定位、关联系统之间或者系统和网络之间的运维数据，以应对多层面联动的异常及故障问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力的基于网络协议分析的业务分析监控方法及系统。

本发明的目的可以通过以下技术方案来实现：一种基于网络协议分析的业务分析监控方法，其特征在于，该方法包括以下步骤：1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，否则进行步骤)；2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则将其进行缓存，并通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包；3)协议分析网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容；4)协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；5)业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。

所述的步骤1)中的并根据配置判断是否满足复制要求具体为：用户设定主机、端口或协议，数据采集模块判断业务数据包是否来自用户设定的主机、端口或协议来判断是否进行数据复制。

所述的数据采集器根据配置判断是否需要采集业务数据包具体为：用户设定主机、端口、协议或协议字段的内容，数据采集器判断业务数据包是否来自用户设定的主机、端口、协议或协议字段的内容来判断是否进行缓存。

所述的协议分析网关还接收其他数据源的数据，并进行步骤3)～5)。

所述的其他数据源的数据包括硬件指标和底层网络指标，所述的硬件指标包括CPU使用率、内存使用率，所述的底层网络指标包括网络带快使用率、TCP响应时间。

一种实施权利要求1所述的基于网络协议分析的业务分析监控方法的系统，其特征在于，该系统包括数据采集模块、数据采集器、协议分析网关、业务记录数据中心、索引服务器及用户PC机，所述的数据采集模块与生产业务系统连接，将生产业务系统中产生的新的业务数据包复制到数据采集器，数据采集器将数据包发送给协议分析网关，协议分析网关发送业务记录到业务记录数据中心，业务记录数据中心与索引服务器相关联，用户PC机与索引服务器连接。

与现有技术相比，本发明具有以下优点：

1、基于网络数据的业务性能监控

采用在业务系统自身提供的监控方案，往往会因监控程序占用了过多的系统资源，反而影响生产，同时复杂的设计，可能带来潜在的系统稳定和安全风险；

本系统设计为利用网络数据进行业务分析，采用完全独立于现有业务系统的旁路系统观察网络数据，从而来分析业务系统。监控系统完全对业务系统透明，做到零业务系统资源占用，保证监控系统不影响生产业务系统，不增加业务系统复杂性，不引进新的故障点，不降低业务系统性能；

2、深入到业务层数据信息

不同于传统的网络分析监控系统只分析网络的基本流量，分布，和TCP等通用协议的响应时间等，本系统能深入分析企业核心业务协议，提取协议数据，将其关联到业务层面的所有信息，例如对于金融等交易系统，提取交易单号、交易用户、交易类型、交易金额、交易成功率、交易报错信息等等；而对于通信系统，则提取主被叫号码、业务类型、业务起始时间，业务成功率，报错信息等等。本系统可以全方位呈现业务层数据信息。

3、共享资源，统一管理视角

本系统独立于业务系统，通过分析业务协议的网络数据来提取业务信息和分析业务运行情况，因此，对于企业中运行的多种不同的核心业务，本系统设计为与支撑网网络分析系统共享资源，基于网络通信协议通用标准进行界定，多层次、多环节关联，建立统一管理视角。

本系统是以关键节点的网络数据为分析数据源，因此在提供业务性能分析的同时，能够关联相关的网络性能数据，从而建立统一的管理视角，更容易界定异常、故障发生是属于网络问题，还是系统问题，还是业务应用问题的层面，并定位具体位置。对于底层的网络告警，也能及时关联预案，来指导上层业务应用做出响应的调整。

4、全模块化设计，具备优异的可复制、可扩展能力

可扩展能力是评价一套监控系统的重要指标，充分考虑到业务监控需求的持续增加、更新，本系统设计为组件模块化、功能配置化，以快速应对功能需求变化。

本系统采用了模块化的设计思路，搭建起管理框架和模板，提供了优异的可扩展性。同时采用了非结构化数据库技术，任何细小功能的增、减、改进都不会涉及底层改动，仅通过配置接口即可完成。

同时，根据实际需求，本系统通过配置的调整，可以灵活地调整监控的业务种类，覆盖范围，和业务深度，这些配置的调整，同样独立与业务系统，对业务系统没有任何影响，不会造成业务的变化，中断等等。

附图说明

图1为本发明的流程图；

图2为本发明的硬件结构示意图；

图3为本发明的扩展结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，步骤401中，读取配置用以过滤和生成业务记录。数据采集模块读取，数据采集器，协议分析网关等，都需要读取配置。

步骤402中，监听业务数据是通过网络部署来完成。

步骤403中，判断是否有业务数据包也是由网络设备完成。

步骤404中，判断是否结束该系统，可以有多发方法实现，包括信号量，事件，全局变量等等。

步骤405中，捕获数据包是由网络设备完成，可以是专业捕获网卡，也可以是普通网卡的混杂模式，或者其它。

步骤406中，是否需要复制数据采集模块根据配置文件来判断，一般可以根据主机、端口、协议等来进行。

步骤407中，复制数据包的功能由网络设备完成，可以是专业的复制设备，路由器的复制功能，或者其它。

步骤408中，是否需要采集是由数据采集模块根据配置文件来判断。数据采集器一般比数据采集模块拥有更多的配置功能，可以深入到一些协议，根据协议字段的内容，进行逻辑运算来综合判断。

步骤409中，数据采集器负责采集数据包，并根据配置文件，将数据包以数据文件格式存贮到指定位置，或者以数据流方式发送到指定主机(指定端口)。数据包可能被进一步封装。

步骤410中，协议分析网关将对数据包进行深度解码。协议分析网关也将配置文件，从而决定解码的协议深度，各层协议的详细程度，和需要提取出的字段。

步骤411中，协议分析网关需要分析一条业务记录是否完整，如果需要的话，从缓存中提取相关的信息。对有需要的数据包进行重组。

步骤412中，是否需要生成业务记录是协议分析网根据配置文件和记录的完成性来判断。

步骤413中，对于业务记录不完整，需要后续数据的情况，协议分析网缓存该记录中解码内容。

步骤414中，其它数据源用于系统接收其它数据，例如CPU使用率，内存使用率等硬件指标，以及带宽占用率等网络指标。

步骤415中，协议分析网根据配置文件，对解码字段和其它数据源的指标进行分割、转译、合并、和屏蔽等进一步加工处理，最后生成业务记录。业务记录一般包括：业务参与方标识，发生时间，结束时间，业务类型，业务内容，成功与否，错误代码等信息。

步骤416中，业务记录数据中心存贮协议网关发送的业务记录。存贮方式可以是数据库，可以是文件，可以是其它集中式或者分布式的各种方式。

步骤417中，业务记录数据中心或者索引服务器，会对各个记录进行关联。这里的关联包括同一业务的记录之间的关联，不同业务记录之间的关联，以及生产业务和底层业务记录之间的关联。关联的依据可以是各种业务标识，可以是主机，事件，甚至关键字等各种内容。

步骤418中，业务记录数据中心或者索引服务器关联各中记录后，建立或者更新各种索引，以供用户检索。

如图2所示，基于网络协议分析的业务分析监控系统可以划分成采集、分析和检索等三个子系统。

其中采集子系统负责采集原始网络协议数据，并提交给分析子系统。采集子系统又包括数据采集模块和数据采集器两种功能设备。分析子系统负责解析网络协议，提取业务数据，组织成业务记录，并存贮和建立索引，同时提供接口给检索子系统进行检索。分析子系统包括协议分析网关和业务记录数据中心等两种功能组件。检索子系统主要供用户检索和查看业务运行状况，由索引服务器组成。

数据采集模块需要根据企业业务的特点和实际情况来部署，主要目的是将业务数据复制输出到独立于生产业务系统的分析监控系统中；数据采集模块可以通过配置，根据主机、端口、协议等信息进行过滤。数据采集模块做最底层的过滤，判断是否需要复制数据包。

数据采集器用于采集数据包，存贮原始数据，并以数据文件或者端口数据流方式将数据输出到分析子系统；数据采集器有丰富的过滤功能，可深入读取到某一协议的某字段，并加以逻辑运算进行过滤。数据采集器将接收到的复制数据进一步加以逻辑运算进行过滤，同时存储原始数据，以数据文件或者端口数据流方式将数据输出到分析子系统。

协议分析网关是核心的分析组件，可分析网络数据包中的各层协议，提取业务数据，并组织成业务记录。该组件可充分配置，从而控制协议分析的深度、详细程度、和业务记录的格式等等，并且根据需求，需要对数据进行分割、转译、合并、和屏蔽等各种特殊处理。同时，协议分析网关提供接口，接受其它数据源的数据，例如CPU使用率，内存使用等其它指标数据，并转换成相应的底层业务记录。

业务记录数据中心是核心的数据存储组件，可以是传统关系型数据库，也可以是其它非关系型数据库。数据的索引可以是由索引记录数据中心来建立，可以由检索子系统来建立，其目的是加速数据的检索速度。

索引服务器建立数据索引，并把相关的业务记录与业务记录，业务记录与硬件或底层事件记录关联起来，提供统一的展现方式供用户查看，并提供报表，打印等功能。

图3是本系统的扩展结构示意图。通过添加组件和设备，进行并行化，本系统适用于分析监控大型规模和多种业务的复杂网络环境，并适合多层级用户的运维环境。

Claims (6)

1.一种基于网络协议分析的业务分析监控方法，其特征在于，该方法包括以下步骤：

1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，并执行步骤2)，否则重新采集生产业务系统中产生的新的业务数据包；

2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则将其进行缓存，并通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包；

3)协议分析网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容；

4)协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；

5)业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。

2.根据权利要求1所述的一种基于网络协议分析的业务分析监控方法，其特征在于，所述的步骤1)中的并根据配置判断是否满足复制要求具体为：用户设定主机、端口或协议，数据采集模块判断业务数据包是否来自用户设定的主机、端口或协议来判断是否进行数据复制。

3.根据权利要求1所述的一种基于网络协议分析的业务分析监控方法，其特征在于，所述的数据采集器根据配置判断是否需要采集业务数据包具体为：用户设定主机、端口、协议或协议字段的内容，数据采集器判断业务数据包是否来自用户设定的主机、端口、协议或协议字段的内容来判断是否进行缓存。

4.根据权利要求1所述的一种基于网络协议分析的业务分析监控方法，其特征在于，所述的协议分析网关还接收其他数据源的数据，并进行步骤3)～5)。

5.根据权利要求4所述的一种基于网络协议分析的业务分析监控方法，其特征在于，所述的其他数据源的数据包括硬件指标和底层网络指标，所述的硬件指标包括CPU使用率、内存使用率，所述的底层网络指标包括网络带宽使用率、TCP响应时间。

6.一种实施权利要求1所述的基于网络协议分析的业务分析监控方法的系统，其特征在于，该系统包括数据采集模块、数据采集器、协议分析网关、业务记录数据中心、索引服务器及用户PC机，所述的数据采集模块与生产业务系统连接，将生产业务系统中产生的新的业务数据包复制到数据采集器，数据采集器将数据包发送给协议分析网关，协议分析网关发送业务记录到业务记录数据中心，业务记录数据中心与索引服务器相关联，用户PC机与索引服务器连接。