网络终端的数据流量测量方法

暂无

网络终端的数据流量测量方法\n技术领域\n[0001] 本发明涉及网络技术领域，尤其涉及一种网络终端的数据流量的测量。\n背景技术\n[0002] 随着网络通信技术的发展，人们越来越普遍地使用各种网络终端来获得更多的信息，这些终端包括个人电脑、手机、平板电脑等，因而产生了巨大的网络数据流量，一些网络接入商在网络上安装数据流量测量装置，以作为计费依据。同时，用户在终端安装测量系统，用于实时观察网络数据流量的使用情况；然而，目前网络终端的测量方法及系统所测量的结果与网络接入商的测量结果差距较大。\n[0003] 现有的方案主要如下:\n[0004] 中国发明专利20121004689.9号公开了一种移动手持装置访问网络时的流量监控方法及系统，该方案是通过直接累加各个周期访问网络时的发送和接收流量来测量网络流量。但是该方案的缺点是，测量结果通常与网络接入商的测量结果差距较大，没有给用户提供准确的信息。\n[0005] 中国发明专利201210105349.2号公开了一种自适应的终端网络流量校正方法，该方案通过按比率每个应用校正流量再累加的方法来解决测量结果通常与网络接入商的测量结果差距较大的问题。但是该方案的缺点是，需要从云端来获取该类别应用的校正权值，需要确定并维护云端的应用校正权值，如果权值确定不合理，会产生更大的差距；所支持的操作系统及应用程序受到云端的制约；同时还会产生额外的网络数据流量。\n发明内容\n[0006] 本发明的目的在于针对上述已有技术的不足，提供一种网络终端的数据流量测量方法及系统，以给用户提供接近网络接入商的网络数据流量信息。\n[0007] 为实现上述目的，本发明提供的网络终端数据流量测量系统，包括：\n[0008] 采集模块，用于从网络接入设备处实时采集网络数据包，将所采集的网络数据包输入给筛选模块；\n[0009] 筛选模块，用于筛选出在广域网传输的网络数据包，将筛选结果输入给样本生成模块；\n[0010] 样本生成模块，用于从经过筛选的网络数据包提取特征信息生成数据样本，并将所生成 的数据样本输入给分流模块；\n[0011] 分流模块，用于根据数据样本的特征信息将其分为若干股数据流，对每一股数据流依次进行若干次维持操作和一次终止操作，并在终止数据流时，将该股数据流输入给测量模块；\n[0012] 测量模块，用于测量每一股已经终止的数据流的数据流量，并将结果输入给统计模块；\n[0013] 统计模块，用于累加测量模块送入的每一股数据流量，统计总数据流量，并将结果输入给显示模块；\n[0014] 显示模块，用于向用户显示输出总数据流量信息。\n[0015] 为实现上述目的，本发明提供的网络终端数据流量测量方法，包括如下步骤：\n[0016] (1)从网络接入设备处实时采集网络数据包,并从采集获得的网络数据包中筛选需要测量数据流量的网络数据包；\n[0017] (2)从筛选出的网络数据包中提取数据特征信息和时间特征信息，生成一系列数据样本；\n[0018] (3)根据数据样本的特征信息，将一系列数据样本分为若干股数据流，对每一股数据流依次进行若干次维持操作和一次终止操作；\n[0019] (4)测量每一股已经终止的数据流的数据流量；\n[0020] (5)汇总统计所有数据流的数据流量并输出。\n[0021] 上述步骤(3)所述的将一系列数据样本分为若干股数据流，是对一系列数据样本进行逐个扫描，如果数据样本带起始标志，则以其数据特征信息建立一股新的数据流，并记录数据流的开始时间，否则，将其分入具有相同数据特征信息的数据流；\n[0022] 上述步骤(3)中对每一股数据流依次进行若干次维持操作和一次终止操作，是以1毫秒为时间周期,对每一股未终止的数据流进行扫描，如果数据流分入一个或多个不带终止标志的数据样本，则维持该数据流并记录数据流的更新时间；如果数据流分入一个带标志的数据样本，或者时间距离数据流的更新时间大于超时时间，或者当前时间距离数据流的开始时间大于缓存周期时，则终止该数据流，并记录数据流的终止时间。\n[0023] 上步骤(4)所述的测量每一股已经终止的数据流的数据流量，按如下步骤进行：\n[0024] (4a)累加数据包大小,得到一股数据流的原始数据流量N；\n[0025] (4b)计算一股数据流的流量偏差值权重E:\n[0026]\n[0027] 其中,c为一股数据流的数据样本总数，Te为数据流结束时间，Ts为数据流开始时间，时间单位为毫秒ms；\n[0028] (4c)根据一股数据流的原始数据流量N和流量偏差值权重E,计算一股数据流的流量偏 差值D：\n[0029] D＝N×E\n[0030] (4d)根据一股数据流的原始数据流量N和流量偏差值D,计算一股已经终止的数据流的\n[0031] 流量L：\n[0032] L＝N-D。\n[0033] 本发明具有如下优点：\n[0034] 1)本发明能够在无需获取网络数据包的来源应用程序情况下，区分不同类型网络数据流量，能够适应包括Windows、Linux、Android、Iphone、Mac多种操作系统及运行于上述操作系统上的所有应用程序；\n[0035] 2)本发明能够根据数据流的特征信息，计算数据流的流量偏差值，来修正原始数据流量，从而使得测量结果接近于网络接入商所测量的数据流量。\n[0036] 3)本发明所采用的技术方案，不需要连接云端服务器，因此无需架设云端服务器，且能够避免额外数据流量的产生。\n附图说明\n[0037] 图1是本发明网络终端的数据流量测量系统的结构示意图。\n[0038] 图2是本发明网络终端的数据流量测量方法的工作流程图。\n具体实施方式\n[0039] 下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。\n[0040] 参照图1，本发明的数据流量测量系统包括M个采集模块1，筛选模块2，样本生成模块3，分流模块4，测量模块5，统计模块6，显示模块7，这些模块依次连接，其中M为网络接入设备连接的数量，且每个采集模块与相应的网络接入设备连接。\n[0041] 采集模块1从网络接入设备处实时采集网络数据包，即从网络接入设备的驱动程序中，拷贝所有网络数据包的副本，并记录每个网络数据包的产生时间，同时将采集到的网络数据包及其产生时间输入给筛选模块2。\n[0042] 筛选模块2从网络数据包中根据网络协议筛选出在广域网传输的网络数据包，即保留除本地环回数据包、ARP数据包、RARP数据包、局域网内网数据包外的所有网络数据包，并将经过筛选的网络数据包输入给样本生成模块3。\n[0043] 样本生成模块3从筛选模块获取的网络数据包中提取数据特征信息和时间特征信息，其中，数据特征信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包大小、起始标志、终止标志；时间特征信息包括产生时间、超时时间、缓存周期；将这两类特征信息合并后生成数据样本，所生成的数据样本输入给分流模块4。\n[0044] 分流模块4，用于完成如下功能：\n[0045] 首先，根据数据样本的特征信息将一系列数据样本分为若干股数据流，即对一系列数据样本进行逐个扫描，如果数据样本带起始标志，则以其数据特征信息建立一股新的数据流，并记录数据流的开始时间，否则，将其分入具有相同数据特征信息的数据流；然后，对每一股数据流依次进行若干次维持操作和一次终止操作，即以1毫秒为时间周期,对每一股未终止的数据流进行扫描，如果数据流分入一个或多个不带终止标志的数据样本，则维持该数据流并记录数据流的更新时间；如果数据流分入一个带终止标志的数据样本，或者时间距离数据流的更新时间大于超时时间，或者当前时间距离数据流的开始时间大于缓存周期时，则终止该数据流，并记录数据流的终止时间；最后，将已经终止的数据流发送个测量模块5。\n[0046] 测量模块5，用于完成测量每一股已经终止数据流的数据流量：\n[0047] 首先，累加数据包大小,得到一股数据流的原始数据流量N；\n[0048] 然后，计算一股数据流的流量偏差值权重E:\n[0049]\n[0050] 其中,c为一股数据流的数据样本总数，Te为数据流结束时间，Ts为数据流开始时间，时间单位为毫秒ms；\n[0051] 接着，根据一股数据流的原始数据流量N和流量偏差值权重E,计算一股数据流的流量偏差值D：\n[0052] D＝N×E\n[0053] 最后，根据一股数据流的原始数据流量N和流量偏差值D,计算一股已经终止的数据流的流量L：\n[0054] L＝N-D，\n[0055] 计算完毕，将每一股数据流的数据流量输入给统计模块6。\n[0056] 统计模块6对累加测量模块送入的每一股数据流量进行统计，得到总数据流量，并将该统计结果输入给显示模块7显示，供用户读取。\n[0057] 为便于说明，本施例中，假定网络终端包含一个网络接入设备，其IP地址为\n115.155.39.100，其数据发送与接收情况如下表1。\n[0058] 表1：网络终端的数据发送与接收情况表\n[0059]\n[0060] 以下参照图2，结合表1描述本发明网络终端的数据流量测量步骤：\n[0061] 步骤1：采集网络数据包。\n[0062] 从网络接入设备处实时采集网络数据包，即从网络设备的驱动程序中，拷贝所有网络数据包的副本，并记录每个网络数据包的产生时间。在本施例中，表1所示数据，在网络数据包产生的时候就被及时的复制，并记录其产生时间。\n[0063] 步骤2：筛选网络数据包。\n[0064] 从采集获得的网络数据包中筛选出在广域网传输的网络数据包，即保留除本地环回数据包、ARP数据包、RARP数据包、局域网内网数据包以外的所有网络数据包。在本施例中，表1编号为5和6的所有网络数据包被剔除，筛选出了编号为1、2、3、4的所有网络数据包。\n[0065] 步骤3：生成数据样本。\n[0066] 从经过筛选的网络数据包中提取数据特征信息和时间特征信息，并将这两类特征信息合并生成一系列数据样本；其中：\n[0067] 数据特征信息，包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包大小、起始标志、终止标志；\n[0068] 时间特征信息包括产生时间、超时时间、缓存周期。\n[0069] 数据样本的储存结构包括：源IP地址，目的IP地址，源端口，目的端口，协议类型，数据包大小，起始标志，终止标志，产生时间、超时时间和缓存周期，且起始标志和终止标志使用0则表示不带相应标志，使用1则表示带有相应标志。\n[0070] 在本施例中，表1编号1的网络数据包中，某个产生时间为10:01:01:055、大小为\n120字节、不带起始标志，不带终止标志、超时时间为1085ms、缓存时间为600000ms的数据包，生成对应的数据样本为：115.155.39.100，115.155.39.234，2344，80，TCP，1200，0，0，\n10:01:01:055，1085，600000。\n[0071] 步骤4：数据样本分流。\n[0072] (4a)根据数据样本的特征信息将一系列数据样本分为若干股数据流，即对一系列数据样本进行逐个扫描，如果数据样本带起始标志，则以其数据特征信息建立一股新的数据流，并记录数据流的开始时间，否则，将其分入具有相同数据特征信息的数据流；\n[0073] (4b)对每一股数据流依次进行若干次维持操作和一次终止操作，即以1毫秒为时间周期,对每一股未终止的数据流进行扫描，如果数据流分入一个或多个不带终止标志的数据样本，则维持该数据流并记录数据流的更新时间；如果数据流分入一个带终止标志的数据样本，或者时间距离数据流的更新时间大于超时时间，或者当前时间距离数据流的开始时间大于缓存周期时，则终止该数据流，并记录数据流的终止时间。\n[0074] 在本施例中，表1中编号为1、2、3、4的网络数据包在网络中是交替形成一个串行序列，因而步骤3所生成的相应数据样本也是一个串行序列；本步骤根据数据样本特征信息，将这些数据样本分为四个数据流，即四个串行序列：\n[0075] 在时刻10:00:00:001，扫描到一个带有起始标志的数据样本，因而建立新建一股新的数据流S1，在10:00:00:001到10:05:00:007这段时间里，每当扫描到编号1的网络数据包时，维持数据流S1并记录其更新时间，在时刻10:05:00:007，由于扫描到一个带有终止标志的数据样本分入数据流S1，所以数据流S1终止。同样的，编号为2、3、4的网络数据包会在时间段10:00:01:234到10:05:00:958、10:02:00:211到10:04:00:000、10:02:01:593到10:\n04:01:426里分别新建、维持并终止三个数据流，编号分别为S2,S3,S4。\n[0076] 步骤5：测量每一股已经终止的数据流的数据流量。\n[0077] 本施例中，记第i股数据流Si的数据流量为Li，计算第一股已经终止的数据流S1的数据流量L1：\n[0078] (5a)累加数据流S1的数据包大小，得到其原始数据流量N1＝1231259B；\n[0079] (5b)计算数据流S1的数据流量偏差值权重E1：\n[0080]\n[0081] 其中，数据流S1的数据样本总数c1＝1751，\n[0082] (5c)计算数据流S1的数据流量的偏差值D1＝N1×E1≈105273B；\n[0083] (5d)计算数据流S1的数据流量L1＝1231259B-105273B＝1125986B。\n[0084] 同样地，可以计算出第二股、第三股、第四股已经终止的数据流S2,S3,S4的数据流量L2,L3,L4。\n[0085] 步骤6：汇总统计所有已经终止的数据流的数据流量并输出。\n[0086] 本施例中，将步骤5已经分别测量出的已经终止的数据流S1,S2,S3,S4的数据流量L1,L2,L3,L4相加，得到所有数据流的总数据流量：L＝L1+L2+L3+L4。