人工智能时代前沿技术社区

首页 > 人工智能 > 热点

测试工具领域应对海量数据的解决方案

在大数据时代,海量的数据量对测试工作有哪些影响呢?测试工具领域应对海量数据的解决方案有哪些呢?来自京东的孔祥云为我们做了讲解。

作者: | 2018-01-10 17:09:17 | 来源:飞马网

在大数据时代,海量的数据量对测试工作有哪些影响呢?测试工具领域应对海量数据的解决方案有哪些呢?来自京东的孔祥云为我们做了讲解。

图片1.png 

孔祥云

孔祥云,《京东系统质量保障技术实战》作者之一,10年测试领域从业经验,擅长功能测试、自动化测试、测试工具开发等。在京东任职期间参与开发EAT测试框架、Mock接口测试平台、自动部署系统、商城质量门户等;主导应用大数据技术的接口稳定性监控平台、接口变更探测工具等。

稳定性监控系统产生的背景和目标

1、接口的稳定性数据采集后,虽然直观,但是不能对整个应用有好的表达;

2、一般查询只提供了单个接口的方式,不能查询较长时间、多接口的稳定性数据;

3、不是基于业务场景的,非开发人员无法映射到具体的业务场景上

直观展示多维度稳定性趋势

多时间跨度

多业务场景

多层次

系统难点分析

实时性:每秒稳定性数据采集频次:100(应用)* 100(接口) * 5(分钟)/ 60(秒) = 1000,及时反映稳定性变化;

海量数据:数据量大:

单个应用:

100(接口)* 24(小时)* 60(分钟)/ 5(分钟) =28800;

28800(条) * 365(天) =10,512,000;

维度多;

数据可视化展现:稳定性折线图上突出展示异常点,折线图时间跨度可任意选择;

技术方案

1、涉及到的技术模块

采集worker

实时计算storm

前端展示pma

图片2.png 

2、采集worker的及时性

图片3.png 

3、采集worker的失败重采机制

图片4.png 

4、及时展示变化数据的大数据方案

图片5.png 

5、Storm 特性:

图片6.png 

图片7.png 

6Storm实际部署的拓扑图(部分)

图片8.png 

7实时计算多维度计算的数据存储策略:利用JimDB缓存中间数据进行计算

汇总 + 计算。

8、实时计算多维度计算的数据存储策略:利用HBase进行落盘存储,落盘 + 去重;

9、前端展示图表的方案:ECharts的折线图、ECharts拥有丰富的图表:折线图、柱状图、散点图、饼图、K线图等;时间跨度选择——通过设置dataZoom设置数据窗口的范围;

图片9.png 

 图片10.png 

 图片11.png 

图片12.png