xxx大数据性能测试方案-V1.0-2.0剖析.pdf
《xxx大数据性能测试方案-V1.0-2.0剖析.pdf》由会员分享,可在线阅读,更多相关《xxx大数据性能测试方案-V1.0-2.0剖析.pdf(17页珍藏版)》请在三一文库上搜索。
1、性能测试方案 编号: 密级: XXX大数据平台 性能测试方案 V1-2.0 拟 制 人: 审 核 人: 批 准 人: 2016 年 06 月 08 日 性能测试方案 文件变更记录 *A - 增加M - 修订D - 删除 版本号日期变更类型 ( A*M*D ) 修改人摘要审核人备注 V2.0 2016-06-08 A 新建性能测试方案 性能测试方案 I 目录 目录. I 1 引言 1 1.1编写目的 1 1.2测试目标 1 1.3读者对象 1 1.4 术语定义 . 1 2 环境搭建 1 2.1 测试硬件环境. 1 2.2 软件环境 . 2 3 测试范围 2 3.1 测试功能点 . 2 3.2 测
2、试类型 . 2 3.3 性能需求 3 3.4 准备工作 3 3.5 测试流程 . 3 4.业务模型 . 4 4.1 基准测试 . 4 4.1.1 Hadoop/ Spark 读取算法的基准测试 4 4.1.2 Hadoop/ Spark 写入算法的基准测试 5 4.1.3 Hadoop/ Spark 导入算法的基准测试 6 4.1.4 Hadoop/ Spark 导出算法的基准测试 7 4.2 负载测试 . 8 4.2.1 Hadoop/ Spark 并行读取 /写入算法的负载测试. 8 4.2.2 Hadoop/ Spark 并行导入 /导出算法的负载测试. 9 4.3 稳定性测试 . 10
3、 4.3.1 Hadoop/ Spark 并行读取 /写入 /导入 /导出算法, 7*24 小时稳定性测试 10 5 测试交付项 12 6 测试执行准则 12 6.1 测试启动 . 12 6.2 测试执行 . 12 6.3 测试完成 . 13 7 角色和职责 13 8 时间及任务安排 13 9 风险和应急 14 9.1 影响方案的潜在风险 14 9.2 应急措施 14 性能测试方案 1 1 引言 1.1 编写目的 本测试方案将对XXX 大数据平台的测试方案、测试范围,测试的软件硬件环境、测试进度、测试 人员的分工和职责以及测试流程进行详细的定义和整体的描述。 1.2 测试目标 本次性能测试的目
4、标是检测XXX大数据平台在服务器上运行时,了解该服务器的各项性能情 况。 1.3 读者对象 本方案的预期读者是:项目负责人、测试人员、运维人员和其他相关人员。 1.4 术语定义 术语定义 性能测试 通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指 标进行测试 场景用于根据性能要求定义在每一个测试会话进行期间发生的事件 事务表示要度量的最终指定的某个特定业务 2 环境搭建 2.1 测试硬件环境 服务器名数量期望到位阶段备注 服务器1 开发提测前 性能测试方案 2 2.2 软件环境 资源名称配置 3 测试范围 3.1 测试功能点 编号测试点对应算法备注 1 Hadoop
5、读取 2 Hadoop 写入 3 Hadoop 导入 4 Hadoop 导出 5 Spark 读取 6 Spark 写入 7 Spark 导入 8 Spark 导出 3.2 测试类型 类型定义备注 基准测试 单事物单用户测试,目的是对选择的单用户在无压力情况下(无 额外进程运行并占用系统资源)情况下,获取系统处理单请求 的情况 负载测试 通过逐步增加系统负载,测试系统性能的变化 稳定性测试 通过给系统加载一定业务压力,运行7*24 小时,以此检测系统 是否稳定运行。 性能测试方案 3 3.3 性能需求 名称指标备注 CPU 使用率不高于80% 内存 使用率不高于80% I/O 使用率不高于80
6、% 响应时间 Network 使用率不高于80% 3.4 准备工作 1.测试功能点全部通过功能测试,确保功能上没有问题; 2.测试环境服务器已搭建,被测项目已部署; 3.准备测试客户机; 4.准备好测试数据; 5.创建测试场景,并配置好每个场景的设置; 6.测试过程中保存好测试数据和分析结果,并规范对执行结果进行命名 3.5 测试流程 性能测试方案 4 4.测试策略 4.1 基准测试 4.1.1 Hadoop/ Spark读取算法的基准测试 场景 1:数据容量 100G 时,进行读取算法的基准测试 用例名称 数据量 100G,读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark
7、 的读取测试 测试目的 对比 Hadoop/ Spark 的读取算法,进行数据容量100G 读取操作时, redpower 服务器运行情况 前置条件 操作步骤 1.准备数据容量100G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的读取代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 场景 2:数据容量 500G 时,进行读取算法的基准测试 用例名称 数据量 500G,读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark 的读取测试 测试目的 对比 Hadoop
8、/ Spark 的读取算法,进行数据容量500G 读取操作时, redpower 服务器运行情况 前置条件 操作步骤 1.准备数据容量500G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的读取代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 场景 3:数据容量 1T 时,进行读取算法的基准测试 用例名称 数据量 1T,读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark 的读取测试 测试目的 对比 Hadoop/ Spark 的读取算法,进行数据容量1T 读取
9、操作时, redpower 服务器运行情况 性能测试方案 5 前置条件 操作步骤 1.准备数据容量1T 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的读取代码 运行结果类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 4.1.2 Hadoop/ Spark写入算法的基准测试 场景 1:数据容量 100G 时,进行写入算法的基准测试 用例名称 数据量 100G,写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark 的写入测试 测试目的 对比 Hadoop/ Spark 的写入算法
10、,进行数据容量100G 写入操作时, redpower 服务器运行情况 前置条件 操作步骤 1.准备数据容量100G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的写入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 场景 2:数据容量 500G 时,进行写入算法的基准测试 用例名称 数据量 500G,写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark 的写入测试 测试目的 对比 Hadoop/ Spark 的写入算法,进行数据容量500G 写入操作时, re
11、dpower 服务器运行情况 前置条件 操作步骤 1.准备数据容量500G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的写入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 性能测试方案 6 场景 3:数据容量 1T 时,进行写入算法的基准测试 用例名称 数据量 1T,写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark 的写入测试 测试目的 对比 Hadoop/ Spark 的写入算法,进行数据容量1T 写入操作时, redpower 服务器运行情况 前置条
12、件 操作步骤 1.准备数据容量1T 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的写入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 4.1.3 Hadoop/ Spark导入算法的基准测试 场景 1:数据容量 100G 时,进行导入算法,查看服务器的相关性能指标 用例名称 数据量 100G,导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark 的导入测试 测试目的 对比 Hadoop/ Spark 的导入算法,进行数据容量100G 导入操作时, redpow
13、er 服务器运行情况 前置条件 操作步骤 1.准备数据容量100G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的导入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 场景 2:数据容量 500G 时,进行导入算法,查看服务器的相关性能指标 用例名称 数据量 500G,导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark 的导入测试 测试目的 对比 Hadoop/ Spark 的导入算法,进行数据容量500G 导入操作时, redpower 服务器运行情况 前置
14、条件 操作步骤 1.准备数据容量500G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的导入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop 性能测试方案 7 Spark Spark 场景 3:数据容量 1T 时,进行导入算法,查看服务器的相关性能指标 用例名称 数据量 1T,导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark 的导入测试 测试目的 对比 Hadoop/ Spark 的导入算法,进行数据容量1T 导入操作时, redpower 服务器运行情况 前置条件 操作步骤 1.
15、准备数据容量1T 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的导入代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 4.1.4 Hadoop/ Spark导出算法的基准测试 场景 1:数据容量 100G 时,进行导出算法,查看服务器的相关性能指标 用例名称 数据量 100G,导出功能的基准测试 算法 导出 验证功能 Hadoop/ Spark 的导出测试 测试目的 对比 Hadoop/ Spark 的导出算法,进行数据容量100G 导出操作时, redpower 服务器运行情
16、况 前置条件 操作步骤 1.准备数据容量100G 2. 对 redpower 服务器进行资源监控 3. 客户端执行Hadoop/ Spark 的导出代码 运行结果 类别CPU 使用率内存使用率I/O NETWORK 响应时间备注 Hadoop Spark Spark 场景 2:数据容量 500G 时,进行导出算法,查看服务器的相关性能指标 用例名称 数据量 500G,导出功能的基准测试 算法 导出算法 验证功能 Hadoop/ Spark 的导出测试 测试目的 对比 Hadoop/ Spark 的导出算法,进行数据容量500G 导出操作时, redpower 服务器运行情况 前置条件 操作步骤
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- xxx 数据 性能 测试 方案 V1 2.0 剖析
链接地址:https://www.31doc.com/p-4701799.html