64901计算机软件测试规程 标准 CB 1360-2002.pdf

J 中华人民共和国船舶行业标准 F L 0 1 3 7C B 1 3 6 0一2 0 0 2 计 算 机 软 件 测 试 规 程 T e s t s p e c i f i c a t i o n o f c o mp u t e r s o f t w a re 2 0 0 2 一1 1 一2 0 发布2 0 0 3 一0 2 一0 1 实施 国防科学技术工业委员会发 布 C B 1 3 6 0 - 2 0 0 2 目次 前言 . . . . . . . . . . . . . . ， ， ， ， . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . H 1范围 二， . ， ， ， 卜 二， . . . . . . . . . ， 卜 . . . . . ， . . . . ， ， 1 2规范性引用文件. ， 二， . . ， . . ， ， ， . ， . ， . . ， 二 ，. . . . . ， . ， . 1 3术语和定义 ， . . . . . . . ， ， . . . . . . . . . . . . ， _ . . . . ， . ， . 1 4一般要求 _. . . ， ， 二， . . ， . . . . . . . . . . . . . . . . ， ， ， ， . . . 2 4 . 1测试 目的 ， ， . . . . . . . . . . . . . . . . . . . . . . . . . ， . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 . 2测试机构. . . . ， . . . . . ， . . “. . . . . . . . . ， . ， 卜 . . . 二2 4 . 3基本进入条件 ， . ， . . . . ， ， ， . . . . ， . . . . . . ， . 二3 4 . 4通过准则 . . ， . . . . . . . . ， . ， ， ， . . . ， . . . . 卜 . . . . 3 4 . 5测试文档 . . ， ， ， 二 ， . . . . . . . . . ， ， ， ， . . 3 4 . 6基本测试工作流程 . . . . . . . ， ， ， . . ， 二， ，. . . . . . . . . . . . . . . . . . . . 5 4 . 7被测试软件的处置 . . . . . . . . ， ， . . . . . . . . ， . . . . . . ， 二 . . . . . . . . . . . . 7 4 . 8测试的基本要求 ， . . . . . . . . . . . . . . . ， . . . . . ， ， . . . . . ， ， . 7 4 . 9测试记录与控制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 卜 ， . . . . . . . ， ， 二了 4 . 1 0测试偏离处理 . ， “. . ， . . . ， ， . . . . ，. . ， ， ， 8 5详细要求 . ， . ， . . . . . . . ， ， . . . . . . . . . . . . . . . . . . ， . . . . . . ， . ， ，. . . . 8 5 . 1测试工作流程 . . . . . . . . . . . . . . . . . 卜 ， ， . . ， . ， . ， ， -. . . . ， 二8 5 . 2软件单元测试 . . ， ， ， . ， ， ， ， . ， ， ， ， . . . ， ， . . . . . ， 1 4 5 . 3软部件测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 5 . 4计算机软件配置项测试 二“. ， . “卜 ， ， . ， . . . ， . . ， . ， ， . “. . . . . 1 7 5 . 5系统测试 . ， . . . . . . . . . . . . . . . . . . . . . ， . . . . . ， . . . . . ， ， . . . 1 9 5 . 6验收测试 . . . . . . . . . . . . . . . . . . . . ， . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 附 录 A( 资料性附录)软件测试计划内容， ， ， . . . . . . ， . . . ， ， ， 二 ， . . 2 3 附 录 B ( 规范性附录)代码审查二， . ， ， ，. . ，. . . . . . . . . . . 2 6 附 录 G( 资料性附录)软件测试问题报告单格式. . . . . ， 二 . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 附 录 D( 资料性附录)软件测试报告格式及内容. . . . . . . ， ， 二， . . . . . . . . . . . . . . . . . . 3 3 附 录 E 资料性附录)被测试软件出入登记表格格式二， . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 0 附 录 F( 资料性附录)偏离规定和程序或测试分歧纠正措施报告格式 ， ， . . . . . . . . . . . . 4 1 附 录 G 资料性附录)舰艇指控系统情报处理软件配置项测试用例设计提纲示例 . . . . . . . . . . . . . . 4 2 附 录 H( 规范性附录)回归测试 . . . . . . . . . . . . . . . ， 二 . . . . . . . . . . . 4 5 附 录 7( 规范性附录)强度测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6 附 录 K 资料性附录)软件关键程度等级 . . . . . . ，. . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 C B 1 3 6 0一 2 0 0 2 ， JJ， ， 一 N il青 本标准由中国船舶重工集团公司提出。 本标准由中国船舶工业综合技术经济研究院归口 本标准起草单位:中船重工七院第七一六研究所。 本标准卞要起草人:孙志安、万勤、蔡绍成、陈明珠、潘冠华、黄克明 C B 1 3 6 0- 2 0 0 2 计 算 机 软 件 测 试 规 程 1 范围 本标准规定了 计算机软件测试过程的基本要求，包括测试目 的、 测试机构、进入条件、通过准 则、测试文档、测试工作流程、被测试软件的处置、测试记录与控制和测试偏离处理。同时规定了 软件测试过程中不同类型测试的详细要求。 本标准适用于计算机软件尤其是按G J B 2 7 8 6 开发的软 件的下列测试活动: a ) 软件单元测试; b ) 软部件测试; c ) 计算机软件配置项测试; d ) 系统测试; e ) 验收测试; f ) 代码审查: 9 ) 强度测试; h ) 回 归测试。 本标准也适用于承制方的软件开发。 2 规范性引用文件 下列文件中的条款通过本标准的引用而成为本标准的条款。 凡是注日 期的引用文件，其随后所 有的修改单 ( 不包含勘误的内容)或修订版均不适用于本标准 ，然而，鼓励根据本标准达成协议的 各方研究是否使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。 G B / T 1 1 4 5 7 软件工程术语 G J B 4 3 8 A -1 9 9 7 武器系统软 件开发文档 G J B 2 4 3 4 -1 9 9 5 军用软件测 试与评估通用要求 G J B 2 7 2 5 校准实 验室和测试实验室通用要求 3 术语和定义 本标准除采用下列术语和定义之外， 其他术语和定义见G B / T 1 1 4 5 7 , 3 . 1 测试委托方 t e s t e n t r u s t i n g p a r t y 将计算机软件测试任务委托给第三方测试机构的组织或个人。 测试委托方通常是计算机软件的 开发方、用户或用户代表。 3 . 2 测试方 t e s t p a r t y 接受测试委托，对计算机软件测试任务组织实施的第三方软件测试机构，或独立于软件开发人 员的测试组织。 3 . 3 计算机软件配，项 c o mpu t e r s o f t w a r e c o n f i g u r a t i o n i t e m 为独立的配置管理而设计的并且能满足最终用户对功能等需求的一组软件。本标准正文中将其 简称为软件配置项。 C B 1 3 6 0一 2 0 0 2 3 . 4 计算机软部件 c o m p u t e r s o f t w a r e c o m p o n e n t 对计算机程序进行层次分解所得到的实体，它是计算机软件配置项中性质不同的部分，计算机 软部件可以进一步分解成其他软部件或软件单元。 3 . 5 计 算 机软 件 单元c o m p u t e r s o f t w a r e u n i t 计算机软部件设计中确定的能单独测试的部分。 3 . 6 软 件 特性s o f t w a r e f e a t u r e 软件需求规格说明书等所规定的软件功能、性能等的集合。 3 . 7 软件A ! 9 试 s o f t w a r e t e s t i n g 根据特定的规程来判定或验证规定的软件 ( 单元、软部件、配置项等)的一个或多个特性的技 术操作。 3 . 8 软件测试环境 s o f t w a r e t e s t e n v i r o n m e n t 软件测试所需的 一组工具、 固件和硬件等的集合。 工具包括但不 局限 于测试工具， 如模拟软件、 代码分析器、静态分析工具等，也可能包括用于软件工程环境的工具。 3. 9 软件评A J J s o f t w a r e e v a l u a t i o n 度量软件质量所进行的测试、评估等活动。 4 一般要求 4 . 1 测试目的 计算机软件的测试 目的如下: a ) 验证计算机软件的设计与实现是否满足任务书或合同以 及软件需求规格说明 ( 含接口 需求 规格说明) 所规定的要求; b ) 验证计算机软件中的缺陷和错误统计数是否在所规定的范围之内， 对被测试软件的 质量作 出评价; c ) 通过测试， 发现或检出 计算机软件中的缺陷 和错误， 提高软件可靠性: d ) 为软件开发过程中的各种验证、 确认以及是否可以接收或使用等决策提供依据; e ) 为软件配置项的技术状态确认和软件产品验收与交付提供依据 。 4 . 2 测试机构 计算机软件的测试机构应符合下列要求: a ) 测试机构应按 G J B 2 7 2 5的要求配备质量管理人员、测试人员、验证人员、评估人员，并规 定他们的职责、 权限及其相互关系; b ) 测试机构在接受测试委托后应成立软件测试组，测试人员一般由专业测试人员组成。必要 时， 可邀请同行专家、被测试软件的用户或用户代表参加; c ) 测试机构内的所有人员均应通过专业培训，持证上岗; d ) 测试机构的组织、人员应具备 自主权，确保所有测试过程的独立性和测试结果的客观性、 公正性、公平性: e ) 测试机构应制定测试环境和测试工具的操作规程 测试环境和测试工具应定期进行校准( 检 定)和测试; L B 1 3 6 0- 2 0 0 2 f ) 测试机构应制定相应规程，确保测试过程和测试结果的可复现性 ，确保测试用例、测试文 档等的可检查性和可追溯性; 9 ) 测试机构应按要求建立完备的档案体系; h ) 测试机构的测试工作分包、外部服务或供应等应满足G J B 2 7 2 5 的要求。 4 . 3 基本进入条件 计算机软件测试的基本进入条件如下: a ) 测试文档的要求应满足 4 . 5 的规定; b ) 测试前被测试软件通过自测试或技术状态检查，测试委托方应提供 自测试报告或技术状态 检查报告; c ) 规定的测试环境和测试工具; d ) 测试方和测试委托方应完成对测试准备情况的评审、 确认，并就所有歧义达成共识; e ) 对需要特别明确的测试进入条件，应由测试方和测试委托方协商一致后提出。 4 . 4 通过准则 测试方应根据合同、协议，在分析软件特性、测试特性、被测试特性和未被测试特性的基础上， 确定软件测试通过准则。通常，测试通过准则是下列条款的集合或一个子集: a ) 合同、协议中所规定的测试任务已按要求完成; b ) 测试计划中所规定的测试项目及测试内容己完成， 并达到所规定的测试覆盖率和技术要求; c ) 对测试中所发现的问 题或异常， 有合理的 解释和正确而有效的处理; d ) 对排错性测试中所发现的问题形成了完整的软件测试 问题报告单，按要求对这些问题进行 了修正，并通过了回归测试或重新组织的测试; e ) 所有已 发现的缺陷及影响均己 消除，当 不能及时排除时，己清楚这些缺陷对软件运行的风 险，并经过确认: f ) 测试中的所有歧义及有关问题，测试方和测试委托方己协商一致; 9 ) 对需要固 化运行的 软件，己 在规定的固 件环境中完成 测试; h ) 测试过程中 所需的测试输入文档和测试输出 文档 ( 见 4 . 5 ) 齐全、完整，且己 纳入 相应的 配置管理中; i ) 己完成测试分析和评估， 对测试结果作出合理、公正的判断，完成测试报告的编制; J ) 特别要求的测试通过准则应由测试方和测试委托方协商提出， 纳入合同的相应条款中， 并 在测试计划、测试说明等文档中作出明确的规定和描述。 4 . 5 测试文档 4 . 5 . 1 测试文档的分类 对应于软件测试各阶段的测试活动和任务，测试文档可以分为测试输入文档和测试输出文档两 大类。 测试文档的 类别及对文 档的要求如下: a ) 测试合同或协议:测试之前，应由测试方和测试委托方按合同法等的规定协商签定; b ) 需求规格说明 ( 含接口 需求规格说明):应由测试委托方按合同规定或 测试需求提供， 需 求规格说明的格式见G J B 4 3 8 A -1 9 9 7 中的5 . 3 和5 . 4 ; c ) 设计文档 ( 含接口设计文档):应由测试委托方按合同规定或测试需求提供，设计文档的 格式见G J B 4 3 8 A -1 9 9 7 中的5 . 5和 5 . 6 ; d ) 源代码:应由 测试委托方按合同规定或测试需求提供: e ) 测试计划:在测试计划阶段应 由测试方编制，测试计划应描述测试活动的范围、方法、资 源和进度等。它是根据软件特性规定被测试特性、 应完成的 任务、测试人员的职责以及与 本计划有关的风险等。测试计划的格式及编制要求见附录A ; C B 1 3 6 0 一2 0 0 2 f ) 测试说明:在测试设计阶段根据需要应由测试方编制。测试说明应包括如下三类文件: 1 ) 测试设计说明:应描述测试方法，规定测试设计及其相关测试所包括的 特性， 还规定 完成测试所需要的测试用例和测试规程: 2 ) 测试用例说明: 应描述用于输入的具体值以及预期的输出 结果，并规定在使用具体测 试用例时，对测试规程的各种限制; 3 ) 测试规程说明:规定对于运行系统和执行指定的测试用例来实现有关 测试设计所要求 的程序和方法。 在实际使用中，这三类文件通常合并为一份文件及测试说明，测试说明的格式见 G J B 4 3 8 A - 1 9 9 7中5 . 1 0 . 9 ) 代码审查计划: 代码审查前应由审查方编制。 代码审查计划应规定 代码审查的范围、 方法、 进度和人员安排等。 代码审查计划的典型目 录及编制要求见附录B 中的B . 5 . 1 . 1 ; h ) 代码审查单:在代码审查前应由 审查方编制。代码审查单应规定代码审查的要求、目 标、 方法及工作流程等。基本的代码审查单见附录 B中的 B . 5 . 1 . 2 ; 1) 代码审查问题报告单:在代码审查的过程中，当发现问题时，应由 代码审查人员填写。 代 码审查问 题报告单的格式见附录B 中的B . 5 . 1 . 3 ; J软件测试问题报告单: 在软件测试过程中，当发现问题时，应由 软件测试人员填写。 软件 测试问题报告单的格式见附录 C ; k ) 软件测试报告:软件测试结束后，应由测试方根据测试过程、测试结果等进行编制测试 报告的格式及内 容见附录D 或G J B 4 3 8 A -1 9 9 7 中的5 . 1 1 . 2 ; 1 ) 测试记录 ( 测试日志):测试方用于记录软件的测试过程、测试数据 、测试结果、测试处 理等。 4 . 5 , 2 测试文档的选择 4 . 5 . 2 . 1 软件测试过程中各阶段的测试输入文档和测试输出文档的选择见表 t o 表1 测试所需文档选择一览表 测试文档类别 软件测试类别 代码审查单 元 测 试软部件测试配置项测试系统测试验收测试 合同或协议 JJJJJJ 需求规格说明 JJJ J 设计文档 JJ 源代码 J 测试计划J JJJJ 测试说明A 代码审查计划J 代码审查单 代码审查问题报告单 代码审查报告 J血 软件测试问题报告单 盛 钡 U 试报告 JJJJJ 测试/ 审查记录 JJ JJJ J 注: J 表示必备文档:表示可选择文档或根据实际情况所产生的文档:一 表示不选文档 C B 1 3 6 0 - 2 0 0 2 4 . 5 . 2 . 2 测试文档的选择准则如下: a ) 对于较小规模软件的测试，可以在测试计划中描述测试说明的相关内容，而无需编制单独 的测试说明; b ) 对于较小规模软件的代码审查，在制定代码审查计划时，可将代码审查单的相关内容一并 考虑，而无需另行编制代码审查单; c ) 测试计划、 测试说明、测试报告、代码审查计划、 代码审查单、代码审查报告等文档的内 容和格式也可按测试委托方指定的格式或规定的要求编制。 4 . 6 基本测试工作流程 软件开发过程活动与软件测试过程活动的关系见图1 所示。 缺陷追踪 图1 软件开发过程与测试过程关系图 软件测试过程中所涉及的每个活动应按输入、 任务和输出的结构进行描述。测试工作流程包括 测试工作准备、制定测试计划、测试设计、 执行测试、测试结果判定与处理、 测试分析与评估、测 试报告编制七个阶段。 基本的软件测试工作流程及其活动见图2 所示。 本标准所描述的软件测试工作流程适用于第一章所述测试类型的软件测试，与所使用的测试方 法无关 。 C B 1 3 6 0- 2 0 0 2 测试设计，建立测试环境，确定资源、准备或生 成测试用例，确定测试规程，开发测试辅助程序 要代码审 测试结果判定与处理 测试分沂与评估 编制测试报告 缺陷追踪 图2 软件测试工作流程图 C B 1 3 6 0一 2 0 0 2 4 . 7被测 试软件 的处 置 4 . 7 . 1 方法 和程序 为了确保被测试软件的安全性、可识别性以及测试状态的确定性、可追溯性和配置管理的持续 性与一致性，测试方应制定被测试软件处置的方法和程序。 4 . 7 . 2 被测试软件的接收 被测试软件的接收要求如下: a ) 测试方在接收被测试软件时， 应检查被测试软件的状态及相关文档，填写被测试软件出入 登记表。被测试软件出入登记表格式见附录 E ; b ) 记录被测试软件的接收状态; c ) 被测试软件应由测试方样品管理员登记，专机/ 柜/ 媒体保管，且标志明显， 配置状态明确 配置标识清楚。 4 . 7 . 3 被测试软件的标识 被测试软件的标识要求如下: a ) 测试方在接收被测试软件时应进行清晰而显著的标识; b ) 被测试软件为单件或多件且己进行标识的， 只需在被测试软件出入登记表上进行标识即可; c ) 被测试软件标识应同媒体的标识保持一致，确保标识的唯一性、完整性和可追溯性。 4 . 7 . 4 被测试软件测试状态标识 被测试软件测试状态标识要求如下: a ) 待测试; b测试 ( 通过或不通过)。 4 . 7 . 5 被测试软件的移交 软件测试完毕后 ，测试委托方在被测试软件出入登记表上签字后，应由测试方将被测试软件同 软件测试报告一同移交给测试委托方。 4 . 8 测试的基本要求 软件测试的主要 目的就是判断根据软件需求规格说明及设计规格说明而实现的软件的正确性、 完备性、一致性、符合性等，并试图在下列各方面发现问题: a ) 软件需求特性及其相应的描述 ( 如不活动、 活动等待、 活动处理等信号); b ) 有效输入的需求规格说明书 ( 含接口需求规格说明书)或用户手册，必要时包括设计文档 和源代码等; c ) 与软件相关的使用及操作规程; d ) 算法、数据结构; e ) 软件控制逻辑的判定边界。 4 . 9 测试记录与控制 4 . 9 . 1 测试记录的内 容 测试记录应包含下列内容: a ) 测试合同评审记录与报告: b ) 测试计划、 测试规程与测试说明 等: c ) 测试过程数据: d ) 测试输入/ 输出数据; e ) 预期结果; f ) 测试结果; 9 ) 测试问 题报告单; h ) 分析与评估报告; C B 1 3 6 0 - 2 0 0 2 i ) 测试报告: J ) 测试过程中所形成的有关补充协议、纪要和问题说明。 4 . 9 . 2 测试记录与控制要求 测试记录与控制要求如下: a ) 测试方在测试过程中应形成完整的测试记录; b ) 测试方在测试过程中应如实地记录测试过程中的各种现象和输出信息，对于输出 信息过长 或过多的 情况，应逐一记录， 并进行详细的 说明; c ) 在现场测试过程中，如果测试驱动程序、 测试工具、测试用例、数据库等有变动或原代码 被修改，则应对修改前后的状态进行 比较记录，以便组织重新测试或回归测试。 4 . 9 . 3 测试记录管理 测试记录应按文件和资料的控制要求进行归档保存，确保测试的可重现性。测试记录可作为测 试报告的一部分提供给测试委托方。 4 . 1 0 测试偏离处理 4 . 1 0 . 1 当 测试过程中发生偏离规定和程序或出现分歧时， 测试方应按规定的程序进行及时的分析， 并采取有效的措施，防止事故的蔓延和扩大。 4 . 1 0 . 2 当 测试过程中发生偏离规定和程序或出现分歧时，测试方技术负责人或测试组长应组织有 关人员分析发生偏离规定和程序或测试分歧的原因和责任，制定整改措施，填写偏离规定和程序或 测试分歧纠正措施报告， 报告格式见附录F , 4 . 1 0 . 3 偏离规定和程序或测试分歧纠正措施报告按规定的程序批准后， 应由测试组实施纠正和处 理 。 4 . 1 0 . 4 当偏离规定和程序或测试分歧纠正影响 测试工作质量时， 应按规定的程序及时地书面反馈 给测试委托方。 4 . 1 0 . 5 必要时，应对偏离规定和程序或测试分歧的纠正措施进行评审。 5 详细要求 5 . 1 测试工作流程 5 . 1 . 1 测试准备 测试工作开始前， 测试方应统筹安排，作好测试准备工作。 在测试准备过程中， 测试方应就有 关事项同测试委托方进行协商并达成一致。 5 . 1 . 1 . 1 输入 测试委托方书面或 口头测试委托。 5 . ， . 1 . 2 任务 5 . 1 . 1 . 2 . 1 在接受测试委托后，测试方应与测试委托方在有关问题协商一致的基础上签定测试合 同。 5 . 1 . 1 . 2 . 2 测试方应按4 . 2 的 要求成立软件测试组， 明确测试组的 组成， 每个成员的职责、 权限及 工作方式。 5 . 1 . 1 . 3 输出 5 . 1 . 1 . 3 . 1 测试合同或协议以 及一系列相关的附加说明。 通常， 一个测试合同除一般条款外， 还应 对下列内容进行规定和说明: a ) 测试对象、范围; b ) 测试性质、目的: c ) 测试进度要求及工作安排; d )测试所依据的标准及通过准则; C B 1 3 6 0- 2 0 0 2 e ) 测试委托方和测试方应履行的义务和职责; f ) 技术保密与知识产权保护约定。 5 . 1 . 1 . 3 . 2 软件测试组织。 5 . 1 . 2 制定测试计划 测试方应根据测试特性和测试合同、协议等要求独立地或与测试委托方协商制定测试计划。该 阶段的主要工作是确定测试范围、测试项目、被测试特性、测试方法、测试进度和人员安排等 5 . 1 . 2 . 1 输入 应输入下列内容: a ) 测试合同、协议等; b ) 需求规格说明以及 4 . 5 规定的测试输入文档; c ) 测试委托方书面提出的有关要求。 5 . 1 . 2 . 2 任务 测试计划应规定下列任务: a ) 确定软件测试的范围、目的与项目; b ) 确定测试环境、测试工具和其他资源; c ) 确定测试方法; d ) 确定测试特性，所确定的测试特性应与软件的需求特性一致。这些测试特性是下列测试特 ,t集或其子集: 1 ) 功能与性能 特性; 2 ) 接口特性; 3 ) 附 加需求及相应规程; 4 ) 软 件状态; 5 ) 集成过程特征; 6 ) 输入/ 输出数据特性; 7 ) 选择包含于测试中的各要素以 及所要求的软件特性。 e ) 确定测试进度: f ) 审查相关文档; 9 ) 确定评价准则与通过准则。 5 . 1 . 2 . 3 输出 测试计划。为软件测试所建立的测试计划应以文件的形式输出。 5 . 1 . 3 测试设计 5 . 1 . 3 . 1 测试方应根据测试特性、 被测试特性和未被测试特性以及相关的要求独立地或与测试委托 方协商进行测试设计 5 . 1 . 3 . 2 应输入下列内容: a ) 测试计划; b ) 需求规格说明书; c ) 软件设计文档; d ) 被测试软件特性及相关软件信息; e ) 历史的或测试委托方提供的测试用例 5 . 1 . 3 . 3 测试设计应完成下列任务: a ) 建立测试环境、选择测试工具、方法和相关资源; b ) 确定测试顺序; c ) 准各或生成测试用例集: C B 1 3 6 0 一 2 0 0 2 1 ) 设计测试用例集的 层次结构; 2 ) 获得满足需求的测试规程; 3 ) 生成测试用例说明; 4 ) 完成测试用例的选择、设计与生成，同时进行设计说明 d ) 确定测试规程、测试输出及预期结果: e ) 测试辅助程序设计。 5 . 1 . 3 . 4 测试设计应满足下列输出: a ) 选定或建立的测试环境可以是原开发环境、 用户提供或指定的环境以 及为测试而指定的环 境或为移植性验证而指定的环境 对于需要固 化运行的 软件， 应在规定的固 件环境中实施 测试，对具有特殊要求的或需要根据测试特性而需要特别建立的 测试环境，应同 测试委托 方协商确定。必要时应对这种测试环境进行评审或确认: b ) 选定的 测试工具、 方法、相关资源以及一系列说明 和所选定工具、相关资源的操作规程: c ) 选择或生成测试用例集、测试用例说明、测试规程 以及一系列相关的附加说明，同时还包 括测试执行的预期结果。测试用例应满足如下要求: 1 ) 测试用例应包括输入数据、预期结果和测试规程; 2 ) 测试用例中的测试规程应包括测试用例的准备、初始化、执行步骤和中间过程以及结 束条件与标志; 3 ) 测试用例的数量应能保证测试覆盖的需求; 4 ) 覆盖被测试软件的技术规格书所要求的功能和性能; 5 ) 覆盖输入/ 输出 参数工作范围或定义域内的典型参数; 6 ) 覆盖所有的或规定的程序分支; 7 ) 应包括非法数据输入的测试; 8 ) 应包括连续时间的测试即动态测试: 9 ) 应包括对内存资源占用情况及程序运行时间测试; 1 0 ) 应包括经测试方和测试委托方认可的判据; 1 1 ) 保留全部测试用例，并作为被测试软件的配套技术文档; 1 2 ) 由测试委托方或被测试软件用户提供的测试用例应经测试方的评审或确认后方可使 用，舰艇指控系统情报处理软件配置项测试用例设计提纲可参见附录G d ) 满足规定要求的测试辅助程序及设计文档。 5 . 1 . 4 测试执行 5 . 1 . 4 . 1 软件测试执行步骤 软件测试应执行下列步骤: a ) 审查测试所要求的相关文档: b ) 必要时实施并通过代码审查; c ) 测试环境、测试计划、测试规程、测试用例等的评审与确认; d ) 编制或开发必要的测试辅助程序; e ) 按测试规程获得并验证所需要的输入数据，执行测试用例，运行测试; f ) 观察并记录测试过程、输出数据及其相应的状态和结果; 9 ) 根据每个测试用例的预期输出结果和实际运行结果， 判定该项测试是否通过， 若测试未通 过， 则应填写软件测试问题报告单。 待修正后进行回归测试或重新组织测试，直至测试通 过，回归测试的要求见附录 H 。必要时还应对所修正的测试项或软件项按附录 J的要求进 行强度测试; h ) 汇总测试结果和测试问题报告。 C B 1 3 6 0一 + 0 0 2 5 . 1 . 4 . 2 测试分析 使用测试分析工具执行的 测试流程见图3 所示 如果只希望得到被测试软件项的结构信息， 作静态分析即可， 但作动态测试之前必须通过动态 分 析。 被 测 试 软 件 分 析 结果 ( 程序结构信息) ( 程序复杂度信息 ) 动 杰测 试 雕工麟 分析 结 果 图3 使用测试工具执行的软件测试流程图 在任何时候设置了测试时间的程序段之后，应对程序进行全部的重新分析后再进行动态测试， 重新链接、运行之后即可得到程序段的执行时间。 5 . 1 . 4 . 3 测试执行 5 . 1 . 4 . 3 . 1 输入 测试执行应输入下列内容: a ) 测试计划; b ) 测试用例集、测试说明和测试辅助程序等: c )( 试支持资源; d ) 测试规程及说明。 5 . 1 . 4 . 3 . 2 任务 测试执行应完成下列任务: a ) 执行测试计划; I n C B 1 3 6 0 一 2 0 0 2 b ) 执行测试用例; c ) 执行测试规程; d ) 运行测试: e ) 记录测试过程、测试现象与测试结果; f ) 测试过程与测试结果分析与评估; 9 ) 判定测试结果。 5 . 1 . 4 . 3 . 3 输出 测试结果、测试记录以及一系列相关的附加说明。 5 . 1 . 5 测试结果判定与处理 应按测试规程获得并验证所需要的输入数据，执行测试用例，观察并记录测试过程、测试输出 数据及其相应的状态和现象，判定软件测试是否通过。若测试通过，则记录测试结果，转入下阶段 工作。 否则，未达到测试通过准则的软件，测试委托方应根据要求进行修改，在修改完成之后进行 回归测试或重新组织测试，直至测试通过。对于只需判断是否通过测试的软件， 在测试报告中 应明 确测试未通过的原因。 5 . 1 . 5 . 1 测试过程中的 故障分析与 处理 软件测试过程中的故障分析与处理一般按下列情况进行: a ) 测试规格说明或测试数据故障。改正错误后，重新执行该项测试; b ) 执行测试规程时故障。 重新运行未正确执行的 测试规程。 若仍有故障，则修改测试规程; c ) 测试环境中的故障。将测试环境修正后重新运行该项测试，或者预先设置异常终止情况， 然后进行终止情况核对; d ) 软件实现故障。修正软件实现错误或排除软件缺陷后重新运行该测试，或者预先设置异常 终止情况，然后进行终止情况核对; e ) 软件设计故障。修正软件设计并重新实现，在适当的时候修改测试计划、测试规程、测试 用例以 及相应的测试数据， 重新执行所有测试， 或者预先设置正常/ 异常终止情况， 然后核 对终止情况; f ) 软件集成故障。检查并分析原因，修改集成方法 ( 必要时应对这种修改进行评审或确认) 后重新集成，并根据修改情况调整或修改测试计划、测试规程、测试用例以 及相应的测试 数据，然后进行回归测试，并进行终止情况核 对。 执行测试规程活动内的控制流程如图 4 所示。 图4 执行测试规程活动内的控制流程图 C B 1 3 6 0一 2 0 0 2 5 . 1 . 5 . 2 终止情况核对 测试结果应进行下列终止情况核对: a ) 软件测试结果核对活动内的控制流程如图5 所示; 执行测试规程 需要附加测试吗? 不需要 异常处理或非正常终止 正常终止 评价测试过程于被测试软件 图5 软件测试结果核对活动内的控制流程图 b ) 软件测试结果的终止情况核对分如下两种情况: 1 ) 对测试过程的正常终止情况进行核对:根据完备性要求或测试记录，决定是否应增加 新的测试， 对于用过程性语言实现的软件， 应分析执行轨迹信息( 如变量、 数据流等) 。 若不需要附加测试，则转入软件测试评估阶段，编制测试报告; 2 ) 对测试过程的异常终止情况进行核对:若满足异常终止条件 如重要错误不能修正、 超时等)，则应将导致终止的特殊条件记录下来，同时记录未完成的测试以及未修正 的软件错误，然后评价软件的测试过程和测试结果。 5 . 1 . 6 测试分析与评估 应根据合同、软件需求规格说明、测试计划、测试记录、软件测试问题报告以及通过准则等来 分析并评估被测试软件的设计、实现、 集成是否满足软件需求规格说明 所要求的功能、性能、接口 以及健壮性、可靠性、安全性、可移植性、可维护性等要求。并对测试过程和被测试软件的测试特 性和测试结果按G J B 2 4 3 4 - 1 9 9 5 的 要求进行分析评估。 5 . 1 . 6 . 1 输入 测试分析与评估应输入下列内容: a ) 合同或协议; b ) 软件需求规格说明 ( 含接口需求规格说明); c ) 软件设计规格说明: d ) 测试计划; e ) 执行信息: f ) 核对信息; 9 ) 测试记录; h ) 软件测试问题报告; i ) 附加测试用例说明口 5 . 1 . 6 . 2 任务 测试分析与评估应完成下列任务: a ) 描述并评价测试状态; 1 3 C B 1 3 6 0 - 2 0 0 2 b ) 描述并评价被测试软件状态; c ) 描述并评价软件的测试过程; d ) 描述并评价测试环境、测试方法和测试工具。 5