手机软件测试要点.ppt

手机软件测试要点,2012-3-12 刘玉坤,目 录,（一）UI界面风格是否符合界面规范设计 （二）UI界面大小是否与界面设计一致 （三）UI界面标题是否正确以及是否与其他界面标题命名规则一致 （四）UI界面有无错别字 （五）UI界面各个功能按钮是否会遗漏或超出操作按钮功能范围 （六）UI界面各个功能按钮风格是否符合界面规范 （七）相关指示信息风格是否符合界面规范 （八）用户通过用户界面输入信息,（九）系统提示信息格式是否符合提示信息规范 （十）当前界面被打断（后）的显示 （十一）瞬间界面执行其它操作 （十二）连续操作 （十三）各界面来电的冲突的验证 （十四）特殊界面来电的冲突验证 （十五）文件传输的相关的验证 （十六）buffer值的相关验证 （十七）多媒体文件的验证 （十八）动态测试要点 （十九）测试环境的搭建,（二十）内存溢出测试 （二十一）手机软件数据库测试 （二十二）兼容性测试 （二十三）用户环境极限下测试 （二十四）用户环境极限下测试 附:测试模式、测试习惯的灵活转变,（一）UI界面风格是否符合界面规范设计,1）主菜单界面focus是动态还是静态的、若是动态的如何动（顺/逆时针转动、转动几次）； 2）List界面Item高亮与未被高亮的区别，诸如名字过长高亮后是否滚动显示、滚动显示又是否完全等；,例如Sekito-wap的主菜单中，选择框为逆时针转动的动态框，且每次会转动5次，若没有操作会自动返回Idle。 例如安卓百合中个人详细资料页中的昵称高亮后会滚动显示。如,（二）UI界面大小是否与界面设计一致,1）主菜单界面的光标为一个动态的选择框，需参照UI注意此框的大小,例如：检查主菜单选择框的大小可先将框高亮Settings上，在框的右边线和下边线对应的手机屏幕上用笔画上，然后将框移至Message和Phonebook上，观察其框边的大小情况，其他界面area的大小也可按此法验证；（当然此法只能简单的测试一下选择框的大小问题，毕竟如果Message的左边框已在画线的左侧的话，则一定是有问题的）,（二）UI界面大小是否与界面设计一致（续）,2）某些编辑界面的边框与右侧的滚动条靠得很近，当编辑的内容接近右侧边框时，继续输入，输入的内容可能会与边框重叠甚至超出边框；,例如：在自我介绍的文本编辑界面，当文本或字符等的输入已靠近Editor area的右边框，继续输入，根据将要输入的字符的大小，有些可能造成不能够自动换行而超出Editor area边框的问题。,（三）UI界面标题是否正确以及是否与其他界面标题命名规则一致,1）容易被忽视的某些程序中的editor界面（百合服务中的红豆充值editor界面等）的标题是否正确,例如：安卓百合-百合服务中的红豆充值页面标题是否体现红豆充值字样，不能出现与红豆充值无关的标题（如：水晶百合）,（三）UI界面标题是否正确以及是否与其他界面标题命名规则一致（续）,2）非中文环境下，多个单词的菜单名，非第一个单词的首字母的大小写问题，需严格参照Wording比较测试；再者，即使可能手机上的显示与Wording相同，仍可出于一致性角度多加考虑 3）注意除标题栏之外的固定文字显示,例如：在Settings中，若“电话模式”拼写成“Phone modes”，而下面的“省电设置”却拼写成“Power Saving”，那么于一致性方面也是有问题的。 例如基本资料界面各项所对应的文字介绍,（三）UI界面标题是否正确以及是否与其他界面标题命名规则一致（续）,4）同一菜单中，相同情况下所弹出的提示框的内容也需要仔细检查,例如：在更多中，如果看过我的和我的收藏均为空，但是两个的popup却一个是“List is empty”另一个是“No record”，那也是有一定问题的,（四）UI界面有无错别字,1）一些时态/单复数方面的拼写问题，+ed,+ing ,+s/+es等 2）某些单词中有双写字母的拼写问题； 3）某些popup界面中形容词和副词的合理使用,例如：使用蓝牙接收文件后的提示为“*.Received”，但是当同样使用蓝牙发送文件成功后的提示却是“*.Send”，显然时态上出现问题。 例如：“Settings”拼写成“Setings”,“Dialled call”拼写成“Dialed call”等。 例如： “ Setup successful”被拼写成“Setup successfully”等问题。,（五）UI界面各个功能按钮是否会遗漏或超出操作按钮功能范围,1）一些返回键应返回响应的上级页面，有时可能返回到主界面 2）收件箱的编辑按钮，点击编辑应进入删除消息页面，并编辑按钮应变为取消按钮，有时可能漏掉,（六）UI界面各个功能按钮风格是否符合界面规范,1）注意区分不同界面RSK位置的显示，有的是Back，有的是Cancel 2）注意某些Sound list界面，播放一个sound时LSK 位置软键显示的变化,例如：在PC/Bluetooth等数据交换界面RSK位置通常是“Cancel”，而非上述界面多为“Back”，再者需注意参照UI检查RSK位置软键的有无。 例如：在My data/Ring等界面试听铃声时LSK位置没有软键显示，而播放时更需追加方向键的测试，因为较容易出现执行方向键后LSK位置软键显示错误等问题。,（六）UI界面各个功能按钮风格是否符合界面规范（续）,3）同一界面在不同的语言环境下，显示的正确性,例如：不同语言环境下进入PB、SMS、My data中的Memory status，由于不同语言拼写长短的原因可能导致显示上的问题,（七）相关指示信息风格是否符合界面规范,1）在任何界面，Status bar都会正确的在其位置显示 2）蓝牙开启后不同状态时，其图标显示的差别,例如：开关机的过程中，起popup界面，拨打电话、通话中、call end界面，数据传输等界面都需要注意Status bar显示的有无和正确性。 例如：蓝牙传输文件中、通话中、搜索蓝牙设备时，图标显示的差异性和正确性。,（七）相关指示信息风格是否符合界面规范（续）,3）MMS和WAP工作时，Line attach图标的正确指示 4）Pc tool的等待界面和传输界面的图标的差别等,例如：进入WAP主菜单Line attach图标不会显示，打开网页时Line attach图标会显示，然后停止Linking， Line attach图标仍然会显示并直至退出WAP菜单。 例如：Pc tool等待图标是静态的，而传输文件时是动态的。,（八）用户通过用户界面输入信息,1）各种可输入界面要注意的测试点,例如：输入刚好等于字数限制的正确信息并提交，手机提示提交成功，所填信息能够正确保存，且各area的显示以及popup的显示是否正确； 例如：输入等于字数限制后继续输入，各area的显示以及popup的显示是否正确； 例如：输入空信息并提交后，各area的显示以及popup的显示，若为必填项相关提示是否正确； 例如：输入非法信息（该输英文的输中文等）并提交，各area的显示以及popup的显示是否正确； 例如：输入各种混合字符并提交，各area的显示以及popup的显示是否正确；,（八）用户通过用户界面输入信息（续）,2）用户通过用户界面输入信息 输入略超过字数限制的正确信息，提交 1. 所填信 息不能正确保存到相应的数据库表中2. 客户端提示字数超长3. 引导用户定位超长输入 3） 用户通过用户界面输入信息 输入略少于字数限制的正确信息，提交 1. 所填信 息正确保存到相应的数据库表中2. 客户端提示提交成功,（八）用户通过用户界面输入信息（续）,4） 用户通过用户界面输入信息 输入非法字符，提交 1. 所填信息不能保存到相应 的数据库表中2. 客户端提示有错误输入3. 引导用户定位错误输入 5） 用户通过用户界面输入信息 输入为空，提交 1. 应有必填项判断2. 客户端提示 必填项不能为空3. 引导用户定位必填项4. 所填信息不能保存到相应的数据库表中 6） 用户通过用户界面输入信息 该输入汉字的输入英文字符，提交 1. 客户端提示 错误输入2. 引导用户定位错误输入项3. 所填信息不能保存到相应的数据库表中。,（九）系统提示信息格式是否符合提示信息规范,1）提示信息的拼写，其后的标点符号，提示信息框的大小、提示长度（时间上），提示信息可否被any key打断以及打断后的正确返回 2）在起popup的界面，软键区有的仍然有按键的icon显示，有的没有，需严格按照UI检查,3）语言选择后起的popup是何语言，需严格与UI比较测试,（十）当前界面被打断（后）的显示,1）在各种编辑界面（时间的编辑、文本的编辑等）来/拨出电话，来电/拨出界面显示的是否正确，挂断电话后编辑界面是否恢复为来电前显示，已输编辑内容是否不变,例如：在蓝牙设备名编辑界面（或其他名字不可为空的编辑界面），将编辑的内容Delete all或将编辑的内容Delete all并按下CSK时，来一电话，接通/挂断后编辑内容的正确性；又如，在蓝牙耳机与手机连接状态下，编写短信过程中使用耳机拨出电话，接通后再挂断,（十）当前界面被打断（后）的显示（续）,2）在有高亮条的List中来电，挂断/接听后，高亮位置是否不变 3）在有选中框（设置开启/关闭或是设置来电/SMS/MMS等铃音）界面，挂断/接听后，选中项是否不变,例如：在Missed call list界面，来一电话，未接通对方即挂断后，检查高亮位置的正确性。 例如：在任意键接听电话的设置界面，选中项为“Off”但高亮在“On”上，来一电话，检查接听/挂断后高亮位置的正确性。,（十）当前界面被打断（后）的显示（续）,4）某些界面按LSK起Menu时，上一级的界面仍停留在新起界面的下面，此时需同时关注上下界面的显示情况，以及在此种界面出现后的一系列冲突等问题 5）电源插拔、意外关机、待机唤醒,例如：在MMS中起的Menu，上一级界面还会停留在底层，而此时来Incoming call等事件的冲突需要格外关注一下。 待机唤醒后，应用程序是否仍是待机前状态，注意是否会重复刷新，引起流量增加,（十）当前界面被打断（后）的显示（续）,5）无操作3秒后会自动消失的popup被打断的检查 6) 应用程序运行过程中，接听来电或者接收短信后，应用程序是否仍保持原始运行状态,例如：提示操作结果执行情况的popup，当测试按任意键打断的时候需要对照冲突表区分任意键与Pwr的区别，并注意返回界面的正确性 例如：运行非诚勿扰游戏过程中，接听来电，阅读短信，游戏过程是否被中断，是否需要重新开始游戏,（十一）瞬间界面执行其它操作,1）启动某个模块的同时做关闭操作 2）在某些操作的瞬间来事件或执行其它操作,例如：正在进入camera时，按power键退出 例如：在通话中各个提示界面瞬间再来电，拒接,（十二）连续操作,1）注意在某个事件中连续按键（此事件的启动和之后的按键是有关联的）；,例如：正好按了多次挂断电话键时，来电，看是否会拒绝来电,（十三）各界面来电的冲突的验证,1）任意界面来电，注意来电界面的显示 2）特殊操作后的界面,例如：标题、软键区、大头帖、姓名、号码；来电提示音：铃音、振动、振动与铃音同时存在时的同步； 例如：通话中群发短信时通话结束，短信转为后台发送，在idle再次进行打电话或发短信的操作0,（十四）特殊界面来电的冲突验证,1）某些动态（包含player、JAVA游戏、wap下载等）界面来电的冲突验证,例如：Mydata中播放短片，根据低层处理注意5个不同点来电冲突 1.开始播放，正显示标准图片时来电 2.开始播放，正显示短片第一帧时来电 3.播放中来电 4.播放完毕，正显示最后一帧时来电 5.播放完毕，正显示标准图片时来电,（十五）文件传输的相关的验证,1）被传输文件的特性 2）mydata中文件的不同来源,例如：mydata中对文件名为特殊符号、最大值的文件的编辑、传输； SMS中内容满、内容包括特殊字符、内容全为特殊字符的短信的发送、接收、读取等操作； PB中联系人的各项信息，包括最大值、特殊字符内容的编辑 例如：MMS中保存、WAP中下载、PCTool中传输、QPST中传输、Camera拍照保存,（十五）文件传输的相关的验证（续）,3）多种介质之间 4）通过多种方式,例如：与测试机、对比机、电脑、笔记本、TFlash之间 例如：BT、MMS、EMAIL、PC TOOL、红外线、Tflash等,（十六）buffer值的相关验证,1）camera在特殊环境、质量设置、分辨率设置等情况下拍摄 2）PC TOOL传输远远超过极限值范围的文件,例如：在强光下拍摄艳丽的风景 例如：PC TOOL支持最大传输文件的大小为300k，验证传输1M的文件看是否有正确提示,（十七）多媒体文件的验证,1）各种分辨率的图片 2）各种大小的图片 3）各种格式的图片 4）已损坏的图片,例如： VGA、SVGA、XGA、SXGA、SXGA+、UXGA 例如：0、最小值、中间值、最大值、远大于最大值的值等。 例如：GIF89、GIF87a、JPG、BMP、WBMP、PNG等 例如：更换了扩展名；被破坏无法打开的文件。,（十七）多媒体文件的验证（续）,1）各种采样率的声音文件 2）各种bit_rate的声音文件 3）各种大小的声音文件 4）各种格式的声音文件 5）已损坏的声音文件,例如：32000、44100、48000等 例如：112、128、160、192、224、256、320、32、40、48、56、64、80、96等 例如：0、最小值、中间值、最大值、远大于最大值的值等 例如：AAC、AMR、IMY、MID、MP3、WAV等 例如：更换了扩展名；被破坏无法打开的文件。,（十七）多媒体文件的验证（续）,1）各种帧速率的视频文件 2）各种视频采样大小的视频文件 3）各种大小的视频文件 4）各种格式的视频文件 5）已损坏的声音文件,例如：32000、44100、48000等 例如：112、128、160、192、224、256、320、32、40、48、56、64、80、96等 例如：0、最小值、中间值、最大值、远大于最大值的值等 例如：3GP、MP4等 例如：更换了扩展名；被破坏无法打开的文件。,（十八）动态测试要点,1） 测试数据是否具有一定的代表性 2） 测试数据是否包含测试所用的各个等价类（边界条件、 次边界条件、空白、无效） 3） 是否可能从客户那边得到测试数据 4） 非（3）的情况下，所用的测试数据是否具有实际的意义 5） 是否每一组测试数据都得到了执行 6） 每一组测试数据的测试结果是否与预期结果一致 7） 文件的属性是否正确 8） 打开文件语句是否正确,（十八）动态测试要点（续）,9） 输入/输出语句是否与格式说明书所记述的一致 10） 缓冲区大小与记录长度是否匹配 11） 使用文件前是否已打开了文件 12） 文件结束条件是否存在 13） 产生输入/输出错误时，系统是否进行检测并处理 14） 输出信息中是否存在文字书写错误和语法错误 15） 控件尺寸是否大小适宜 16） 控件颜色是否符合规约 17） 控件布局是否合理、美观 18） 控件TAB顺序是否从左到右，从上到下,（十八）动态测试要点（续）,19） 数字输入框是否接受数字输入 20） （19）的情况下、数字是否按既定格式显示 21） 数字输入框是否拒绝字符串和“非法”数字的输入 22） 组合框是否的能够进行下拉选择 23） 组合框是否能够进行下拉多项选择 24） 对于可添加数据组合框，添加数据后数据是否能够得 到正确显示和进行选择 25） 列表框是否能够进行选择 26） 多项列表框是否能够进行多数据项选择 27） 日期输入框是否接受正确的日期输入,（十八）动态测试要点（续）,28） 日期输入框是否拒绝错误的日期输入 29） 日期输入框在日期输入后是否按既定的日期格式显示日期 30） 单选组内是否有且只有一个单选钮可选 31） 如果单选组内无单选钮可选，这种情况是否允许存在 32） 复选框组内是否允许多个复选框（包括全部可选）可选 33） 如果复选框组内无复选框可选，这种情况是否允许存在 34） 文本框及某些控件拒绝输入和选择时显示区域是否变灰或按 既定规约处理 35） 密码输入框是否按掩码的方式显示 36） Cancel之类的按钮按下后，控件中的数据是否清空复原或按既定规约处理,（十八）动态测试要点（续）,37） Submit之类的按钮按下后，数据是否得到提交或按既 定规约处理 38） 异常信息表述是否正确 39） 软件是否按预期方式处理错误 40） 文件或外设不存在的情况下是否存在相应的错误处理 41） 软件是否严格的遵循外设的读写格式 42） 画面文字（全、半角、格式、拼写）是否正确 43） 产生的文件和数据表的格式是否正确 44） 产生的文件和数据表的计算结果是否正确 45） 打印的报表是否符合既定的格式 46） 错误日志的表述是否正确 47） 错误日志的格式是否正确,（十九）测试环境的搭建,尽量使手机贴近用户使用环境，在各个设置不为Default下测试，诸如桌面（或来电铃音）为pc tool或下载的图片（铃声）而非预置图片（铃声），phone mode为非normal mode，phonebook/SMS/Mydata不为空等，这样的测试环境较之手机Down过新版本后的Preset设置可能更加容易出现和发现问题。,附:测试模式、测试习惯的灵活转变,例如：发送一个图片或铃声，多数人的模式可能是去Message中New一个MMS，然后插入要发送的附件，但是也有人就会先去到My data中选择要发送的文件，再选择via MMS来发送，同一个目的，由于操作步骤的不同，结果可能不尽相同； 当在一个较为“深”的界面想要退出来进入其他界面时，多数人可能的操作会是按Pwr回Idle，再从新进入要进的界面，这样的测试习惯会使一些必要的操作被漏掉，“如何进入就如何退出”，因为短按Pwr回了Idle于测试是方便了很多，但是较之一级一级的退出，中间的许多界面被忽略掉了，例如按Back的回退可能会出现高亮位置错误、返回时非一级菜单等问题,（二十）内存溢出测试,存储大量的用户资料，再通过一写特殊手段使内存不能完成相应的命令。,夫妻相中收藏夹存入大量的用户信息然后反复上下滑动使手机内存大量消耗直到不能正常显示信息内容。,（二十一）手机软件数据库测试,将用户软件已有的一下照片文件删除掉，不卸载软件、不删除软件数据库；运行软件查看是否会重新加载以前所有的用户资料,夫妻相将照片删除，face.db不动，在运行-会重新加载删除的图片,（二十二）兼容性测试,1）手机屏幕大小分辨率的兼容 网络兼容性测试,WVGA：800*480 QVGA: 320*240 VGA: 640*480 HVGA: 480*320 WXGA: 1280X800 Wifi、3g、2g、无网络,（二十三）用户环境极限下测试,1）有无sd卡 2）有无sim卡 3）用户存储空间已满,