BUG探索测试FAQ

BUG探索测试FAQ

1.如何保证众测所使用的手机型号是开发者所需要的?
不支持手机型号指定,指定一两款还是可以尽量满足需求,但是指定多了的话,不好交付,毕竟功能测试和兼容测试要区分开,BUG探索主要是想看功能点有没有问题,兼容测试就是APP和机型之间的兼容适配,如果客户对机型有要求,可以选择兼容性测试或者是可用性测试。

2.Bug探索发现的Bug,是不是在其他机型上都能百分百复现?
我们会提供当时发现BUG的证据,确保当时在测试者的设备上出现BUG,但是不能保证所的设备也会百分百出现BUG,毕竟是手机的测试环境不一样,且修复完成后,由于测试者不可控,不好实现在之前设备上的复测,现在的执行结果把必现和偶现区分开,测试者发现的bug,都有测试专家进行审核,用的手机几乎都是主流的设备,所以说如果在测试者及测试专家的设备上都必现的出来的基本可以判断为必现,如果在测试专家的手机上没有复现出来,基本就可以判断为偶现了,但都会提供测试当时测试的证据,现在如果客户不希望我们提供偶现的BUG,须提前和交付说明白。

3.众测的产品保密性
首先开发者把产品拿出来测试就会对产品有加密处理措施,产品给我们测试一般都是在快发布阶段,比较好控制,而且应用和游戏本身破解及复制就不容易,其次我们的测试者在被招募时都签订一个保密协议,况且他们都是资深测试者,基本的职业操守是有的,再者我们可以和客户签署保密协议,但是并不能完全保证一定不会泄露,即使是客户公司内部的测试也不好完全保证,如果客户特别在乎保密性,还希望我们商务提前和客户说明这点。

4.测试者一定要保证在10名左右吗,可否增加人数?这样交付时间会有改变吗?
基本10名测试专家是可以满足产品的BUG探索测试,可以达到所需的基础测试的广度和深度,现在团队人数几乎是20人,但是由于是测试专家来把控测试流程,他们一般会给10个人左右的来做测试,一般不和客户强调是多少人做测试,如果想卡死就是20人来做测试,我们可以基本满足,但是和PM要沟通好,还有就是客户如果想达到较高要求的广度和深度可以推用例测试。

5.我们的探索测试执行时长大概是多久来保证深入去执行探索测试?
我们给测试者的探索测试时间是6-8小时去测试,但是具体时长还是因人而异。

6.众测有多少PM,一天能执行多少任务?
现在公司的PM有20人左右,他们平时做的主要工作是审核及管理监控测试专家和测试者,测试专家达到1000+,专业测试者达到1万+,普通测试者达到16万+,所以说测试专家1对1服务,我们现有的资源池可以同时执行上千个任务,目前我们公司一天执行的任务数大概是50-100个之间。

7.测试报告能否对接到别人BUG管理库当中去?
目前还没有实现。

8.测试专家是怎么抓LOG的?通过什么工具?
一般的测试者都知道如果打印log,当然我们为了结果准确性,也在众测官网平台上提供一些工具帮助测试者去抓取证据,比如android日志截取工具及其他截图录屏软件等等。



9.功能测试或者bug探索测试里的日志是整体的吗,包括按安装、启动、运行及卸载的所有日志?
只有致命级的BUG会有日志,一般是只截取崩溃闪退那里的日志。

10.客户公司内部的人执行bug探索测试和我们testin执行有什么区别?
首先,公司内部执行bug探索测试可能会影响其他工作,或者说精力不够,其次,我们都是专业的有经验测试者从用户角度去执行测试,并将测试报告进行汇总,然后,公司内部的人长期接触自己产品,会有一些思维定式,失去探索测试的意义。

11. Testin平台招募专业QA测试人员,都从事过软件测试?
普通测试者:在公司众测平台上提交资料注册申请并审核成为我们的普通测试者,普通测试者人数已达到16万+。 专业测试者:根据做任务的数量及质量效率等等多方面的审核,普通测试者会升级成为专业测试者,目前我们的专业测试者人数达到1万+。 测试专家:根据真实履历审核并经过严格培训考核后,专业测试者会升级为测试专家,这些测试专家至少有3-5年以上的测试经验,1年以上管理经验,目前测试专家人数达到1000+。 目前1个测试专家配置20人数左右的专业测试者(有的能力较强会不足20人),组成一个虚拟的团队,由这个team为客户服务并交付测试报告,业务执行方中的专业测试者均来源于测试专家带领的虚拟团队。

12.游戏的bug探索测试怎么保证深度能达到开发者要求的深度?
可以让客户提供高级账号,保证所有的功能都开放,这样直接登录进去不用花大量的时间去打级.

13.为什么要做等级划分?依据是什么?
直观展示缺陷分布,为开发快速了解软件质量和判断修复优先级提供参考,对于开发来说,时间比较赶的话是优先去修改bug等级较高的 我们是根据BUG对app的影响程度划分的等级,依据如下 致命级:影响程序运行的bug,程序无法跑通,系统无法运行 例如:崩溃或严重资源不足、应用模块无法启动或异常退出、循环报错、无法退出、支付漏洞等 严重级:造成用户完全无法完成操作的bug,但不会影响到系统运行 例如:功能无法实现、点击无效、内容无法显示、数值计算错误、功能报错等 缺陷级:用户可完成操作,但操作受到阻碍的bug 例如:操作被遮盖,内容显示不全等 瑕疵级:对用户使用基本不影响的bug 例如:文字描述不清晰、重点功能不方便查找、界面颜色搭配不好、文字排列不整齐、出现错别字等 建议级:对用户体验造成影响的建议 例如:不符合用户常规使用习惯、引导方面不够明确等。

  14.测试专家和客户进行沟通后会给客户一份测试计划,客户确认后才会开始执行任务,测试计划的作用是什么?
测试计划是我们bug探索测试交付过程中的亮点,首先可以让客户更加明白我们的产品服务,其次是让测试专家更加了解客户的需求,这也是让客户增加对我们测试专家的信任。

15.BUG探索的使用的是什么网路?
支持SIM卡和WIFI网络。