兼容测试介绍及FAQ

兼容测试介绍及FAQ

1 兼容测试介绍

1.1基本介绍

   兼容测试服务通过云测试技术,在Testin云测真机实验室的海量终端中,将APP自动部署至移动终端,自动化执行测试任务,记录测试过程和结果,包含每个步骤对应的操作过程、截图、日志、性能指标等详细信息。服务分为标准兼容和深度兼容两项,其中:标准兼容通过界面的UI随机遍历和monkey测试组合,覆盖部分可测试页面,可以发现并定位安装问题和崩溃类异常;深度兼容通过录制自动化执行脚本,覆盖APP的核心功能,进行自动检测,深度发现并定位APP兼容性问题,包括安装问题、功能问题、UI问题和崩溃类异常。帮助企业解决由于兼容性问题而引起的用户投诉、用户流失、用户推广成本浪费等问题。

1.2 产品优势

1)   覆盖终端数广:云端部署数千台终端,覆盖市场主流型号及系统版本,最大限度保障App的兼容性

2)   自动化云测试能力:在Testin云测自主研发的工具上录制自动化执行脚本,通过云测试技术支持,在Testin云测真机实验室部署的海量终端上,自动执行测试任务。

3)   全方位测试报告:覆盖App的核心页面及功能,提供包含每个步骤对应的操作过程、截图、日志、性能指标等详细信息的移动应用兼容质量检测服务报告。

4)   Testin云测应用测试中心是唯一通过CNAS中国合格评定国家认可检测实验室认证的移动应用云测试中心。

1.3 应用场景

1)    突破企业内部设备不足、人员不足造成的兼容性问题遗漏。

2)    企业希望把有限的资金都投入在对缺陷的发现和修复上,进行保底测试。

3)   企业希望新产品上线,或软件每个新版本上线时,能够在绝大多数终端上稳定运行,不因为无法安装、无法运行、UI错乱,程序无响应、程序闪退等问题造成用户投诉,用户流失等问题。

4)    企业希望在某些特定的时期、特定的重点功能及模块上加大测试资源投入,但内部资源有限无法支撑。

 

2 兼容测试平台试用说明

2.1创建任务

登入Testin云测Saas平台官方网址 www.testin.cn ,如您没有账号密码可自行注册,之后我们提供的在线测试报告也将使用此账号查看!

       点击【测试服务】,选择深度【深度兼容测试】,跳转新页面地址,点击【立即体验】。

2.2深度兼容提测流程(应用)指导手册

深度兼容提测流程指导手册:(提测地址:https://www.testin.cn/task_deep/list.htm)

2.2.1登陆账号,选定【项目组】,点击【测试管理】-点击【应用管理】-点击【上传应用】


2.2.2选择【应用类别】,选择【应用分类】-点击【提交】



2.2.3弹出提示确认



2.2.4下滑至产品发版阶段,点击【兼容测试】-【点击开始测试】



2.2.5分AndroidIOS系统,根据对应的系统选择【开始测试】(注意区分兼容系统)



2.2.6再次选择【应用类别】和【应用的分类】,点击【下一步】



2.2.7点击选择本次要测试的服务(分国内、海外、自选机型)



2.2.8 选择本次测试的【测试时长】-填写【报告接收人邮箱】-填写基本【需求说明】(如有附件可在其他应用上传附件)




2.2.9   扩展测试(可选项),建议仔细勾选,然后点击【提交测试】




2.2.10    如果选择的是自定义机型则点击【下一步】




2.2.11    跳转到这个界面后,可点击筛选条件,按筛选条件筛选机型




2.2.12    选好筛选条件后,点击品牌旁边的方框,可全选筛选后的机型,点击添加已选机型,点击提交测试(安卓请筛选40款及以上机型,ios请筛选20款及以上机型




2.2.13    跳转成功提示




2.2.14 本次完成提测,等待验收报告。

2.3深度兼容(H5/小程序)提测流程指导手册

2.3.1 账号登录后,选定【项目组】,点击【测试服务】-点击【深度兼容测试】-点击【选择服务】-点击【WEB/H5服务】




2.3.2 分AndroidIOS系统,根据对应的系统选择【开始测试】(注意区分兼容系统)



2.3.3 分H5浏览器测试和微信小程序测试,根据对应测试需求选择对应服务(下图为浏览器提测),填写好红框中的信息(上传出可上传附件),填写完后点击下一步



2.3.4       选择要测试的套餐




2.3.5       选择本次测试的浏览器




2.3.6 点击【去提测】



2.3.7再次确认本次提测的信息,然后点击【确认提测】



2.3.8       确认提测后跳转到这个界面,可以看到刚刚提测的H5任务(如果没有看到刚提测的任务,可以点击深度兼容测试刷新该页面就可以看到了)




2.3.9       下图为微信小程序提测界面,同样填上红框中的基本信息后点击【下一步】




2.3.10 勾选本次要测试的套餐




2.3.11 点击【去提测】




2.3.12再次确认填写的信息后点击【确认提测】



2.3.13确认提测后跳转到这个界面,可以看到刚刚提测的H5任务(如果没有看到刚提测的任务,可以点击深度兼容测试刷新该页面就可以看到了)



2.3.14本次完成提测,等待验收报告。

2.4标准兼容提测流程指导手册

标准兼容提测流程指导手册:(提测地址:https://www.testin.cn/task_compatible/list.htm)

2.4.1 账号登录后,选定【项目组】,点击【测试管理】-点击【应用管理】-点击【上传应用】



2.4.2 选择【应用类别】,选择【应用分类】-点击【提交】



2.4.3 弹出提示确认框,点击【确定】



2.4.4选中标准兼容,点击【开始测试】。



2.4.5先填写任务描述-然后在设备类型中选择测试的类型-点击【已添加设备】



2.4.6可勾选品牌、系统版本、分辨率来筛选设备,最后点击【搜索设备品牌、型号】旁边的勾选按钮。点击右下角【确认】



2.4.7勾选测试选项中的测试方式和套餐时长,勾选报告通知方式,点击【提交测试】



2.4.8跳转成功提示




2.4.9本次完成提测,等待验收报告。

2.5查看报告

   登入Testin云测Saas平台,点击【测试服务】,点击【深度兼容测试】,点击对应项目的查看报告即可。

 

3 兼容测试平台常见问题以及处理方案

3.1我们需要提供什么样的安装包呢?Ios包我们没有企业证书怎么办?

安卓APP:提供apk安装包即可;IOS APP:建议提供企业版APPinhouse,即使用企业证书打的包);如无企业证书,可以提供内测版APPAd Hoc,即使用个人证书打的包),Testin云测测试时会对安装包使用Testin云测企业证书重签,重签后手机可以正常安装,不支持APP Store导出的包。

3.2 IOS可以通过扫描安装或者从app storetestflight安装吗?

可以,(testflight需要贵司提供账号)我们平台建项目安装包是必选项的,如果您给没有给安装包,我们就会上传一个默认的安装包,这样就会导致我们平台获取到的性能数据是我们传的默认包的,这样报告中的性能数据方面对您意义就不大了。

3.3兼容测试是怎么实现安装的?

安卓安装命令:adbios安装命令:ideviceinstaller。

3.4提测是在正式环境还是测试环境做测试呢?

正式环境和测试环境都可以。若有测试环境并且环境稳定可以支撑100款以上机型并发访问,建议用测试环境。如果正式环境账号不容易提供,或者有交易类或发布消息等可能会影响到您的真实用户,还可能产生脏数据。

3.5可以走sim卡注册流程吗?

可以,兼容测试有超过600sim卡,但是我们注册的账户是不能实名的,也没法做一些交易类的操作。

3.6能提供4G网络测试吗?

可以,我们目前有超过3004G流量卡,但是这个4G机型和wifi机型都是固定的,不能切换,一方面切换网络涉及人工操作,另一方面,非流量卡用流量测试成本高。

3.7我们晚上环境稳定些,可以指定只在晚上测试吗?

可以的,但是交付时间的话可能会长一些,大概延长24小时。

3.8兼容提测需要准备多少个测试账号?

同一个账号同时登录多个设备互踢或者测试场景中有一次性的操作,比如一个账号只有订单,提交完不能反复提交的,需要准备测试机型数1.5倍的账号数量;如果不互踢也没有限制,提供至少2个账号即可!如果账号互踢,没有一次性限制,账号比较难处理,可以提供100+账号即可。

3.9只能提供5个测试账号,切账号互踢,你们能不能测试?

您好,我们平台目前限制最低要并发40,建议的话最低40个每次,测试热门600并发40的情况下,预计交付周期在需求确认后的4-5个工作日交付,再低的话,交付时间太长,对您的影响比较大,另一方面,对我们的测试成本来说也提高很多,建议您再帮忙开通一些账号,保证不低于40的并发测试。

3.10 10分钟脚本能覆盖多少内容?

应用类10分钟脚本可覆盖大约80-100个点击左右,20-23张截图,游戏类75-90个点击左右,15-18张截图。

3.11为什么以10分钟脚本做为标准?

10分钟脚本为标准是因为我们经过大量测试发现,10分钟脚本可以满足大多客户的主要兼容性功能点测试需求,所以设定10分钟脚本为一次标准测试,如果您测试需求比较多,建议您用20分钟或以上的脚本,20分钟脚本扣2次配额。

3.12 你们热门机型的定义,机型怎么判断是热门600

目前我们定义的热门机型是根据友盟指数、艾瑞数据、以及各电商手机评测平台的热门程度,结合我司的大数据综合维度计算。

3.13性能数据是怎么抓取出来的?用什么工具抓取出来的?

安卓是通过在手机端安装检测工具itestin,利用系统命令dumpsys等去获取应用的性能数据。iOS是通过分析instrunenttrace文件。

3.14云测兼容是怎么调度手机执行测试任务的?

首先我们先确认好流程,录制完脚本会提交到平台,然后看当前的每个手机的任务量,有些手机任务比较多,可能排队的时间就久一些,有些手机任务比较少,可能提交到平台一会就排到了,如果这个手机是空闲状态,会直接执行,如果限制了并发100,第100个手机接到这个任务,后面的机型会自动跳过这个任务,等第一个接到您的任务的机型跑完才会允许第101个机型接您这个任务,所以并发越低测试时间也就会越长。

3.15脚本基于什么语言编写?

我们的脚本录制工具是我们公司自研的用java语言编写的itestin,测试框架以robotium为主,整合uiautomatormonkey等多套自动化测试框架,同时基于java语言封装了多套自定义jar包,实现了跨分辨率、跨进程操作支持,完美解决了h5 appnative appweb app和混合app等各类app的脚本支持,脚本语言是类似java语言,通过封装,Testin云测自定义了脚本规则,仅用于在Testin云测自动化测试系统进行操作。

ios脚本也是由公司内部人编辑,用javascript这个脚本语言编写出来的js脚本。

3.16 我们流程涉及扫一扫人脸、指纹识别、蓝牙连接、人机交互等,能支持吗?

兼容测试是基于脚本在真机实验室模拟真实用户点击实现的自动化测试,所有的真机都是在实验室内的,并且静态固定在机柜里的,除了资源限制,部分特殊人工操作的场景深度兼容一般都能支持,但由于涉及人工介入,需要先进行评估,您把具体需求和安装包邮件发到my.report@testin.cn,我们进行评估后给您方案。

3.17你们判断是否是bug的标准是什么?

和测试流程中约定的预期结果不一致即评判为异常。

3.18有的手机获取不到FPS帧率和GPU值是什么个问题?

通过合作厂商的API和系统命令获取FPSGPU数据,覆盖的设备比较有限。

3.19 报告里的流量是如何获取的?

流量消耗:通过android API层获取App UID相关的数据,每35s获取一次,包括上行、下行流量的速率、总值。

测试报告内最终给出的是全测试流程的总量,CPU、内存是流程的均值。

3.20安装时间是怎么计算的?

安卓adb install的返回时间,优化建议是压缩包体。

IOS 的安装时间是调用命令行完成ipa安装的时间。

3.21启动时间是怎么计算的?

从吊起应用包名至 onResume的时间,应用启动时间长短对用户第一次体验至关重要,同时系统对应用的启动、恢复等状态的运行时间也有严格的要求,在应用超时的情况下系统会直接关闭应用。例如在IOS系统下,对app运行时间的要求:  Launch 20 Resume 10 Suspend 10+ Quit 6 Background Task 10分钟。

3.22兼容测试报告数据内有些CPU占用峰值会有高于100%或空的数值呢?

安卓通过dumpsys命令去获取的CPU占用,IOS通过Instruments获取,对于多核的系统,返回数值会超过100%。

3.23什么是monkey测试?

A:开发的应用程序进行稳定性测试,monkey测试只在我们平台的标准兼容测试中,如果客户点击选择执行Monkey测试,那么在3分钟时间内,有1分钟执行monkey,但是由于执行monkey很容易把APP点击死掉,问题几乎不好定位,目前这块客户也很少去选择执行,因为APP发布后,很少有真的用户实际去快速乱点。

3.24什么叫串行测试和并行测试?

A:串行测试是一款一款设备的去执行,效率较慢,并行测试是多部设备同时在运行测试。

3.25性能数据是怎么抓取出来的?用什么工具抓取出来的?

我们在手机插在上位机上的时候,会自动在手机里安装我们公司的一个小工具itestin(不是脚本录制工具),通过技术手段去获取应用的性能数据。

Ps:客户本身自己在测试的时候,通过技术手段也是可以获取到APP的性能数据,开发成本比较高,我们做了四年的测试,用专业的手段在大量手机上运行的情况汇总出来,结果肯定也是更加准确。

3.26什么是堆栈信息?

程序在运行出错的时候,会有堆栈信息输出在log中,包括当时系统和APP的运行信息,可以帮助分析是哪个地方出错。

3.27很在意FPS的输出,但是我们的报告中只能获取一部分手机中APPFPS,怎么做?

我们的平台只能获取一部分手机中APPFPS,是由于手机本身的封闭及技术受限,只能获取这部分手机的FPS,客户如果有需要,可以选择按照我们的格式输出在日志中,我们可以全部通过技术手段拿出来,汇总在测试报告中,输出格式如下

Logcat 日志样例,注意”,”与空格


  1. 11-20 09:50:50.507 I/fpstracer(1000): TestinLog-FPS>>>> Type fpstracer, Frames 26
  2. 01-28 15:05:23.153 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0
  3. 01-28 15:05:26.154 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0
  4. 01-28 15:05:29.207 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 50
  5. 01-28 15:05:32.262 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 88
  6. 01-28 15:05:35.278 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 98
  7. 01-28 15:05:38.348 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 94
  8. 01-28 15:05:41.396 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0


3.28数据项说明?

TestinLog-FPS: 自定义tag。

Type: 获取方式。

Frames: fps值。

3.29线上测试报告中GC点代表什么意思?

GC点表示在某个时间执行了内存清理的动作,APP在运行的过程中觉得运行空间不够,就会自动去调用GC点,安卓系统会自动杀死一些优先级比较低的来腾出运行空间。




3.30 Testin云测的标准兼容测试是可以无限制提交吗?

Testin云测目前安卓的标准兼容测试和脚本测试是免费开放的,根据账户权限的不同,终端数量和测试速度都有所不同。以下为每个不同账号等级每天的免费次数。标准兼容每天一次100款。如果需要高可以联系销售对接。

3.31标准兼容测试的次数,时间,终端款数?

标准兼容每天一次100款安卓。测试时间2-8小时。如果需要高可以联系销售对接。

3.32标准性兼容测试对app有没有修改(签名)?

为进行Robotium自动化测试,需要对Apk用本地Android sdk中的debug.keystore进行重签名。

3.33标准兼容测试中随机点击的间隔时间是多少?

随机点击的间隔时间是1-3秒。

3.34报告方式会以什么方式呈现?发到什么地方(邮箱,QQ)?

Testin云测提供线上报告、ExcelPDF三种形式报告,测试完成后,会以邮件的形式通知您登陆查看、下载报告(目前PDF报告只针对于深度兼容测试和IOS测试),您也可以关注Testin云测的微信服务公众号(Testinyunce),绑定注册邮箱后即可在微信端接收测试报告。

3.35如果出现没有的机型怎么去测试?

如果您在我们机型库里没有查到机型,可以将您需要的机型发邮件至my.report@testin.cn,我们会进行记录并考虑采购。

3.36深度兼容能免费测试么?能测几次?

深度兼容测试目前没有活动,请留意官网或关注Testin云测微信号,随时关注Testin云测新动态。

3.37兼容性测试可试用的Android设备和IOS设备分别是多少个?

如果客户没有明确的要求,我们一般是测试150(不是TOP150)终端给客户看一下效果,如果有明确的要求,可与交付同学商量后尽量满足客户的需求,ios设备目前不支持试用,当然特殊情况也可以具体分析。

3.38兼容性测试免费和付费的主要区别?


区别点

深度兼容

标准兼容

测试脚本

测试专家根据您的要求以及测试经验帮您编写脚本,测试流程更加符合用户实际操作

自动遍历,缺乏流程逻辑

脚本时长

10分钟,更长,所以更准

3分钟

结果保障

会有专门的PM审核报告,排除设备、网络原因导致的非app错误,精准定位问题

运行有错误的会进行补测,对结果会有PM进行专门的审核,反馈准确的错误信息

没有,需要您根据结果来判断

人工分析的好处举例

会有人工介入,根据截图判断UI以及一些自动化测试无法判断的功能问题

例如:黑屏/花边/拉伸/错位,或者在某个界面上应该出现的按钮在某款机型上没有出现,这些都可以检测出来

没有人工分析,您通常需要根据截图来自己对问题进行判断

机型

Top机型,覆盖90%的活跃用户

100款空闲机型,比较随机

价格

连一款主流配置手机的价格都不到,省去了购买设备和部署设备的钱,以及投入的人力成本

免费

服务

有商务和PM一对一进行跟踪服务,可以把控流程及售后服务

没有专门的人员跟进

3.39兼容性测试设备上出现的问题是都能在机型上都复现吗?

不能保证完全复现,毕竟我们测试设备的环境和客户用的设备版本以及真机环境是有区别的,即使复现不出来,客户可以根据日志及截图来定位,证明当时的崩溃就是出现,同时说明在设备上有崩溃的潜在可能。

3.40性能数据对开发有什么帮助,抓log的工具对性能数据是否会有影响?

性能数据对APP肯定是有帮助的,例如启动一款APP耗时太久或者是运行的时候占用内存过高导致卡顿死机的话,会严重影响APP的体验,开发肯定会把性能数据控制在一个合理的范围内,日志是APP在运行时设备自动打出来的,我们的工具只是将其收集起来,不会对性能有影响。

3.41功能异常是怎么样判断的?是人工审查的吗?

功能异常是人工审查的,PM在交付之前就在测试机上线试用,确保可执行,这样PM就会记住正常的流程,在测试完成后的审核过程中结合正常流程做对比,就会发现功能异常,当然如果客户怀疑我们的流程,可以给我们提供流程图样例。

3.42流程和截图会不会和客户确认一下?

如果客户需要看的话,流程和截图可以客户确认下的,这就需要我们销售先和客户拿到一个基本的需求,自己过滤后交给交付的同学评估,细节方面需要沟通的可以创建讨论组及时和客户确认。

3.43客户希望所有的界面都能完全的跑一遍,不要有遗漏,兼容测试可以做到吗?

需要根据应用进行技术评估:实际脚本时长以及功能操作会否有难以自动化的部分,可以要求客户把App发给我们,兼容测试主要测试的APP和设备之间的兼容问题,脚本时长大概控制在10分钟,基本可以遍历全游戏的新手引导以及应用的主要功能点,如果有时长要求,可以满足,但是需要加成本。

3.44手游/应用测试内容;脚本有谁编辑?

脚本统一由Testin云测交付人员录制编辑。

游戏:安装、启动、一键注册、登录、新手引导(10分钟)、卸载标准流程以及游戏内部UI检测。

应用:应用标准场景测试:安装、启动、注册、登录、使用引导/主要功能场景(10分钟)、卸载标准流程以及应用内部UI检测。

3.45 TOP150TOP300TOP600分别对市场上多少的覆盖率?

50%-60%、70%-80%90%左右的主流机型覆盖。

3.46所有手机需要多少个脚本就可以执行任务了?

一个任务中包含一个APP和一个脚本,这个脚本是所有设备都可以复用,这也是自动化测试的优势。

3.47平台上的截图会保留多久?

付费的6个月,免费的2个周,我们服务器空间不够了就提前删除免费测试的结果。

3.48咱平台上的设备都支持googleplay的服务插件吗?

几乎都不支持。

3.49关于html5的兼容性测试?

h5的app开发,在一些平台商与技术标准公司的支持下,越来越趋向于组件化、模块化、简约化的快捷开发方向,为开发者们节约成本、降低门槛,因为其非常重要的一个特点是一个版本能适用于不同的终端、平台,甚至包括pc端和手机端。

作为专业的测试服务提供商,Testin云测在进行h5类型应用的兼容测试时,发现h5类型的app,通常会出现以下几类问题:

1. 重度的h5插件在部分手机上运行容易出现页面崩溃现象。

2. 部分页面如果样式表控制的不好,容易出现ui布局错位等问题。

3. 图片在页面中的适配问题较突出,尤其是整图加载不完全的情况。

4. h5的兼容测试除了h5页面与手机兼容的问题外,还有一个特殊一些的测试内容:h5页面在不同浏览器上的兼容测试,因为通常不同的浏览器开发商,会基于不同的浏览器内核引擎来自研,标准并没有统一好,也应会出现部分页面在一些浏览器上会出现问题。

基于以上,h5的兼容测试除了在不同型号手机上的兼容测试外,还有不同浏览器的兼容测试,通常需要做更多的兼容测试,其测试量会是普通app的数倍。

我们H5测试目前有两种方式:基于微信和浏览器。如果是基于浏览器,请在提测时指定,建议使用市场占有率教高的浏览器,非手机原生浏览器。

3.50 HTML5APP只是一个链接,这样可以抓到他的日志吗?

假如我们把这个链接输入到UC浏览器中,那么手机会抓取UC浏览器的日志,客户可以根据日志来分析运行HTML5页面的情况,就是说,目前咱们测试报告中的性能数据都是浏览器的性能数据。

3.51 Sim卡相关测试?

Sim卡相关测试目前支持300以下机器。SIM卡只用于app短信注册登录用,不做他用,不支持2G3G4G测试。因多个sim卡手机放在一起会互相干扰,建议需要sim卡注册的测试尽量提供相应账号列表,将sim卡注册功能放在bug探索或功能测试进行验证。

3.52测试过程中的支付是怎么样操作的?

三种情况,一,要求客户做测试的支付环境,虚拟的状态,之前有遇到过商城购买类的APP,我们测试的时候把里面的东西都买光了,客户中途找来说不测试了,这样造成很多麻烦,二,客户提供有游戏中货币的账号,这样购买的时候无需我们自己充钱,三、客户提供银行卡或者支付宝等支付账号,至少20个。

3.53什么是原生APP,什么是WEB APP

原生APP:

  •  直接下载到设备
  •  以独立的应用程序运行(并不需要浏览器)
  •  用户必须手动去下载并安装这些原生App
  • 有一些商店与卖场来帮助用户寻找你的App,目前app市场不计其数

WEB APP:

  • 从移动设备上的浏览器访问
  • 不需要安装额外的软件
  • 软件更新只需要服务器就够了
  • 因为现在没有商品或卖场提供这种App,所以搜索这些移动Web App不简单

3.54我们的日志是怎么样取出来的?

Android设备自己有方法去获取应用程序在安装启动运行卸载时所有的日志,我们会把这些日志用技术手段收集,不排除有很少一部分设备不打出日志,这个时候崩溃分析嵌入SDK就可以解决这个问题。

3.55为什么脚本时长限制是10分钟?

之前做过各方面的调研,10分钟脚本既能满足APP的兼容性需求,也能保证我们平台的任务产量。

3.56有问题想调试,应该要怎么做?

可以使用远程真机进行调试,地址:https://www.testin.cn/realmachine/index.htm

3.57兼容测试可以实现交互吗?

涉及人为交互需要具体评估。

3.58短信和图片验证码方式怎么通过脚本方式实现?

可以要求客户配合把验证码写死,比如说就是111111,如果不配合我们通过技术手段获取提取短信验证码里的数字及图片里信息,在我们这交付了不少客户都可以顺利交付,可以放心,但是目前只有300SIM卡,装在手机里,但并不是严格意义上的TOP300,仅仅是600款当中的任300,而且能够稳定交付的大概是200多,因为有一些sim卡会出现没信号等等之类的问题。

3.59怎么判断出UI问题的?

是通过人工审核的方式,交付人员从管理后台把每一个步骤的所有设备的截图放在管理平台里进行审核,这样直接找不同的地方,一般的UI问题比较明显,比如说是文字重叠,显示不全,花屏黑边等等,PM根据多年测试经验很容易能够分辨出来,如果客户比较纠结依据的准确性,可以提供给我们样例参考图。

3.60 ios性能数据都能获取出来吗?

自动化测试,但是由于IOS系统本身比较封闭的情况,通过现有的技术手段取不到所有性能数据,详情查看ios兼容测试报告。

3.61安卓跟IOS可以指定机型吗?至少指定多少款才可以执行?

安卓可以至少指定40款起做,ios至少指定20款起做。

3.62性能数据可以只获取进入某一个副本战斗的性能数据吗?

不能,目前我们还没有做区分出来,我们获取的是整个流程的性能数据,如果只查看对应阶段的数据,可以根据日志、截图及线上报告中的测试轨迹图进行具体分析。

3.63为什么会出现定位不到的问题?

因为有的手机本身不输出关键信息日志或输出信息不够详细,通过技术手段也就定位不到,可以嵌入我们的SDK,通过崩溃分析来解决这个问题。

3.64 单个页面加载时间、多个页面切换时间、游戏loading时间等性能数据获取

目前fps部分手机可以获取到,其余加载时间类性能数据暂时获取不到。如果客户想查看这部分相关数据,可以由客户自己技术输出相关信息到日志里,日志需按照我们指定的格式,我们会取出数据展现在报告里,详情联系交付人员。

3.65平台是怎么判断出来运行失败的?

主要是通过日志自动化判断,安装失败、崩溃闪退或者是无响应的时候手机会输出错误信息,根据这个报错,自动化判断为运行失败了。

3.66目前我们可以在做兼容测试的时候往手机里放入指定文件,或取出指定位置的文件吗?

增加测试前放入指定文件到手机、测试后取出指定文件功能。需要确认放入时间(安装前、安装后、启动后)、放入目录以及取出目录。说明:部分手机权限问题可能放入或取出失败,具体需求可以和交付确认。

3.67怎么保证安全性的问题?

首先我们做的是黑盒测试,是从用户角度去做兼容适配,给我们的安装包都是编译好的,Testin云测不会扫描、反编译App代码、不会泄露用户App信息第二,客户把安装包给到商务,商务转给PMPM进行脚本录制,接触的只有这三个角色,第三,设备在把任务执行完成后会自动全部卸载清除所有数据,第四,除非在用户同意的情况下,Testin云测绝不会公开用户的任何测试结果。

3.68测试报告中的可用RAM是怎么得来的?

报告中的RAM是指运行内存空间,ROM是物理存储空间,安装包是存储在ROM中,运行所占用的内存是指RAMROM就好比电脑的硬盘空间512G,而RAM就是电脑2G4G的运行内存,这俩数据是直接从设备出厂时候的配置文件中获取的,而可用的RAM空间是指总的运行内存减去系统及其他后台程序进程占用的空间,代表的是能够供当前这款APP运行的空间只剩下这么多,客户比较关注的也是这个数据,一些运行失败有可能是运行内存不够导致的,设备的可用RAM是实时获取的。

3.69测试报告中的行业数据是怎么来的?较优的这个数据是哪个APP

行业值都是我们取的在平台上近三个月测试的数据,分为应用和游戏两大行业,行业所有数据我们会每两周就会及时更新一次,理想值是用来给客户参考的,我们不能随意泄露其他客户的信息,所以不能告知具体是哪个app的数据。




3.70客户可不可以自己写脚本提交?

可以写脚本自己提交,但是不建议,因为我们的PM对适用我们平台的脚本有一定的经验,包括延时、截图点之类,做脚本这部分工作完全可以交给我们,客户仅提供自己的需求就好。

3.71为什么标准兼容测试中有很多未执行的?

APP在标准兼容测试过程中执行超过了8小时,任务会自动终止。由于付费客户优先级较高,选择的机器优先去执行付费的任务,导致标准兼容测试的机器8小时内完成不了,任务被强制终止则会出现未执行的机器。除此之外,如果在测试过程中因为手机电量不足被迫下线充电等原因也会出现未执行机器,而付费任务没有未执行情况,我们每次会多选择机型,比如top600,我们会执行670款,且任务没有八小时限制。

3.72标准性兼容测试是怎么做到的?  

Testin云测平台云端提供了4500+款智能终端,开发者只需将应用传到平台即可完成标准兼容测试,并获得详尽的测试报告。测试流程,通过在大量真机上运行RobotiumMonkey脚本,验证App在终端兼容、安装卸载、运行、功能、UI、安全软件兼容等维度下的兼容性,同时获取App在多个维度下的性能数据,供开发者参考。

3.73标准性兼容测试的时长?

2分钟UI遍历,1分钟Monkey测试,您可以使用脚本测试,支持至长30min自定义脚本执行时长。

3.74 H5能做标准兼容吗?

H5和native混合的App可以通过标准兼容做基础遍历测试,纯H5的建议用深度兼容测试,我们将为您定制测试流程。

3.75标准兼容测试流程是怎么样的?

提测流程:选择套餐配置上传待测包 >  选择机型 >提测成功。

3.76标准兼容测试为何提供账号密码了还登陆不进去?

标准兼容测试是属于随意点击进行的兼容性测试,因为每一款APP特性功能不同,所以不能保证100%APP都能成功登入。

3.77标准兼容测试为何两次测试结果的数据不一样?

为了帮助开发者发现更多的潜在BUG和问题,Testin云测的标准兼容测试采用的是智能随机测试的方式进行执行,相同的设备每次测试的路径也有可能不同,Testin云测的测试日志会记录每次执行的路径,并把真实的执行过程和结果反馈给开发者,不同的执行流程有可能会带来测试结果的不一样。

3.78标准兼容测试是人工测试么?

全程真机自动化测试。

3.79标准兼容测试可以指定流程么?

标准兼容测试的执行流程是随机的,深度兼容测试根据您指定的测试需求和流程,来进行测试并输出测试报告。

3.80标准兼容测试的运行时间可以加长么?

不能加长,如果需要长时间的测试采购深度兼容测试服务。

3.81如何分享报告?

点击测试报告右上角分享报告即可:

1.分享报告可以邮件分享,输入需要分享人的邮箱即可。

2.链接分享,公开报告链接,所以人都可以点开这个链接访问报告。

3.82标准兼容测试报告该从哪方面去分析,尤其是失败和崩溃的机型?

Testin云测报告会提供丰富的截图,详细Logcat日志,多维性能数据供您参考解决问题,建议您使用Testin云测的崩溃分析,捕获更深层次的日志。

3.83测试出的问题能出具解决方案么?

Testin云测测试结果可以帮助您快速的定位到您的应用在不同手机出现的问题,建议开发工程师来查看LOG日志,可以根据错误定位和LOG日志来查找出现问题的原因。

3.84安卓手机同款是否有多个版本?

根据该手机的热度不同,Testin云测平台对相同的热门为开发者机提供多个不同版本测试服务。

3.85付费方式?全款还是分期?

根据购买的服务和方式不同,支持在线直接购买和线下客户经理处购买,在线购买需要付全款,线下购买根据合同的金额不同可以按照合同约定来进行付款。

3.86是否支持APP拍照功能的兼容测试?

支持使用拍照功能,由于设备在机柜上固定,不支持拍具体的内容。

3.87测试报告的错误分类

Testin云测兼容测试错误分类、判定:

1)安装失败:App在测试过程中出现安装不成功现象。

2)启动失败:启动后在未做任何操作前App出现的失败情况,如启动闪退、启动卡死、启动后资源加载失败等。

3)运行失败App运行测试过程中出现的无法继续运行的失败情况,如运行闪退,运行过程中无响应、运行过程中卡死等。

4)功能异常:在App运行测试过程中出现的可以继续运行的失败情况,如页面加载失效,无应有的引导等。

5)UI异常:   App运行测试过程中出现的UI展示异常的情况,如黑屏、花屏、白屏、文字异常、展示缺失等。

6)待优化:   App运行测试过程中出现ANR,但未报出错误日志的情况。

3.88 Android 常见错误分类

1)ANR(Application Not Responding),发生该异常时,Android 设备通常会弹出程序 xxx 无响应,是否等待的提示框。

发生原因

a)应用主线程卡住,对其他请求响应超时

b)死锁

c)系统反应迟钝

d)CPU 负载过重

2)JAVA Runtime Error,发生该异常时,Android 设备通常会弹出程序 xxx 意外终止,是否立即关闭的 提示框。
常见错误

a) NullPointerException
b) IndexOutOfBoundsException
c) IllegalArgumentException
d) IllegalStateException

3)NDK Error(Native Development Kit),发生该异常时,程序在 Android 设备上都会立即退出,即通常所说的闪退,而丌 会弹出程序 xxx 意外终止,是否立即关闭之类的提示框。

常见错误

a) 初始化错误

b)访问错误

c)内存泄露

d)参数错误

e)堆栈溢出

 f)类型转换错误

 g)数字除 0 错误

Android 日志分类:

1)  V: verbose

2)  D:debug

3)  I:information

4)  W:warning

5)  E:error

6)  F:fatal error