专访Testin张鹏飞：深耕手游测试专业化服务

作为手游测试服务的鼻祖，Testin提供包括从手游开发阶段，测试阶段，发布阶段到推广阶段等一系列完整的手游测试服务，包括手游内测，功能测试，体验测试，兼容测试、BUG探索测试、真人压力测试以及超强悍的崩溃分析+，涵盖了移动游戏测试的各个环节。

数据表明，Testin云测已服务超过两万家的手游开发商，其在移动游戏市场占有率已经超过90%。随着移动游戏的快速迭代和发展，Testin云测在游戏的测试上也投入的更多，目前Testin云测已经采购超过5000款的移动终端来满足日益增长的游戏产品。日前，Testin联合创始人张鹏飞于2015第十一届TFC开幕当日，接受了17173记者专访。

1.对于非专业的游戏测试人员来说，对Testin云测可能还比较陌生，能跟大家介绍下Testin云测试的主要提供的服务内容、对象以及创立初衷么?

我们服务的对象是移动互联网的应用、游戏开发者，帮助他们完成测试相关的一系列工作，像《愤怒的小鸟》、《割绳子》、《捕鱼达人》、《保卫萝卜》、《我叫MT》等都曾在Testin做过测试，其中也包括一些手游发行公司、渠道平台公司，他们会拿我们的测试报告去做审核。

首先云测试是一种技术手段，它首先是测试，其次服务实际是在云端运行，全名应该叫“真机自动化云测试平台”。这里面有几层含义：第一，是真机。我们所有的云测试服务都是基于真机的来实现测试环境的，并非模拟;第二，使用了自动化技术，操作是在程序的设定下自动化运行，无需人工介入!第三，服务设置在云端，开发者可以随时随地在云端进行测试，不再局限于时间、地点，打开网页上传应用，一键搞定!

国内的手机终端市场设备繁杂而分裂，目前国内在售的手机有几千款，还不包括已经停产停售的，这其中除了手机种类、型号、配置和屏幕尺寸的不同外，还包含众多的不同的ROM，像MIUI、Flyme以及华为、酷派的手机等都有自身定制的ROM，这就导致接口和权限的控制不一样。同一款应用或游戏在不同手机安装和执行的过程中，会遇到不同的情况，比如玩家在华为手机上能够顺利安装游戏，但可能在游戏过程中却遇到闪退崩溃的情况;而又可能在小米手机中却无法安装或者安装后点击程序无响应，这都是兼容性中很常见的状况。

然而，除了设备、ROM的不同外，随着OS操作系统版本的更迭，又逐步产生了更多繁杂的细分，令测试环境变的异常复杂和碎片化，这就导致APP开发完成后不能够或者说不确定是否能够在大多数的设备中顺利运行，这一测试过程对CP和开发者来说是一个非常大的挑战。

因此，在2011年的时候我们团队已经意识到了这件事情的发展，随着后期智能电视、智能手表的崛起，更加印证了这一点，包括前段时间Testin还给海尔冰箱、宝马汽车做了云测试，可见使用应用的场景在不断发生变化，硬软件层级的不断分裂，都是开发商在应用或游戏正式推出前所要面对的严峻问题，而现实中CP又不太可能面面俱到，Testin也是基于这样的背景下应运而生，为开发者、CP最终到广大的玩家谋福利。

2.一般手游CP开发团队均有配备测试人员，Testin云测试所提供的服务主要侧重于哪方面?能够给中小手游CP提供哪些便利?

其实现实情况是这样的，中小CP、甚至是大厂商都很难实现测试设备的全覆盖，这其中涉及一个是成本问题，设备的采购本身需要一笔不小的费用，即使“买买买”不成问题，日后的管理和分配也让人头;第二是人力问题，小团队根本无法养那么多人力去专门从事测试工作，我们也看到很多压力测试都是通过号召全公司来进行，这还是建立在公司具备一定规模的情况下;第三是效率问题，即使人力充足，人工测试的效率也会很低，从安装、运行、卸载到记录、分析，这一整个过程将要耗费很长时间。

而Testin云测试则不同，基于程序设定的自动化测试非常高效，它是并发运作的，一个手游测试五分钟，一千个手游测试同样也只需要五分钟，这样就大大降低了时间和人力成本。截止今年7月，Testin目前已经进行了超过一亿次测试，这是一个怎样的概念?如果按目前的人力测试效率来说，可能从远古到现在都还没有完成这一亿次的测试工作，而Testin只花了4年不到的时间，大大帮助CP在时间、人力、财力、物力上节省成本，让测试流程缩短，效率提高，弥补了开发团队在测试工作上的缺失和不足!

同时由于开发的方式不同，实际上移动端应用和手游的测试环节也有异同，为此我们也成立了专门的手游测试事业部来更好地服务于游戏开发商，从产品设计端开始针对手游特性去做测试，比如cocos引擎、unity引擎、白鹭引擎等都有深入支持，团队的产品和技术人员都来源于CP，并服务于CP，专业性上得到保证。而且，Testin提供免费和付费测试两种服务，两者都能享受到专业的服务，只是在功能涵盖上有所不同，付费服务也仅仅是一线城市普工测试员工一年的薪水，非常具有优势!

3.深度兼容测试的流程是怎样的?整个测试的过程是全自动化的么?如何保证测试结果的有效性和准确性呢?

Testin的云测试有两个商业交付环节，第一个是加密环节，用户把应用包上传之后我们会进行加密，既保证了APP测试阶段的隐私，又能够应对平台受到攻击，保证APP处于黑盒中测试，保密工作永远放在第一位;第二个是调度分发环节，上传完成的应用包需要分配到不同的测试机上进行测试，各个设备自动安装运行。

像刚才提到的，整个测试流程是由我们的专利技术操控设备来自动化完成测试。其中具体到各个设备上的测试流程是这样的：首先是自动安装手游或应用，成功安装后程序自动模拟用户的常态去操作界面UI，比如点选导航、搜素、分享、评论等，根据应用的体量大小跑5至10分钟左右。而针对游戏的测试流程和内容会稍有区别，成功安装后优先测试的是注册和登陆、新手引导、再到商城的充值买金币等等，通过技术手段实现拟人化的操作过程，把测试这个环节高效地自动化完成，最后，在一定时间内(一般是24小时)出具测试报告!

我们在这几年的长期测试过程中，总结出一点就是测试服务中最核心的准确性!云测试功能再多再花哨都不及一点准确性，测试准确是大基础。在得到商业授权的前提下，我们会对出具的测试结果做复审，一个是机器复审，看两次测试结果的一致性;另一个是人工复审，找出测试报告中是否存在异常，比如因一些突发情况产生的黑天鹅事件，当然这个概率非常低，但审核人员必须去做,确保交付到用户手里的测试结果真实可靠，按照BUG的优先级来进行排序处理，帮助CP更好更快地完成上线，这也是我们的立身之本!就好比去两家医院体检，一家出具的报告显示一切正常，一家却告知你身体异样，如果身体确有不适，那你更愿意相信哪家的结果呢?所以在测试报告的准确和有效性上，通过技术的积累和流程的优化，在国内我们都明显要高于竞争对手!

4.对于长期合作伙伴而言，是否会推出有针对性的个性化测试服务?有经典的成功案例可供分享么?

这类个性化测试是有发生过的，比如早期的《捕鱼达人》测试，游戏项目的QA负责人就曾要求将捕鱼打炮的环节重复循环两小时，测试下极限压力，还有就是像测试多个SDK彼此之间的兼容性测试问题我们都是遇到过的。

个性化测试服务，我个人是这样认为的：如果客户都有需要，我们一定会将需求收集整理并做成产品推出，而对于极具个性的测试要求，Testin也会提供自己的iTestin工具来帮助开发者测试。而某些CP在这个问题上可以提出的比较早，跑在了行业前列，我们也会研究并求证这一需求，再日后的复现中进一步将其产品化。

说实话，目前我们所做的测试工作也都是根据CP的要求进一步优化所沉淀下来的，并不是凭空臆想而来，比如我们的崩溃分析工具也是根据CP的要求开发而来，他们催生我们的产品添加了很多功能，中间有一个互通有无的沟通过程，在这一块Testin非常的开放，也欢迎CP给我们提出宝贵的意见，帮助我们完善工具和服务!

5.APM有哪些作用?Testin云测的APM相较其他同类工具有哪些优势?

APM在手游端实际上是一个崩溃分析工具。云测试是一个发布前的事情，为了消灭BUG而生，而APM是针对发布后手游的一个小SDK，大约几十K。手游发布后总会遇到一些极端的情况，比如同一时间上万人发出同一个指令，而APM就可以在不同的系统和环境下监控这些非常态的情况发生，并记录分析，便于开发者日后修正程序，实际上相当于一个告警。甚至开发者还可以通过APM筛选定位出发生游戏崩溃无响应的那位玩家，进而分析用户的使用环境和方式，找出程序崩溃的原因。

Testin的APM手游崩溃分析工具在国内外都处于领先水平。首先在引擎层面，我们是cocos引擎的战略合作伙伴，这意味着一些底层的技术问题通过APM也能找出崩溃原因;其次，在硬件层面我们和ARM、英特尔等均有接口级别的技术合作，因此会拿到比较完整的错误信息，迅速定位到是软件、硬件还是引擎接口的问题，相较于业内的同类APM，Testin的APM在手游端的崩溃分析更具专业性，这一优势非常明显。

6.接下来针对中小手游CP、个人开发者会有哪些推广计划，帮助他们更高效地完成测试工作?

首先，Testin的服务分为两块，一个是免费使用，一个是商业付费。两者在准确性和可靠性上没有区别，并不会因为付费与否而存在差异。主要在于设备数量、输出效率、功能多寡上有一定不同，如果小型开发团队在资金成本上略有不足，可以一直使用我们的免费测试服务，这也是Testin一直坚持的免费测试策略。

而谈到商业付费测试，如之前所说的，实际它的价格非常具有优势，仅相当于普通测试人员一年的薪资。

7.Testin云测未来在手游市场有怎样的规划和布局?全球化战略又是如何的呢?

早期，手游测试只是一个产品线，到后来发展成立了手游事业部，目前的团队人员构成全部来自行业内部，平台拥有设备数量超过5万7千台，手游云测试正逐步走向一个专业化、精准化的方向，测试产品针对的是手游产品的痛点，而并非一个很宽泛的概念。

我希望目前的团队和测试产品能持续跑在CP的前面，比如探索新的设备、新的应用场景，让CP腾出更多的精力去把游戏产品完善，不再为琐碎繁杂的测试而分心。未来免费服务持续会有，而商业服务将越来越强大。

目前在北美、东南亚一带，Testin通过主流设备的覆盖，已经能够囊括80%以上的用户，这对CP而言，已经完全能够胜任测试任务。这里也可以分享一个有趣的极端案例，比如之前银汉的《时空猎人》，CP要求只要有用户在使用的手机终端都要进行测试，以达到最大化的用户群覆盖，这其实也是《时空猎人》能够长期在榜的原因之一，去争取少数用户拉动付费。

全球化其实去年已经在做了，我们的APM工具和cocos引擎已经整合在一起出海推广，针对北美的游戏CP在谈合作。今年也会将云测试服务推向海外，目前已经建立了机房，采购了当地的测试设备，服务同样能够包含兼容测试、压力测试、内测等等，服务对象辐射当地CP以及想要出海发展的国内厂商。