随着人工智能的发展与应用，AI测试逐渐进入到我们的视野，传统的功能测试策略对于算法测试而言，心有余而力不足，难以满足对人工智能 (AI) 的质量保障。

结合在人脸检测、检索算法上的测试探索、实践的过程，本文将从以下几个方面介绍人工智能 (AI) 算法测试策略。

• 算法效果测试(模型评估指标)

我们将算法测试测试流程中的几个核心环节提炼如上几点，也就组成了我们算法测试的测试策略，在此，抛砖引玉的分享一下。

测试集的准备对于整体算法测试而言非常重要，一般测试集准备过程中需考虑以下几点：

如果，测试集准备只是随机的选取测试数据，容易造成测试结果的失真，降低算法模型评估结果的可靠性。

好比我们的功能测试，根据功能测试设计，构造对应的数据进行测试覆盖。算法测试亦然，以人脸检测算法而言，除了考虑选取正样本、负样本外，还需要考虑正样本中人脸特征的覆盖，如人脸占比、模糊度、光照、姿态(角度)、完整性(遮挡)等特征。

选择好对应的测试数据后，后来后期的指标计算、结果分析，还需对数据进行标注，标注对应的特征，以人脸检测为例，使用工具对人脸图标进行人脸坐标框图，并将对应特征进行标注记录及存储，如下图。

另外，除了数据特征的覆盖，也需要考虑数据来源的覆盖，结合实际应用环境、场景的数据进行数据模拟、准备。比如公共场所摄像头下的人脸检索，图片一般比较模糊、图片光照强度不一，因此准备数据时，也需要根据此场景，模拟数据。一般来讲，最好将真实生产环境数据作为测试数据，并从其中按照数据特征分布选取测试数据。

此外，关于测试数据的数量，一般来讲测试数据量越多越能客观的反映算法的真实效果，但出于测试成本的考虑，不能穷其尽，一般以真实生产环境为参考，选取20%，如果生产环境数据量巨大，则选取1%~2%，或者更小。由于我们的生产环境数据量巨大，考虑到测试成本，我们选取了2W左右的图片进行测试。

测试集的独立性主要考虑测试数据集相互干扰导致测试结果的失真风险。

我们以人脸检索为例，我们准备200组人脸测试数据，每组为同一个人不同时期或角度的10张人脸照片，对人脸检索算法模型指标进行计算时，如计算TOP10的精确率，此时若在中，存在以上200组人的其他照片时，便会对指标计算结果造成影响，比如我们200组人脸中包含Jack，但数据库中除了Jack的10张，还存在其他的8张Jack的照片。若算法微服务接口返回的TOP10图片中有我们测试集中的Jack图片6张，非测试集但在数据库中的其他Jack照片2张，还有2张非Jack的照片，测试的精确率该如何计算，按照我们的测试集(已标注)来看，精确率为60%，但实际精确率为80%，造成了精确率指标计算结果的失真。

因此，我们在测试集数据准备时，需考虑数据干扰，测试准备阶段对数据库的其他测试数据进行评估，比如从200组人脸测试数据组，进行预测试，对相似度非常高的数据进行研判，判断是否为同一人，若是则删除该照片或者不将该人从200组测试集中剔除。

数据集的准确性比较好理解，一般指的是数据标注的准确性，比如Jack的照片不应标注为Tom，照片模糊的特征不应标注为清晰。如果数据标注错误，那么直接影响了算法模型指标计算的结果。

对于测试集的准备，为了提高测试集准备效率及复用性，我们尝试搭建了算法数仓平台，实现数据(图片)的在线标注、存储等功能，作为算法测试数据的同一获取入口。

以我现在接触的人工智能系统而言，将算法以微服务接口的形式对外提供服务，类似于百度AI开放平台。

因此需要对算法微服务接口进行功能性验证，比如结合应用场景从功能性、可靠性、可维护性角度对必填、非必填、参数组合验证等进行正向、异向的测试覆盖。此处不多做介绍，同普通的API接口测试策略一致。

微服务接口的性能测试大家也比较了解，对于算法微服务同样需要进行性能测试，如基准测试、性能测试(验证是否符合性能指标)、长短稳定性能测试，都是算法微服务每个版本中需要测试的内容，同时产出版本间的性能横向对比，感知性能变化。常关注的指标有平均响应时间、95%响应时间、TPS，同时关注GPU、内存等系统资源的使用情况。

一般使用Jmeter进行接口性能测试。不过，我们在实际应用中为了将算法微服务接口的功能测试、性能测试融合到一起，以降低自动化测试、使用、学习成本，提高可持续性，我们基于关键字驱动、数据驱动的测试思想，利用 Request、Locust模块分别实现了功能、性能自定义关键字开发。每轮测试执行完算法微服务功能自动化测试，若功能执行通过，则自动拉起对应不同执行策略的性能测试用例，每次测试执行结果都进行存储至数据库中，以便输出该算法微服务接口的不同版本性能各项指标的比较结果。

首先，不同类型算法的其关注的算法模型评估指标不同。

比如人脸检测算法常以精确率、召回率、准确率、错报率等评估指标;人脸检索算法常以TOPN的精确率、召回率、前N张连续准确率。

其次，相同类型算法在不同应用场景其关注的算法模型评估指标也存在差异。

比如人脸检索在应用在高铁站的人脸比对(重点人员检索)的场景中，不太关注召回率，但对精确率要求很多，避免抓错人，造成公共场所的秩序混乱。但在海量人脸检索的应用场景中，愿意牺牲部分精确率来提高召回率，因此在该场景中不能盲目的追求精准率。

除了上述算法模型评估指标，我们还常用ROC、PR曲线来衡量算法模型效果的好坏。

我们在算法微服务功能、性能测试中介绍到，使用了基于关键字驱动、数据驱动的测试思想，利用Python Request、Locust模块分别实现功能、性能自定义关键字开发。考虑到测试技术栈的统一以及可复用性，我们基于上述设计，实现了算法模型评估指标的自定义关键字开发，每次运行输出相同测试集下的不同版本模型评估指标的横向比较。

当然除了不同版本的比较模型评估指标的比较，如果条件允许，我们还需要进行一定的竞品比较，比较与市场上相同类似的算法效果的差异，取长补短。

我们对算法模型指标评估之后，除了感知算法模型评估指标在不同版本的差异，还希望进一步的进行分析，已得到具体算法模型的优化的优化方向，这时候就需要结合数据的标注信息进行深度的分析，挖掘算法优劣是否哪些数据特征的影响，影响程度如何。比如通过数据特征组合或者控制部分特征一致等方式，看其他特征对算法效果的影响程度等等。

这时候我们一般通过开发一些脚本实现我们的分析过程，根据算法微服务接口的响应体以及数据准备阶段所标注的数据特征，进行分析脚本的开发。

另外指标结果的进一步分析，也要结合算法设计，比如人脸检索算法，每张图片的检索流程为“输入图片的人脸检测“ -> “输入图片的人脸特征提取“ -> “相似特征检索“，通过此查询流程不难看出人脸检索的整体精确率受上述三个环节的影响，因此基于指标结果的深度分析也需要从这三个层次入手。

一般算法测试报告由以下几个要素组成：

由于算法微服务测试的复杂度相对普通服务接口较高，在报告注意简明扼要。

人工智能是科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、识别、自然语言处理和专家系统等。

谈到刷脸支付,大家现在都不会陌生了,现在已经随处可见刷脸支付机具,它也正在慢慢为大家所接受。在经历了刷卡支付,到扫码支付,人们接受新事物的能力也越来越强,速度也越来越快。刷脸支付的成功应用,不仅是支付宝和微信两大巨头合力推广的结果,更是大家对现今科技发展的信赖和支持。刷脸支付得益于人工智能的发展,在人脸识别技术领域的成熟应用。

人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别、面部识别。人脸识别技术的普遍应用,应该是最先起步于企业的刷脸打卡及安防的刷脸开门等,而人脸识别的优势在于其自然性和不被被测个体察觉的特点。基于这两个特点,决定了人脸识别技术在人体生物学上的重要地位。

刷脸支付出现的契机,还是因为在现实生活中,人们支付场景的不便利性。在大型商超及个体手部能力有限的情况下,排队付款的情况往往很常见,这不仅浪费了顾客的时间,也降低了商超的承载能力,导致销售额降低等不利情况。对于像ETC一样,不停车收费直接通过的场景,既方便了消费者,又节省了时间,也不会导致排队。基于这个痛点的解决,刷脸支付应运而生。

刷脸支付进入大规模实际应用,应该是今年开始的,随着支付宝推出第一代刷脸机具——蜻蜓,代表了刷脸支付商用元年的到来,在4月份,蜻蜓二代的发布,更是促进了这个生态圈的大规模发展。蜻蜓二代不仅解决了体积问题,还降低了引入成本,更有各种扶持计划,为在个体小商户的普及里铺平了道路。现在的蜻蜓,不仅仅只有收银功能,通过蚂蚁金服开发平台的开放共享,各种辅助技术融入了蜻蜓之中,不仅可以收银,还有一键注册会员,发放优惠券等功能,为个体工商户推广能力及留存能力带来了重要的技术革新。

无论是移动支付还是刷脸支付,在安全性方面是人们共同关心的。安全是关键,赔付是客户痛点。刷脸支付依然面临这个问题。解决刷脸支付安全问题,取得消费者放心使用依靠什么呢？必须依靠人工智能技术,在支付安全上特别是移动网络和刷脸支付安全保障上,人工智能最有用武之地。

此前,支付宝和微信两大支付平台一直在探讨人工智能用于保障支付安全问题。而在2019年5月28日下午,支付宝宣布升级保障计划,如果经智能AI审核符合相应条件,将能实现“赔付秒到账”。这些不得不说,刷脸支付已经成为时代的潮流不可阻挡之势。

　　3月9日，在2017年中国家电及消费电子博览会上，消费者感受人工智能新趋势。本报记者 屠知力摄

　　无人驾驶汽车。新华社记者 刘 潺摄

　　互联网医院远程医疗。龙 巍摄（人民视觉）

　　一年前，人工智能AlphaGo和世界顶尖棋手的围棋人机大战震惊了世界，这只是人工智能（AI）应用的一个缩影；在刚刚闭幕的全国两会上，“加快人工智能等技术研发和转化”首次出现在政府工作报告中，成为2017年重点工作任务的内容之一。

　　重庆市科学技术研究院院长潘复生认为，这展现了中国对新技术领域的高度重视。

　　作为新一轮科技革命的重要代表之一，人工智能正由科技研发走向行业应用，成为全球经济发展的新动力。在业内人士看来，人工智能不是一项单一的科技产业，而是将其他行业进行融合的工具，例如将机器人和保姆结合产生的“看家机器人”，将导航和汽车结合产生的“车联网”等。在人工智能技术逐步成熟的当下，谁率先在应用上实现突破，谁就有可能在智能时代的竞争中占据优势，“人工智能”有望成为可触摸的新增长点之一。

　　人工智能在中国发展迅猛

　　你还以为人工智能很遥远吗？

　　身体不舒服，想要打开手机淘宝问问医生，但是怎么样才能从几千个在线等待咨询的医生中间找到最匹配的那一个？

　　笔者了解到，阿里健康已经开发并在手机淘宝上线了健康小蜜——医药健康智能问答引擎，这个类似于智能问答机器人的引擎，可以回答普通用户的一般性医药健康的问题，然后根据用户的需求进行选择，将用户自动匹配给相应的医生或者药师。

　　事实上，目前，从医疗健康的监测诊断、智能医疗设备，到教育领域的智能评测、个性化辅导、儿童陪伴，从电商零售领域的仓储物流、智能导购和客服，到应用在智能汽车的自驾技术，都能看到人工智能的身影。

　　来自河北唐山的高先生新近买了一辆车，在尝试各种车载智能设备时，他感慨地对笔者说：“我觉得现在很多汽车技术就挺智能的，比如自动泊车、导航路径规划等，这些都方便了驾驶。”不过，在他看来，“如果未来能够普及自动驾驶就更先进了。”

　　高先生的想法其实并不遥远。业界人士认为，人工智能等技术是助推自动驾驶发展的关键技术。例如，人工智能在帮助汽车解读传感器数据时起决策作用，通过阅读驾驶者的驾驶行为和表情，能及时提醒驾驶员在疲劳驾驶时切换至自动驾驶模式。

　　“人工智能”一词，通常被认为是1956年在达特茅斯会议上诞生的，61年来，人工智能的研究和实践一直处于不断增长的趋势。当今，人工智能技术的突破带来了席卷全球的技术革命风暴，创造出了一个无比广阔的市场，中国的很多公司在这股大潮中抓住机遇，表现亮眼。有观察者认为，中国的人工智能已成为一张令世界瞩目的闪亮名片。

　　过去的一年里，长虹、TCL、创维等中国家电企业都纷纷发布人工智能家电产品，希望借助人工智能打破家电行业的销售难题。

　　不久前，搜狗公司发布2016全年财报，搜狗CEO王小川表示，搜狗借助人工智能技术实现了较大的业绩增长。未来会把人工智能应用到更多的产品中，让用户表达和获取信息更简单，让人工智能真正惠及人类。

　　全球人工智能研发的脚步正在加快，中国也不甘示弱。近年来，百度先后成立了大数据实验室、深度学习实验室和硅谷人工智能实验室，并通过架构调整全面发力人工智能。2016年百度世界大会上，“百度大脑”推出，该项目将对语音、图像、自然语言处理和用户画像、无人驾驶等领域进行重点关注和研发。

　　去年，杭州政府联合13家企业，为这座拥有2200多年历史的城市，安装了一个人工智能中枢——杭州城市数据大脑。在杭州萧山区的部分路段的初步试验中，城市大脑通过智能调节红绿灯，车辆通行速度最高提升了11%。

　　交通拥堵，只是城市大脑迎战的第一个难题。城市大脑的目标，是让数据帮助城市来做思考和决策，将杭州打造成一座能够自我调节、与人类良性互动的城市。

　　阿里集团相关负责人向本报介绍说，城市大脑的内核采用了阿里云ET人工智能技术，可以对整个城市进行全局实时分析，自动调配公共资源。此外，拥有领先人工智能技术的阿里云ET，开始在城市治理、交通调度、工业制造、健康医疗、司法等领域成为人类的强大助手。

　　在腾讯，人工智能研究项目包括WHAT LAB（微信-香港科技大学人工智能联合实验室）、优图实验室、微信模式识别中心、智能计算与搜索实验室等多个部门。

　　在百度董事长兼首席执行官李彦宏看来，人工智能犹如新的科技革命，为长期低迷的世界经济注入新的活力。去年诸多关键技术突飞猛进，无疑是人工智能发展史上浓墨重彩的一年。诞生半个多世纪以来，它终于走到了从科技研发到行业应用的临界点，蓄势待发。

　　为发展更新“发动机”

　　科技部相关负责人透露，多年来，科技部通过“863”、“973”、科技支撑计划等一系列科技计划，积极推动人工智能技术发展。在关键技术攻关方面，重点支持了智能计算机系统、智能机器人、自动信息处理，在智能交通、智能电网、智慧城市等方面也支持了一批项目。下一步，我们正在集聚科技界、企业界的专家和创新型企业，包括一些年轻的创业者，共同制定促进中国人工智能创新发展的规划，推动人工智能在经济建设、社会民生、环保事业、国家安全等方面的应用。

　　人工智能缘何如此被看重？

　　小米科技董事长兼CEO雷军认为，人工智能技术的重大突破必将带来新一轮科技革命和产业革命，对人类生活的方方面面将产生深远的影响。“大力发展人工智能技术是中国经济转型升级的重要动力。”

　　“众多研究表明，人工智能对传统行业商业模式、产业链和价值链的全面颠覆，将为全球经济、社会生活的方方面面带来质的变化。”李彦宏说。

　　在一篇《人工智能，“奇点时刻”临近？》的文章中，中国社会科学院信息化研究中心秘书长姜奇平认为，发展人工智能的最大意义在于为现代化发展更换“发动机”。咨询公司埃森哲研究了美国、芬兰、英国等12个发达国家并作出预测，到2035年，人工智能将帮助这些国家生产率提高40%左右。

　　对于中国而言，人工智能带来的好处将是多方面的。就经济来说，借助人工智能新技术实现自动化，将极大提高生产率，节省劳动成本；优化行业的现有产品和服务，提升其质量和劳动生产率；通过创造新市场、新就业等，将促进市场更加繁荣，开拓更广阔的市场空间。

　　而在产业升级方面，中国的传统制造业大而不强的问题亟待克服，人工智能恰恰为制造业转型升级提供了便利和动力，一是这些企业拥有行业海量的数据和大量资金；二是在生产力水平急需提升、传统人口红利逐渐消失的情况下，传统企业有迫切的意愿来改造升级自己的工厂、业务，提高收益，降低企业成本。因此，制造业既是人工智能可以大有作为的领域，也是中国发展人工智能的优势领域。

　　《全球人工智能发展报告2016》显示，中国人工智能专利申请数累计达到15745项，列世界第二；人工智能领域投资达146笔，列世界第三。

　　据艾瑞咨询预计，2020年全球人工智能市场规模将达到1190亿元，年复合增速约19.7%；同期中国人工智能市场规模将达91亿元，年复合增速超50%。人工智能发展前景极为广阔。

　　中星微电子有限公司董事长邓中翰指出，就制造业而言，“中国制造2025”计划的实现就需要很多人工智能。比如过去在技术上难以克服的问题（如建模），就可以通过深度学习，在工程上快速地取得一些新的突破。人工智能技术的发展与应用，对于有效实现“中国制造2025”目标至关重要。

　　业内人士认为，在人工智能这场科技浪潮中，中国与其他国家已经站在了同一起跑线上。针对未来产业竞争，中国政府已在多个方面对人工智能产业做出布局，“人工智能+”的发展，需要面向未来，做出长远布局。

　　“未来5到10年，人工智能将像水和电一样无所不在，可以进入到教育、医疗、金融、交通、智慧城市等几乎所有行业，一个全新的‘人工智能+’时代正在到来。”科大讯飞董事长刘庆峰表示，人工智能落地应用是硬道理，“2016年是人工智能元年，2017年则是人工智能应用年。”

　　目前，在驾驶领域，通过依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，电脑可以在无人主动操作下，自动进行操作；在个人助理领域，通过智能语音识别、自然语言处理和大数据搜索、深度学习神经网络，可以实现人机交互；在金融领域，通过分析、预测、辨别交易数据、价格走势等信息，人工智能可以为客户提供投资理财、股权投资等服务；在电商零售领域，主要是利用大数据分析技术，智能的管理仓储与物流、导购等方面，用以节省仓储物流成本、提高购物效率、简化购物程序。此外，在安防、教育、医疗健康等众多领域，人工智能都有着广泛的应用。

　　不过，尽管对未来的智能生活充满期待，邓中翰仍提醒说，人工智能还有诸多潜能有待挖掘，也有诸多问题有待解决。

　　姜奇平指出，人工智能能够帮助人类提高工作效率、提升生活品质。但对人工智能的发展感到欣喜的同时，也要理性面对人工智能对人类提出的挑战。对人工智能发展带来的负面问题如何监管，是国际社会普遍关心的话题。

　　同样的，还有人担心，人工智能正在导致一些职业的消失，对此，刘庆峰认为，未来，越来越多的工作可能被机器替代。在新的工作岗位没有被完全创造之前，需要考虑制定智能时代的社会财富分配体系、社会工作保障和救助体系。并且，对人工智能在行业应用的规范和要求，也需要加快建立相应的法律法规体系。

　　专家同时指出，在迅猛发展的同时，也要警惕人工智能行业出现泡沫，比如一些“伪智能”、蹭概念的产品。事实上，真正的人工智能往往是悄无声息地发挥作用，比如语音识别、深度学习、视觉识别、新搜索技术等。此外，目前人工智能的市场认知多停留在概念与实验层面，对于人工智能在各行业的应用及产业化落地进度还是认识不足，要警惕跟风式的投资。