最有看点的互联网金融门户
面对无孔不入的黑产，如何搭建反欺诈策略与模型？
一本财经 | 未央网
本文共2756字，预计阅读时间55秒信用风险与反欺诈哪个更加重要？为什么是先讲策略再谈模型？一个完整的反欺诈流程如何搭建？如何说服CEO接受模型测试成本？在一本财经商学院举办的第二期风控闭门课程上，天创信用首席科学家陈黎明一一做出解答。
以下是她现场分享的部分干货：
01基本概念
今天我讲的主要课题是“反欺诈策略和模型”。
为什么要把策略放前面呢？因为不管是拍脑袋决定，还是通过数据挖掘出来，反欺诈一般是先有策略，然后通过数据的积累，慢慢去构建模型。
首先讲一下常见的几种风险：
流动性风险，就是资产在上升时，你手上的现金流是不是足够。
市场风险，一般是指汇率、利率两个风险，这个在国内不是那么明显，在国外受市场风险是相当大的。
信用风险，就是客户的还款意愿和还款能力。
操作风险，比如意外事故等。
政策风险，比如贷款年化率不能超过36%，和近期的数据隐私的保护。
反欺诈和信用风险区别在哪？
欺诈是你想彻底铲除的，你建立了足够的壁垒、堡垒把欺诈挡在门外；但你并不希望信用风险为零，信用风险框定在一定范围之内，再去设计产品。
信用管理是进攻，反欺诈是防守。在不同场景中，反欺诈和信用管理重要程度不同。比如说航旅分期，欺诈风险比较小。Paydayloan本身是针对信用差的人群，欺诈风险往往更为重要。
欺诈原因主要有几点：
征信体系有待推广和完善。
欺诈成本很低。
没有信息保护意识。别人帮你买机票，你就把身份证号码透露了。
贫富差异下的利益驱动。
最后一点就是互联网，比较线上和线下的欺诈概率，线上欺诈是线下的六倍，因为线上不需要跟人打交道，被逮到的可能性比较低。并且，一旦诈骗犯发现平台一个漏洞，他可以在网上得到迅速的推广。
一般来说，当你的贷款额度越来越小的时候，你会越来越依赖于大数据，依赖模型化和自动化，去进行反欺诈预防和信用管理。
反欺诈其实是通过各种方法把高危人群、帐号异常、设备异常、身份伪冒、申请异常、使用异常、恶意炒信等等去除。但去除时，我们要关心两个概率，一个是召回率、一个是准确率。
偶发的欺诈并不可怕，大家主要担心欺诈中的正规军，欺诈的黑色产业链，所以黑色产业力量挖掘是非常重要的。
欺诈一般分为第一方欺诈和第三方欺诈：
第一方欺诈是，我就是欺诈主体，我是怀着恶意来骗贷的。
第三方欺诈是，骗贷人不是我，其他人是伪冒我的身份，盗用我的帐户进行欺诈的。
根据第一方欺诈和第三方欺诈的不同，在防控点上的设计也不同。比如第三方欺诈，你可以通过人脸识别等等去做排除；第一方欺诈可能是通过一些模型去识别，是否是恶意骗贷。
02欺诈类型与反欺诈策略
常见的欺诈风险类型有：
身份伪冒，这是非常典型的第三方欺诈，指的是不法分子使用虚假身份证等身份信息、未经他人同意而冒用他人身份获取贷款的骗贷行为。
另外还有帐号垃圾注册，通过大规模的帐号注册，养号养卡，控制帐号骗贷。此外还有中介包装、团伙作案、虚假材料等。
其实欺诈并不是对单个的个人，你对的就是团伙，对的是有相当风控经验的职业诈骗人员，好多人以前就是线下贷款的审批人员，他们有相当的风控经验。
如何通过构建系统架构来实现反欺诈？
首先需要底层数据，比如外部数据、内部数据、业务数据等。其实反欺诈是需要大家发挥自己的聪明才智去设计的，不会有两家反欺诈政策是完全一样的。现在对数据隐私的监管越来越强，越来越保守，如果在外部数据获取遇到阻力的时候，就越来越依靠于对内部数据和业务数据的获取能力。
其次是规则，目前大部分规则是模型，比如从贷前准入、认证、支用等。这些规则引擎，是经常要更新的；尤其是反欺诈规则，一要保密，二要随时更新。
再次，需要一个管理系统，至少要有四块功能：第一个配置系统，就是规则阀值的设置。第二个查询系统，能查询每一单人的申请，从客户现在的表现追溯到其申请时刻，能做一些关联性的分析。第三个是分析系统，一般是自动化的，比如对历史时长、IP地址进行一个跟踪，也可以针对每一个反欺诈规则，追踪今天申请了多少量，拦截了多少量。第四个是预警系统，如果发现异常现象，它可以随时预警。比如发现某一个IP地址、某一个GPS、某一个社区，它申请量急剧增加的时候，可以实现实时预警，这时候可以人工及时干预，去修改规则引擎。这四个系统是反欺诈中，最起码的要求。
03审批流程与反欺诈流程
一旦收集了多维度数据后，就可以设计申请的审批流程：
首先是准入规则，可以初筛一遍客户，可以进行聚焦，达到精准营销的目的。
然后是信息验证，包括姓名、身份证、手机号码、银行卡四要素验证等。
再次是黑名单，自有的反欺诈规则等。
之后是第三方反欺诈、申请评分卡，最后再人工审批、抽检。至于中间怎么设计黑名单、反欺诈，这个跟不同的金融产品侧重点不一样。
其次是反欺诈管理流程：
首先要有策略，可以通过数据分析，也可以基于以前线上线下的经验，将规则、管理布入你的风控引擎里面，这是第一步。
第二步，要认识我们的客户，目标客户群是什么，会存在哪些风险。
下一步是分析客户风险是怎么样的。
再下一步是预防警示，出现异常需要有一个预警提示。
最后就是分析报告，通过整个过程，返回去优化整个策略，不断循环优化。
反欺诈的策略一定要非常保密，因为骗贷者一旦知道，可以用其他的方法去通过这个保护墙而进来。越理解市场有的欺诈风险，你的策略就越有针对性。大家如果做风控团队，会有专门人员欺诈岗，他们时不时做一个舆情监控，比如上网吧看一看，第一个你的贷款公司名字是不是出现在大家讨论的热点当中，第二个最新欺诈的方法是什么。
欺诈客户一般不会全部拒绝。如果想要知道策略、模型是否有效，必须要做测试，只要有测试就必须有测试成本。不过，我们在向CEO汇报时，说我要放一批欺诈人进来，这次欺诈率会上升，CEO会不会同意，会不会买单呢？
实际上，Capital One成功最重要的两点，一个是数据驱动策略，第二个就是测试，通过不断的测试，找到理想的人群，优化产品、优化流程、优化策略。
另外一点要强调的，反欺诈经常有误杀。我们以前做信用卡交易反欺诈的时候，业务天天抱怨的就是误差，比如经常有优质的客户，要验证他的身份，业务出于客户满意度是不愿意好多误杀的。
不过，在审批阶段误杀时的问题还不算不大；一旦到了客户管理阶段再误杀，造成的影响就比较大，客户关系的维护，客户的满意度等等成本也是蛮高的。
不过，这是一个权衡，反欺诈总是会有误杀。（整理丨墨菲）
本文系专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！
用微信扫描可以分享至好友和朋友圈
扫描二维码或搜索微信号“iweiyangx”关注未央网官方微信公众号，获取互联网金融领域前沿资讯。
您的评论提交后会进行审核，审核通过的留言会展示在下方留言区域，请耐心等待。
版权所有 (C) 清华大学五道口金融学院互联网金融实验室 | 京ICP备号-1硬创公开课硬创公开课关注专栏更多置顶文章最新文章{&debug&:false,&apiRoot&:&&,&paySDK&:&https:\u002F\u002Fpay.zhihu.com\u002Fapi\u002Fjs&,&wechatConfigAPI&:&\u002Fapi\u002Fwechat\u002Fjssdkconfig&,&name&:&production&,&instance&:&column&,&tokens&:{&X-XSRF-TOKEN&:null,&X-UDID&:null,&Authorization&:&oauth c3cef7c66aa9e6a1e3160e20&}}{&database&:{&Post&:{&&:{&title&:&如何参加硬创公开课&,&author&:&ycgkk&,&content&:&大家好！~\u003Cp\u003E经常有小伙伴问如何能第一时间收到公开课的预告，参与进来~\u003C\u002Fp\u003E\u003Cp\u003E在这里安利一发我们的主页：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.leiphone.com\u002Fspecial\u002Fycopen\& class=\& wrap external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003E硬创公开课_用技术洞见未来！-雷锋网\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E活动预告文和总结文（内含视频+PPT）都会第一时间在主页发布。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E下载雷锋网APP，在直播专区查看公开课直播和往期公开课视频，公开课还同步在ZAKER、斗鱼（\u003Ca href=\&%E6%96%97%E9%B1%BC%E6%88%BF%E9%97%B4%E5%8F%B7%EF%BC%9A788495\& class=\&\&\u003E房间号：3C\u002Fa\u003E）直播。\u003C\u002Fp\u003E\u003Cp\u003E硬创公开课有【分享+互动问答】两个环节，问答环节向嘉宾老师提问请在雷锋网APP问答区留言。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cb\u003E\u003Cbr\u003E更多内容，欢迎关注我们的微信公众号：雷锋网\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E推荐嘉宾，选题投稿，建议意见，合作咨询，各种肥皂~\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E欢迎丢到我们的邮箱！\u003C\u002Fp\u003E\u003Cp\u003E联系方式：\u003C\u002Fp\u003E&,&updated&:new Date(&T03:13:24.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:0,&likeCount&:4,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&titleImage&:&https:\u002F\u002Fpic1.zhimg.com\u002Fv2-e5d5bf1fc4_r.jpg&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&topics&:[{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&人工智能&},{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&增强现实（AR）&},{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&无人驾驶车&}],&adminClosedComment&:false,&href&:&\u002Fapi\u002Fposts\u002F&,&excerptTitle&:&&,&column&:{&slug&:&ycgkk&,&name&:&硬创公开课&},&sourceUrl&:&&,&pageCommentsCount&:0,&snapshotUrl&:&&,&publishedTime&:&T11:13:24+08:00&,&url&:&\u002Fp\u002F&,&summary&:&大家好！~经常有小伙伴问如何能第一时间收到公开课的预告，参与进来~在这里安利一发我们的主页：\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fspecial\u002Fycopen\& data-editable=\&true\& data-title=\&硬创公开课_用技术洞见未来！-雷锋网\& class=\&\&\u003E硬创公开课_用技术洞见未来！-雷锋网\u003C\u002Fa\u003E \u003Cb\u003E活动预告文和总结文（内含视频+PPT）都会第一时间在主页发布。\u003C\u002Fb\u003E 下载雷锋网APP，在直播专区查看公开课直播和往期公开课视…&,&reviewingCommentsCount&:0,&meta&:{&previous&:null,&next&:null},&commentsCount&:0,&likesCount&:4},&&:{&title&:&单目视觉的运动目标跟踪定位（附视频+PPT）｜硬创公开课&,&author&:&ycgkk&,&content&:&\u003Cp\u003E市场上空间定位的技术方案分为单目、双目以及激光雷达三大阵营，其中激光雷达由于成本高昂市场接受度较低，而在都是基于计算机视觉的单目和双目中，双目则显得更受欢迎。在国内做计算机视觉技术方案的企业如图漾、速感、人加\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002F\& data-editable=\&true\& data-title=\&智能\&\u003E智能\u003C\u002Fa\u003E等大多选择了双目，而选择了单目的欢创科技则成为了少数派。那么，双目为何比单目更受市场青睐，两者之间的技术差异在哪里，单目又是如何实现空间定位与位置追踪？本期雷锋网硬创公开课邀请到欢创科技CEO周琨，详细讲解单目定位技术。\u003C\u002Fp\u003E\u003Ch2\u003E内容介绍\u003C\u002Fh2\u003E\u003Cp\u003E本期公开课包含但不限于以下内容：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E视觉目标定位（位姿测量）\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E单目视觉定位\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E基于PnP的单目视觉定位\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E单目与双目比较\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E单目视觉定位在VR中的应用\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E嘉宾介绍：\u003Cimg src=\&v2-e043b985bedcbcdcb9daa205.jpg\& data-rawwidth=\&737\& data-rawheight=\&554\&\u003E\u003C\u002Fh2\u003E\u003Cbr\u003E\u003Cp\u003E周琨，清华大学深圳研究生院硕士生导师，深圳市高层次人才，南山区领航人才，深圳市欢创科技有限公司CEO，清华大学本科、硕士，师从973首席科学家，长江学者戴琼海教授。十余年IT和人机交互技术行业产品研发和技术管理经验。先后就职于贝尔实验室，中国移动，对视觉人机交互技术进行了非常深入的研究，作为主要发明人，拥有二十余项国际和国家专利，并先后获得山东省科技进步二等奖和深圳市科学技术专利奖。2014年初创办欢创科技，担任CEO职位，引领公司致力于计算机视觉空间定位与位置追踪技术的研究和产业化，目前产品已经广泛应用于电视机、VR与机器人领域。\u003C\u002Fp\u003E\u003Ch2\u003E公开课直播完整视频：\u003Cvideo id=\&89047\& data-swfurl=\&\& poster=\&https:\u002F\u002Fpuui.qpic.cn\u002Fqqvideo_ori\u002F0\u002Fx0388nr3ysx_228_128\u002F0\& data-sourceurl=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fx0388nr3ysx.html\& data-name=\&单目视觉的运动目标跟踪定位 | 硬创公开课_腾讯视频\& data-video-id=\&\& data-video-playable=\&\&\u003E\u003C\u002Fvideo\u003E\u003C\u002Fh2\u003E\u003Cp\u003E以下为嘉宾分享内容实录。相对视频文中做了删减，完整内容可观看视频。关注雷锋网旗下微信公众号「新智造」，回复「PPT」可获取嘉宾完整PPT。\u003C\u002Fp\u003E\u003Ch2\u003E视觉目标定位（位姿测量）\u003C\u002Fh2\u003E\u003Cp\u003E从工程意义上来说，测量一个物体相对于另一个物体的位置与姿态，即所谓的位姿测量。从数学意义上来讲，测量两个坐标系间的平移与旋转变换关系，包括3个位置(Translational)和3个旋转角(Rotational)共6个位姿量(即6DOF)。理论上，只要已知空间不共线的3点在两个坐标系下的坐标，就能唯一确定两坐标系间的位姿关系，因此，位姿测量的关键就是如何得到特征点在这两个坐标系下的坐标。 \u003C\u002Fp\u003E\u003Ch3\u003E视觉空间定位的常见类型\u003Cimg src=\&v2-61c28c959aa54b6eee11.jpg\& data-rawwidth=\&392\& data-rawheight=\&220\&\u003E\u003C\u002Fh3\u003E\u003Cbr\u003E\u003Cp\u003E自定位(inside-out)，即通过相机拍摄视野坐标系，以及坐标系的特征点，从而判断相机相对坐标系自身的坐标。比如我们常用的SLAM，这方面雷锋网(公众号：雷锋网)之前也有嘉宾做过介绍，它的特点是便携、视角理论无限大、定位精度不高。主要应用领域包括移动机器人、\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FBhh5ttIauUCQeICm.html\& data-editable=\&true\& data-title=\&无人机\&\u003E无人机\u003C\u002Fa\u003E、VR、AR。\u003Cimg src=\&v2-a66bf060aa.jpg\& data-rawwidth=\&412\& data-rawheight=\&220\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E外定位(outside-in)，比较常见的是OptiTrack，特点是安装复杂、视角有限、定位精度高。主要应用领域包括影视动捕、VR、工业机器人。\u003C\u002Fp\u003E\u003Ch3\u003E常见的不同硬件定位方案\u003C\u002Fh3\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E单目定位(mono camera)\u003Cimg src=\&v2-2fb25edae34a.jpg\& data-rawwidth=\&456\& data-rawheight=\&300\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E特点：系统简单，运算量小，需要目标点之间有几何约束关系，应用场景有限制，成本较低。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E双目定位(stereo camera)\u003Cimg src=\&v2-3f35b1bdfb1ff.jpg\& data-rawwidth=\&519\& data-rawheight=\&363\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E特点：系统复杂，运算量大，可以单帧单目标点定位，对目标物体无几何约束，，应用场合灵活，成本较高。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E多目定位(multiple camera)\u003Cimg src=\&v2-a66bf060aa.jpg\& data-rawwidth=\&412\& data-rawheight=\&220\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E特点：系统非常复杂，运算量特别巨大，对目标物体无几何约束要求，应用场合受限，成本很高。\u003C\u002Fp\u003E\u003Cp\u003E目前关于双目定位的研究与市场应用相对比较多，而单目定位则相对比较少，所以，今天我就重点讲下单目定位。\u003C\u002Fp\u003E\u003Ch2\u003E单目视觉定位\u003C\u002Fh2\u003E\u003Cp\u003E顾名思义，单目视觉定位就是仅利用一台摄像机完成定位工作。单目视觉定位的方法主要有两种：基于单帧图像的定位方法和基于两帧或多帧的定位方法。\u003C\u002Fp\u003E\u003Cp\u003E基于单帧图像的定位方法包括基于特征点的定位（Perspective-n-Point）、基于直线特征的定位，关键点在于快速准确地实现模板与投影图像之间的特征匹配。\u003C\u002Fp\u003E\u003Cp\u003E基于两帧或多帧的定位方法的关键在于实现多帧投影图像之间的对应特征元素匹配，如SLAM。\u003C\u002Fp\u003E\u003Ch2\u003E基于PnP的单目视觉定位\u003C\u002Fh2\u003E\u003Ch3\u003E什么是P-n-P问题？\u003C\u002Fh3\u003E\u003Cp\u003EP-n-P，即Perspective-n-Points，指给定世界（刚体）坐标系下的n个3d坐标点，以及这些点在图像中的2d投影坐标，求解世界（刚体）相对相机的姿态和位置（求解R,t)。要想求解出世界（刚体）相对相机的姿态和位置，必须知道至少4个点，也就是n要大于等于4，当然这是\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FtgBJPsUzzzgvFHLp.html\& data-editable=\&true\& data-title=\&必要\&\u003E必要\u003C\u002Fa\u003E条件，不是充分条件，充分必要条件是n等于6。\u003Cimg src=\&v2-196e45e79ebc452c5e3a9.jpg\& data-rawwidth=\&452\& data-rawheight=\&314\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch3\u003E求解PnP问题的前提\u003Cimg src=\&v2-9d9b9f147b2aaf9e6c49ade.jpg\& data-rawwidth=\&731\& data-rawheight=\&267\&\u003E\u003C\u002Fh3\u003E\u003Cbr\u003E\u003Ch3\u003EPnP的求解路径\u003Cimg src=\&v2-168d2ec0f3f40aea9c962f7.jpg\& data-rawwidth=\&740\& data-rawheight=\&290\&\u003E\u003C\u002Fh3\u003E\u003Cbr\u003E\u003Ch3\u003E单目与双目比较\u003C\u002Fh3\u003E\u003Ch3\u003E双目视觉定位\u003C\u002Fh3\u003E\u003Cp\u003E双目视觉定位原理是指通过三角测量原理来对目标点的三维空间位置进行定位。双目视觉定位的算法流程：相机标定、双目标定、图像处理、特征检测、立体匹配、三维测量、姿态测量。\u003C\u002Fp\u003E\u003Ch3\u003E单目和双目视觉的共同难题\u003C\u002Fh3\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E图像提取精度问题\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目&双目：如何提取目标的高精度图像\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E匹配问题\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目：如何将刚体目标点同投影点匹配\u003C\u002Fp\u003E\u003Cp\u003E双目：如何将两个摄像机中的目标点匹配\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E标定问题\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目：如何将相机内参估计准确\u003C\u002Fp\u003E\u003Cp\u003E双目：如何将相机内参和外参估计准确\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E有趣的系统问题\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目：摄像机简单，目标复杂，需解决刚体目标点布局问题\u003C\u002Fp\u003E\u003Cp\u003E双目：摄像机复杂，目标简单，需解决摄像机基线设置问题\u003C\u002Fp\u003E\u003Ch3\u003E单目视觉与双目视觉的区别\u003C\u002Fh3\u003E\u003Cp\u003E由于存在几何模型约束优势，单目视觉会有更高精度与鲁棒性（以下为仿真实验结果）\u003Cimg src=\&v2-9afd13a04f31d97bb47591.jpg\& data-rawwidth=\&740\& data-rawheight=\&224\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E单目视觉有效视场更大：刚体定位不仅不依赖多个相机，定位空间还可以通过多个相机进行扩展而不发生视场范围损失。\u003Cimg src=\&v2-8ea0caaecc3dbc888cd55ac.jpg\& data-rawwidth=\&740\& data-rawheight=\&200\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch3\u003E如何选择单目还是双目视觉定位\u003C\u002Fh3\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E应用场景需要知道3DOF还是6DOF？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目视觉：要么不能输出位姿，要么输出6DOF\u003C\u002Fp\u003E\u003Cp\u003E双目视觉：可输出3DOF、6DOF(满足一定条件)\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E应用场景对目标物体有无约束？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目视觉：必须已知刚体上4个及以上的目标点的几何约束\u003C\u002Fp\u003E\u003Cp\u003E双目视觉：无须知道几何约束，适应范围广\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E应用场景对成本、视角要求如何？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E单目视觉：成本更低、有效视角更大\u003C\u002Fp\u003E\u003Cp\u003E双目视觉：成本更高、有效视角更小\u003C\u002Fp\u003E\u003Ch2\u003E单目视觉定位在VR中的应用\u003C\u002Fh2\u003E\u003Ch3\u003E三大主流VR厂商现有位置追踪方案\u003C\u002Fh3\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FQmwbWr4hB6IsrT6c.html\& data-editable=\&true\& data-title=\&Oculus\&\u003EOculus\u003C\u002Fa\u003E：单目光学摄像头 + 数十个LED主动光源\u003Cimg src=\&v2-6cf758fa33aba5e1069fc8.jpg\& data-rawwidth=\&443\& data-rawheight=\&331\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003ESony PSVR：双目光学摄像头+ 9个LED主动光源\u003Cimg src=\&v2-3ddfd9f5b12dfdf873f33f.jpg\& data-rawwidth=\&450\& data-rawheight=\&300\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2Fi1WITn5seIh1YPsd.html\& data-editable=\&true\& data-title=\&HTC Vive\&\u003EHTC Vive\u003C\u002Fa\u003E：激光 +光敏二极管阵列\u003Cimg src=\&v2-5c47c1b61fa.jpg\& data-rawwidth=\&422\& data-rawheight=\&290\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E详解Oculus 定位方案\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E定位器：1百万像素，全局曝光摄像头，52fps.\u003C\u002Fp\u003E\u003Cp\u003E手柄：环形红外定位点带+IMU\u003C\u002Fp\u003E\u003Cp\u003E头盔：面板红外定位点+头盔后部三角形上的红外定位点+IMU\u003C\u002Fp\u003E\u003Cp\u003E定位方式：手柄和头盔通过无线控制红外定位点发光时间与摄像头曝光时间同步；PC使用从图像获得的定位点信息与IMU数据融合，获得头盔和手柄的位置信息。\u003C\u002Fp\u003E\u003Cp\u003E缺陷：覆盖范围比HTC小，达到roomscale需要更多的定位器；所有定位信息统一计算，不利于扩展到多人或更多设备。\u003C\u002Fp\u003E\u003Ch3\u003EVR空间定位的几个关键指标\u003C\u002Fh3\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E稳定性(Robustness)\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E定位精度(Precision)：静态精度（HTC：Translational RMSE: 1.5mm）和动态精度\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E静态抖动(Static jitter)\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E范围(Range)\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E成本(Cost)\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch3\u003E我们是如何测量VR定位精度的？\u003C\u002Fh3\u003E\u003Cp\u003E六轴工业机器人测量，以工业机器人输出值为Ground truth，并以此为准进行比对。\u003Cimg src=\&v2-b94d8ecdd9aaa042fa9b91.jpg\& data-rawwidth=\&636\& data-rawheight=\&223\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch3\u003E如何提高定位精度？\u003C\u002Fh3\u003E\u003Cp\u003E提高标定精度——高帧率连续空间采样\u003C\u002Fp\u003E\u003Cp\u003E提高图像提取精度——亚亚像素级的图像提取精度\u003C\u002Fp\u003E\u003Cp\u003E多传感器融合——加入IMU，利用IMU信息提高信噪比\u003C\u002Fp\u003E\u003Cp\u003E去除干扰点——通过调制光线，去除环境光照影响\u003C\u002Fp\u003E\u003Ch2\u003EQ&A环节\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：对于机器人是移动避障来说，单目是否比双目更好？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E从定位精度和鲁棒性来说，双目还是比单目好一些，如果从单目的场景来说，物体的复杂性会更高，而且单目的成本更低，但是对于机器人来说，成本不是太大问题，所以用双目做机器人的移动避障会更好些。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：做ADAS的话，单目和双目的差别在哪里？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003EADAS我研究的不多，我就以我认知的来说下。因为汽车是高速移动的物体，所以ADAS的反应速度非常快，单目的好处是视角范围比较大，双目的局限就在于它的视角会受限，不过单目只有一只“眼睛”，3D定位的话尺度问题不好解决，双目的定位范围要大些，精度可以做的比较高些。所以说两者之间还是有差别的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：跟踪定位未来有什么有前景的研究方向吗？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E目前主要是两个方向，一个是SLAM，这个是非常大的研究方向，不过到现在其实都不太成熟，到目前为止我见过最成熟的产品就是微软的HoloLens，就是有很多摄像头才能做到鲁棒性比较好，闭环做的比较好，无论是tango还是高通在VR上的的SLAM，都容易受到欢迎因素的影响，包括光照、白墙等等，离实用还是有比较大的距离，所以说这是一个比较大的研究方向。\u003C\u002Fp\u003E\u003Cp\u003E第二个就是在工业应用领域，这个时候需要解决的问题是精度，也就是说不用考虑成本问题，研究方向就是如何提高精度，毫米不够就亚毫米。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：在工业机器人中视觉应用广吗，有哪些常用的应用？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E在工业机器人领域，视觉应用会越来越广泛，比如仓储机器人都是无人值守的，自己完成搬运工作，那么它需要“眼睛”来识别环境，目前比较常见的定位方案是Kiva的标记点，未来一定是使用SLAM方案，机器人可以自行规划路线；第二个场景是制造，虽然说机械臂可以进行定位，但是仅适用于大批量重复性的制造，如果你需要经常对这个加工的目标不停的改变，你就需要辅助定位装置帮你进行重新设定，这个时候它的优势就出来了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：能否通过其他传感器获得摄像头的位姿，而不是通过图像计算获得？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E实际上现在我们常见的应用都会加入多个传感器来获得摄像头的位姿，最常见的就是MU，六轴或九轴的传感器辅助获得摄像头的位姿，比如摄像头出现遮挡，往往需要MU辅助获得摄像头的位姿，还有一种假如在室外，通过GPS获得经纬度，通过气压计获得高度信息，其实这也是多传感器融合的情况。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：在图像采集完后对图像处理，放大目标图像的灰度值，缩小非目标的灰度值中，如何使这个比例能更协调，而不只是根据主观推断？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E根据我们的经验比较难做，因为很难区分目标与非目标，所以我们常见的做法是尽可能在原始数据时让目标与非目标的区分度更大一些，方法很多，比如说可以通过增大目标物体的特征，比如亮度，或者通过调制光，把目标的特征点与非目标的特征点放大，然后再去放大灰度值，就是第一步就把问题解决，就很容易区分目标与非目标。所以，我倾向于解决问题解决前面，而不是放到后面去解决，这样会很难的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：对于小目标如何提取稳定特征点？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E最笨的方法是提高相机的分辨率，很容易把目标的像素点提高，获得的信息就多了，特征点容易稳定，带来的坏处就是增加成本，如果在不增加成本的情况下获取稳定的特征点呢？其实我们也做了一些工作，就像PPT里讲的做到了亚亚像素的精度，采用的策略是尽可能采集样本的数量，带来的坏处就是可能数据量增加帧数会下降，那么如何在样本数量增加的同时保障帧数不下降，这个是需要解决的问题，但是方法无外乎就是这些！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：图像匹配过程中有什么方法可以提高匹配精度？特征比较少的场景怎么解决？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E图像匹配过程中首先要找特征点，要想提高匹配精度就要尽可能找出更多的特征点。无论是双目还是单目，最难的场景是面对一面白墙，没有任何特征点，这个时候要想提高匹配精度就很难，这个也是一个世界难题，目前就我所知还没有特别好的办法能解决，如果非要去解决，那就人为制造特征点，比如打散斑，也就是结构光，这个时候能够提高匹配精度。简单来说就是尽量找特征，没有特征的话就人为制造特征。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E新智造：多传感器的时间戳同步问题怎么解决？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E周琨：\u003C\u002Fstrong\u003E如果你用CMOS传感器它就比较容易实现，因为好多CMOS传感器都有时间戳同步功能，如果CMOS传感器你还需要用到MU，想要实现时间戳同步，就需要确定一个同步的中心元，像在VR里面，比如我有两个摄像机和手柄，这个时候你需要用头盔做这个同步的中心，它发射命令出来，所有摄像头也好手柄也好向它对齐，关键是做到这一步，其他方面我觉得没什么。\u003C\u002Fp\u003E\u003Cp\u003E雷锋网原创文章，未经授权禁止转载。详情见\u003Ca href=\&http:\u002F\u002Fdwz.cn\u002F4ErMxZ\& data-editable=\&true\& data-title=\&转载须知\&\u003E转载须知\u003C\u002Fa\u003E。\u003Cp\u003EaHR0cDovL3dlaXhpbi5xcS5jb20vci9Qai1jeExQRXVPN0hyZmVuOTJvcw== (二维码自动识别)\u003C\u002Fp\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T07:51:09.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:2,&likeCount&:36,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T15:51:09+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic2.zhimg.com\u002Fv2-cfabdffea09_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:2,&likesCount&:36},&&:{&title&:&杉数科技CTO王子卓：4大案例告诉你，如何用机器学习玩转企业大数据 | 硬创公开课&,&author&:&ycgkk&,&content&:&\u003Cp\u003E在上一期雷锋网AI掘金志硬创公开课《十大场景案例详解：\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fcategory\u002Fai\& data-editable=\&true\& data-title=\&人工智能\&\u003E人工智能\u003C\u002Fa\u003E如何提升商业效益》中，我们通过案例详细介绍了AI用于商业实战中的场景和效益。而为了真正帮助推动AI落地，我们将带来更多场景单点技术干货分享，以飨读者。\u003C\u002Fp\u003E\u003Cp\u003E因此，本期公开课，雷锋网(公众号：雷锋网)邀请到杉数科技CTO王子卓博士来进行主题为“如何利用机器学习做运筹优化与\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002F\& data-editable=\&true\& data-title=\&智能\&\u003E智能\u003C\u002Fa\u003E决策”的分享。\u003C\u002Fp\u003E\u003Cp\u003E以运筹优化与智能决策为例，王子卓表示，大数据要产生实质价值，必须真正提升决策质量。规律性分析能够从海量数据中发掘出规律，但是找到规律并不自然而然带来决策方案，所以运筹优化学和机器学习，就是将实际中决策问题转化为数学模型，并用高效的优化算法求解。因此，本次公开课，王子卓博士将分享他在解决实际问题过程中的建模、算法优化实践经验。\u003C\u002Fp\u003E\u003Ch2\u003E嘉宾简介\u003C\u002Fh2\u003E\u003Cp\u003E王子卓，杉数科技CTO、明尼苏达大学工业与系统工程系助理教授，曾就职于IBM Watson研究中心及Janestreet capital等机构，担任分析\u002F研究员；清华大学数学与应用数学系学士，斯坦福大学金融数学硕士，斯坦福大学管理科学与工程博士，主要研究方向为定价与收益管理，电子商务、网络经济学，随机优化与鲁棒优化及其在管理科学与金融中的应用。\u003C\u002Fp\u003E\u003Cp\u003E杉数科技是一家专注于打造人工智能决策的初创公司，杉数科技旨在通过人工智能算法构建企业在大数据时代下的决策闭环——从数据收集、规律分析、到最终的决策，主要服务客户领域为电商零售、物流、金融。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cvideo id=\&89695\& data-swfurl=\&\& poster=\&https:\u002F\u002Fpuui.qpic.cn\u002Fqqvideo_ori\u002F0\u002Ffbq_228_128\u002F0\& data-sourceurl=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Ffbq.html\& data-name=\&机器学习中的运筹优化与智能决策_腾讯视频\& data-video-id=\&\& data-video-playable=\&\&\u003E\u003C\u002Fvideo\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E以上是王子卓博士公开课视频，强烈建议先看视频！\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E\u003Cstrong\u003E以下是本次公开课实录，雷锋网做了不改变原意的编辑：\u003C\u002Fstrong\u003E\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E我今晚分享的内容主要有运筹优化的背景；什么是运筹优化；运筹优化能解决的问题；运筹优化和机器学习之间的关系；最后展示几个运筹优化在实际中的应用以及和机器学习共同解决实际问题的场景。\u003C\u002Fp\u003E\u003Ch2\u003E大数据时代下的商务决策\u003C\u002Fh2\u003E\u003Cp\u003E如今是大数据的时代，公司都希望能利用数据做更好的决策。我认为从数据到决策主要有三个步骤：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E第一是数据的采集与管理，这是大数据时代的根本，这部分更多是由计算机技术实现的，包括硬件技术和软件技术，可以认为是数据驱动决策的原材料；\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E第二是对数据进行规律性分析，找到数据背后的规律，以预测未来，这一步是由统计技术或者机器学习技术完成的；\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E但在实际的场景中，并不是简单地对数据规律性分析，想要创造实际价值，我们需要根据分析结果进行决策，即第三步，利用数据进行决策建模与求解，这一步用到的技术是我们接下来讨论的运筹优化技术。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E数据是数据时代的原材料，规律性分析或机器学习把原材料加工成一些更精细内容，之后经过决策引擎，将这些材料转化成于公司有益的知识。具体到底什么是运筹优化呢？简单来说，我们可以将实际生活中的决策转化成数学模型，并且用运筹优化方法进行求解。\u003C\u002Fp\u003E\u003Cimg src=\&v2-4f2eb76b5a.jpg\& data-rawwidth=\&740\& data-rawheight=\&357\&\u003E\u003Cbr\u003E\u003Ch2\u003E运筹学的背景\u003C\u002Fh2\u003E\u003Cp\u003E从广义上讲，优化运筹是非常古老的学科，可以追溯到人类有生产生活之后的非常久远的历史。著名的数学家欧拉有一句话：“Nothing at all takes place in the Universe in which some rule of maximum or minimum does not appear。\&意思是，世间万物无非都是优化过程，企业生产、普通人的生活，甚至一些重要的自然规律，实际上都是某种优化的问题。给大家举个简单的例子，物理学中的光折射定律或者光反射定律，实际上都可以认为是光线在寻找一条路径以最短的时间达到某一点的某种优化问题。\u003C\u002Fp\u003E\u003Cp\u003E通常认为，现代的运筹优化起源于大约上世纪的四五十年代，大约在第二次世界大战期间，那个时候很多应用都集中于军事领域，盟军发现他们在作战时有很多数学问题需要解决，比如说雷达部署问题、运输船的护航问题、炸弹的投掷问题等，这些问题都是某种非常复杂的具体场景中的优化问题或者说数学问题。当时盟军雇佣了大量数学家及计算机学家，像冯诺依曼等。在这期间，人们系统地发展出一套解决这类问题的方法，这就是运筹学最初的背景。\u003C\u002Fp\u003E\u003Cimg src=\&v2-b052ac07f3b244a72c5f0aa2b619da01.jpg\& data-rawwidth=\&740\& data-rawheight=\&354\&\u003E\u003Cbr\u003E\u003Cp\u003E值得一提是，1947年，运筹学的泰斗George Dantzig发明了一个数学里最经典问题——线性优化问题的解法。如果大家对这种算法比较感兴趣，可以在网上找一找，这个算法被评为20世纪的十大算法。战争结束之后，运筹学更多的被用到民用场景中，包括企业、政府、经济发展等，并且也产生了大量的新算法以及运筹学的各个分支。\u003C\u002Fp\u003E\u003Cp\u003E在大约二三十年之前，由于计算机的发展，运筹学得到革命性突破，计算机的发展使得很多研究的算法得以真正实现，使得其能真正帮助企业进行优化和决策。过去十几年里，大数据的发展又给运筹学带来了更大的舞台，刚才也说到，运筹学可以认为是把实际中的数据转化成企业所需要的决策。大数据时代到来，我们有了大量的数据支撑，那我们就可以通过这一套方法帮助更多的企业进行更优决策。\u003C\u002Fp\u003E\u003Ch2\u003E智能决策的重要工具\u003Cbr\u003E\u003C\u002Fh2\u003E\u003Ch3\u003E运筹优化\u003C\u002Fh3\u003E\u003Cp\u003E运筹优化有两大重要的工具，第一是所谓的优化工具，我们说运筹优化，自然的优化本身是最核心的内容。优化问题有三个组成部分。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E首先是决策。在很多实际场景中，我们都是针对特定的某件事或特定的目的进行决策。比如公司会经常面临着库存方面问题，要决策每天订多少货物；电商可能面临着价格的决策、定价问题，在这个场景下，决策就是每一件商品的价格；在其他场景中，我们可能需要设计最优路线，比如快递公司以最快的速度投递每天的信件，决策就是投递的路线，路线的整体就是决策。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E第二是目标或目标函数，即我们做决策时希望达到的目的。比如刚才提到的有关库存的决策，目标通常是减少库存堆积、降低库存成本等；有关定价的决策目的是增加企业收入或者销量；路径优化的目的是使完成路线所需时间或者所需要的成本最小化。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E第三是约束，实际场景中，决策往往受到客观条件的约束，比如库存可能受到满足用户需求的约束；路径优化可能会有道路上的限制；或有时候我们希望尽量少左转，左转的次数就成为约束。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E优化问题便是要寻找在满足这些约束的条件下最好地达到目标的决策。\u003C\u002Fp\u003E\u003Cp\u003E在解决实际问题时，有两个关键的步骤：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E第一是建模，将实际问题通过最有效的数学形式来表达出来，建立数学模型。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E第二是求解，有了数学模型型之后，通过算法找到最优的决策、能够达到最优的目标的且满足约束条件的决策。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E这两步是整个优化问题中核心的两部分，缺一不可。\u003C\u002Fp\u003E\u003Cp\u003E首先，我们需要好的模型简洁有效地刻画实际问题。有效很容易理解，我们希望模型能够尽可能地和实际问题吻合，即考虑实际问题的各个因素；简洁是为了更好求解，另外也可以让人们更好地理解优化模型。算法或求解也是非常重要的。好的算法可以更有效地求解更大规模的问题，现在遇到的问题经常是非常大规模的，好的算法能保证在有效的时间内找到最优化目标的决策。\u003C\u002Fp\u003E\u003Ch3\u003E随机建模\u003Cbr\u003E\u003C\u002Fh3\u003E\u003Cp\u003E第二个工具是随机建模。主要的目的是科学刻画不确定性，并且基于不确定性环境分析，比如分析事物的发展规律及如何做出较优的决策。其中有很多具体的模型，比如随机优化模型、鲁棒优化模型、随机模拟方法以及像马尔可夫决策过程这样更加复杂的优化和决策模型。在复杂场景中，通常通过优化加随机建模的方法刻画问题，再通过优化的算法进行求解，最终得到在复杂问题场景之下的决策建议。\u003C\u002Fp\u003E\u003Cp\u003E以上就是运筹学两大核心内容，即优化和随机建模方法。\u003C\u002Fp\u003E\u003Ch2\u003E智能决策\u003C\u002Fh2\u003E\u003Cimg src=\&v2-31bf0efdb5df.jpg\& data-rawwidth=\&740\& data-rawheight=\&412\&\u003E\u003Cbr\u003E\u003Cp\u003E这几年，人工智能有非常大的发展，比如图像识别、语言识别等技术，应用领域包括\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E6%B1%BD%E8%BD%A6\& data-editable=\&true\& data-title=\&自动驾驶\&\u003E自动驾驶\u003C\u002Fa\u003E、智能诊断等。但机器学习或人工智能的本质到底是什么呢？这个问题有很多角度，但在我看来，机器学习或人工智能应用到具体问题中的话，它的核心也是两部分，一部分是模型，另一部分是算法。比如在自动驾驶中，我们需要通过模型判断如何识别障碍物或路况，有模型之后，我们需要通过算法求解这个模型。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里的算法包括两个部分，首先模型中存在大量参数，我们需要通过算法找到模型中的参数，使得模型能最好地刻画想刻画的场景。另外，通过算法求解最优决策。在自动驾驶中，我需要决定车往左走多少度或往右走多少度；在游戏里要决定我下一步做什么。算法的第二部分就是在模型基础上做出最优决策。\u003C\u002Fp\u003E\u003Cp\u003E我认为，机器学习和人工智能在解决实际问题的任何场景中，核心部分仍然是模型和算法两部分，虽然不同的场景有可能有不同模型和算法，这与上面介绍的运筹优化是一致的。\u003C\u002Fp\u003E\u003Cimg src=\&v2-882b65fa4a3ad2f98bf85.jpg\& data-rawwidth=\&740\& data-rawheight=\&366\&\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Ch3\u003E机器学习与运筹优化关系\u003C\u002Fh3\u003E\u003Cp\u003E很多时候，机器学习本身的核心也是运筹优化的一部分。机器学习中一个非常经典的问题：支持向量机问题，简称SVM问题。\u003C\u002Fp\u003E\u003Cp\u003E这个问题的背景是这样的：我有很多数据点，我知道一些数据属于某种类别，另一些不属于，我需要找到方法区分这两类数据点，如果有新数据点进来，我就可以判断其是否属于某个类别，这可以用到智能诊断中。数据点对应病人的病历，通过历史数据，我们知道某些病人患有哪些疾病，通过这样的分类，我们对未来病人自动诊断。\u003C\u002Fp\u003E\u003Cp\u003E这类问题的应用场景非常广泛，除去刚才提到的智能诊断之外，还比如垃圾邮件自动分类、模式识别等，甚至一些图像识别都可以用类似方法处理。这是非常基本、也是非常核心的机器学习问题，从数学角度来看，这个问题无非就是优化问题。\u003C\u002Fp\u003E\u003Cimg src=\&v2-f35ade357ba394b524c740c8b7de09d9.jpg\& data-rawwidth=\&740\& data-rawheight=\&359\&\u003E\u003Cbr\u003E\u003Cp\u003E上面PPT的右上角坐标系中，我们希望找到一种分割方式，把红点和蓝点尽可能地区分开。假设先考虑简单的划分方法，比如找到一条直线尽可能将红点和蓝点区分，那么，决策就是找到这条线，这条线对应运筹优化中的决策。有了决策，即我们找到了这条线之后，未来有一个新的点，只需判断其在线上还是线下，就能判断它是红色还是蓝色。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E我们的目标是尽可能使这条线把不同类别的数据点能够分开。在实际情况，显然不可能有一条线数据点彻底分开，必然存在误差，这种情况下，我们就要尽量减小误差。除此之外，实际中对于这些线也有约束，比如参数要满足特定条件。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这样，我们可以把这个问题写成优化问题，通过求解找到最优参数。如今，通过一些先进的优化算法，可以非常有效地求解这类优化问题，把这类问题转化线性规划问题或凸优化问题，现在算法可以非常有效地求解。对于上述问题，哪怕存在几百万变量求解也可以很容易，在笔记本电脑上求解可能只需要几秒或者几分钟。其中的核心是优化算法。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E刚才我们是用直线划分，其实我们也可以用其他形状划分，比如椭圆、圆形等。不同情况对应不同的模型，不同的模型对应不同的优化问题，写优化问题的时候需要修改，修改后又会面临求解问题，其中会涉及到优化问题求解算法。其中，优化模型和算法是机器学习问题的关键。\u003C\u002Fp\u003E\u003Cp\u003E实际上，基本所有机器学习问题都可以归类成优化问题，我们需要选择的是机器学习模型下的参数，用x表示；历史的数据用D表示，我们要寻找最优参数使其可以最好描述历史数据。f表示x和D的拟合程度，通常对于x，我们会加一些惩罚函数使得x满足某种条件，甚至有时对x加一些约束条件。\u003C\u002Fp\u003E\u003Cp\u003E从这个角度来讲，所谓的机器学习问题，本质上都是优化问题，如果我们有优化算法方面的优势，意味着我们也有机器学习算法的优势。\u003C\u002Fp\u003E\u003Cimg src=\&v2-c0d7a96b5ce71d1fb8d397.jpg\& data-rawwidth=\&740\& data-rawheight=\&357\&\u003E\u003Cbr\u003E\u003Cp\u003E研究机器学习或讨论机器学习时，一方面模型的选取非常重要，另外一方面，背后的优化算法也很重要，这些才是使你在面对新模型或复杂场景时都找到好的解决方案的基础。\u003C\u002Fp\u003E\u003Ch3\u003E机器学习、运筹优化、应用案例\u003C\u002Fh3\u003E\u003Cp\u003E\u003Cstrong\u003E一、在线匹配问题\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E\u003Cstrong\u003E静态匹配的问题\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E我简单介绍一下静态匹配问题，在很多场景中我们都会面临这样的问题，即将供给和需求进行匹配，比如\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E6%89%93%E8%BD%A6%E8%BD%AF%E4%BB%B6\& data-editable=\&true\& data-title=\&打车软件\&\u003E打车软件\u003C\u002Fa\u003E需要将出租车司机和乘客进行匹配；搜索引擎需要把搜索关键词和广告商进行匹配；在线交友网站需要把男生和女生进行匹配，其中每一个匹配都有其分数，即两端匹配程度。\u003C\u002Fp\u003E\u003Cp\u003E在静态的匹配问题中，我们的目标是供给与需求如何匹配以最大化匹配总分数，这样的问题实际上就是典型的优化问题。我们按照刚才说的决策目标和约束，把它写成优化问题。\u003C\u002Fp\u003E\u003Cp\u003E在实际场景中会存在一些约束，比如一个供给只能匹配给一个需求，一个需求只能配给一个供给，以及一些更复杂约束都有需要考虑，但是不管怎样，我们把这个问题写成优化问题，有好的算法之后就可以高效求解。\u003C\u002Fp\u003E\u003Cimg src=\&v2-63e1b401fd48cacda95a76.jpg\& data-rawwidth=\&740\& data-rawheight=\&357\&\u003E\u003Cbr\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E\u003Cstrong\u003E在线匹配问题\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E上面讲的是静态匹配问题，即假设匹配的两端都是在确定的情况下进行匹配的。但在实际场景中，我们通常面临动态或在线的问题，比如在打车过程中，车和乘客都是动态出现的；在搜索引擎场景下，匹配一端比如广告商是固定的，但关键词是逐个出现的，每出现一个关键词的时候都要决定把它匹配给哪个广告商。这些问题涉及不确定性，我们在匹配这个需求的时候，并不知道未来可能还会产生哪些需求或者供给，但目标仍是使得最终匹配分数最大，在某个时间段或长时间维度上获得最大价值。这就是一个不确定性下的优化问题。\u003C\u002Fp\u003E\u003Cimg src=\&v2-2fa40d279c02c340ae7c0ee532668eef.jpg\& data-rawwidth=\&740\& data-rawheight=\&361\&\u003E\u003Cbr\u003E\u003Cp\u003E这个问题就比静态匹配问题复杂不少，但我们仍然可以把它写成优化问题形式，只不过在这类优化问题中，系数不是事先给定而是动态生成的，我们可以用多种方式假设，比如这些系数可能是按某种概率分布生成的，甚至我们可能都不知道这些系数分布，只知道出现的顺序是随机的。我们可以有不同的假设，但在每一个点产生之后，我们要决定如何进行分配，是分配给某资源？或不匹配这个点，这就是实际中做决策的问题。\u003C\u002Fp\u003E\u003Cp\u003E实际上，对于做运筹优化的人来说，我们要对这个问题设计一系列算法，即如何决策才能达到最优目标。经过一系列研究之后，人们提出一些算法。其中一种算法是，观察少量样本，求得每个右端资源j的“合理”价格，在优化里称之为“对偶变量”。当新的需求或匹配产生之后，将匹配分数和所需消耗资源的价值进行比较，看这个匹配是否带来了应有的价值，如果匹配的价值比计算出的合理价格高的化，我们就进行这个匹配，而且选择其中最有匹配使得价值比价格高最多。否则，就拒绝这个匹配请求，这就形成了可以实际运行的算法。\u003C\u002Fp\u003E\u003Cp\u003E另外， 做运筹优化的人不仅是提出一个算法，还希望能证明一个算法确实能够达到最优的决策，实际上，通过一些数学方法也可以证明。\u003C\u002Fp\u003E\u003Cp\u003E从某方面看，这个问题也有一个机器学习的成分，比如通过不断观察样本，机器可以学习每件商品的价值。本质上，这也是优化结合随机建模的问题，我们刚才讲到优化和随机建模是运筹学的两大核心内容，通过这样的算法和模型，我们可以面对这种实际的场景，达到长期最优的策略。\u003C\u002Fp\u003E\u003Cimg src=\&v2-27fab32e34e890d222fccb.jpg\& data-rawwidth=\&740\& data-rawheight=\&359\&\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E二、收益管理\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E第二个是关于收益管理的场景。简单来说，收益管理就是定价和销售问题，商家要决定其商品以什么形式什么价格卖给消费者，或者说希望以正确的时间将正确的商品以正确的价格卖给正确的人，通常在进行收益管理的决策的时候会有这样的过程。\u003C\u002Fp\u003E\u003Cp\u003E首先是数据采集；然后根据数据对消费者进行分析，比如客户挖掘、对消费者进行标注、分析消费者对价格的敏感程度等；在此基础上进一步决策，比如用什么样的价格买哪些商品、什么时间卖等。实际上这部分与我们开始说的从数据到决策的链条是一致的。\u003C\u002Fp\u003E\u003Cimg src=\&v2-b82d608f9c9f1bdfc91ff6.jpg\& data-rawwidth=\&740\& data-rawheight=\&354\&\u003E\u003Cbr\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E\u003Cstrong\u003E组合定价\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E其中一个很重要的问题叫组合定价问题。商家要管理很多商品，商品之间可能会有需求的关联性，比如同时销售可乐和百事的话，一种商品的价格可能会影响另一种商品的销量，在这种情况下，商家需要决定如何对多种商品进行组合定价。其中的决策就是每一种商品的具体价格，目标是未来最大化整体收益，这个过程也涉及建模和求解两个步骤。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-961dd753f8acb76e77e4e5fd6a815ba9.jpg\& data-rawwidth=\&740\& data-rawheight=\&356\&\u003E\u003Cbr\u003E\u003Cp\u003E这里也有很多模型，比如通过消费者选择模型刻画消费者对商品的选择，其中用到优化和机器学习选择最好的模型。有了模型之后，我们要决定如何定价以最大化利润或销量等，这就变成了非常经典的优化问题。除定价以外，商家还面临着像选品、商品展示区等问题，仍然需要考虑到商品之间互相影响情况，这些问题均可以写成优化问题，同样需要优化算法对这类问题求解。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E三、动态定价\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E上述组合定价问题可以看做静态问题，在实际中我们经常遇到动态问题。一开始，我们对消费者的偏好不是非常了解，希望通过动态定价、数据收集来了解消费者对商品的偏好、或学习消费者的行为，这就涉及如何动态定价的问题。我们要确定到底要通过多少数据点、怎么设计这些价格以学习消费者行为，同时不能由于定价波动太大造成收益损失、或对消费者产生负面影响，我们要确定什么样的方案是长期最优方案，既能学习到消费者对商品的偏好，又能够获得最大收益，这个可以认为是机器学习问题，也可以看做运筹优化和机器学习结合问题。\u003C\u002Fp\u003E\u003Cp\u003E同样，关于这类问题有大量算法，但重要的是，我们不仅要提出算法，还要证明这个算法是所有算法中最好的。\u003C\u002Fp\u003E\u003Cimg src=\&v2-af830a89ada3d.jpg\& data-rawwidth=\&740\& data-rawheight=\&360\&\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E四、路径优化\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们之前也提到过，像电商、物流公司等企业在经营过程中都会面临这样的问题：比如每天要把货物送达几个消费者，想要设计一条在最短的时间或路程内完成任务的路线，这就是路径优化问题的基本形式。\u003C\u002Fp\u003E\u003Cp\u003E有许多优化模型或算法可以求解这个模型，但实际生活中，基于这个基本的场景还有很多非常复杂的变化或需求，比如不仅要送货，还要取货；不仅是一个人送货，可能有很多人或车要送货或取货，这就涉及到车辆和人员的分配问题；或有些需求不是事先确定的，还有一些实时需求，比如快递员突然接到上门取件的订单；另外，在送货路途上花费的时间也有很大不确定性，这些情况下，就需要在线算法应对这样的需求。现在比较火的自动化仓库管理，机器人管理仓库时会遇到货物摆放问题、机器人如何取货问题等，这里要平衡不同机器人之间任务以及优化每一个机器人路径，其中也会面临复杂的建模和求解问题。\u003C\u002Fp\u003E\u003Cp\u003E实际场景中的问题是非常复杂的，而把这些场景的要求转化为数学模型，之后进行求解，这是运筹优化最擅长的。\u003C\u002Fp\u003E\u003Ch2\u003E总结：\u003C\u002Fh2\u003E\u003Cp\u003E说了这么多，我希望大家能了解这几点：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E对运筹优化有基本了解。什么是运筹优化，对于实际问题能产生什么价值，运筹优化和机器学习的关系。两者之间更多是一种相互支持的关系，在很多场景下，优化运筹和机器学习结合才能提高好的解决方案。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E运筹优化的一些基本方法。包括优化和随机建模。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E最后，我想谈一下国内运筹优化的发展情况。\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E总的来说，国内运筹优化的发展比美国要落后一些，美国很多的大企业，像亚马逊、谷歌或者一些物流企业，内部都有一大批运筹学背景的团队来解决公司生产可能面临的问题，比如亚马逊中有50~200个的运筹学博士做定价、库存、物流等方面的决策支持。这方面，国内要落后一些，但我认为，未来几年，国内很多企业会在这方面转型，过程中正需要运筹优化的技术，这些技术帮助企业将大数据转换为真正的决策。\u003C\u002Fp\u003E\u003Cp\u003E相关文章：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FmGcHUC1Q4GD1VXBf.html\& data-editable=\&true\& data-title=\&大数据反欺诈+保险赔付：看互联网保险如何普惠\&\u003E大数据反欺诈+保险赔付：看互联网保险如何普惠\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2F0bP0S8GQSmbJUSHB.html\& data-editable=\&true\& data-title=\&IBM人工智能技术商业化落地现状：目前已渗透到60多个职业领域\&\u003EIBM人工智能技术商业化落地现状：目前已渗透到60多个职业领域\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FTIfrY8vL382Cvprn.html\& data-editable=\&true\& data-title=\&盘点 | 过去一年拿到融资的脑机接口玩家\&\u003E盘点 | 过去一年拿到融资的脑机接口玩家\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E雷锋网原创文章，未经授权禁止转载。详情见\u003Ca href=\&http:\u002F\u002Fdwz.cn\u002F4ErMxZ\& data-editable=\&true\& data-title=\&转载须知\&\u003E转载须知\u003C\u002Fa\u003E。\u003C\u002Fp\u003E&,&updated&:new Date(&T08:08:52.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:0,&likeCount&:5,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T16:08:52+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic2.zhimg.com\u002Fv2-7bad77dffd2ac79ac0c03ad_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:0,&likesCount&:5},&&:{&title&:&一周预告 ：TK 教主来了，揭秘 CTF 背后的故事；AI 在金融风控有哪些应用，资深数据科学家告诉你&,&author&:&ycgkk&,&content&:&\u003Cp\u003E本周、公开课君邀请到了国际顶尖白帽\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E9%BB%91%E5%AE%A2\& data-editable=\&true\& data-title=\&黑客\&\u003E黑客\u003C\u002Fa\u003E，在国内黑客界被尊称为 “TK 教主” 的于旸、腾讯 eee 战队队长谢天忆、氪信资深数据科学家朱敏，Strikingly 创始团队成员龚凌晖，给大家带来三场精彩的公开课分享，名额有限，大家赶紧报名听课吧~\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FlGMkOOjWbzIgAMvv.html\& data-editable=\&true\& data-title=\&TK 教主公开课首秀，揭秘 CTF 背后的故事 | 硬创公开课预告\&\u003ETK 教主公开课首秀，揭秘 CTF 背后的故事 | 硬创公开课预告\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E嘉宾简介\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E于旸，\u003C\u002Fstrong\u003E国际顶尖白帽黑客，腾讯安全联合实验室旗下玄武实验室负责人，在国内黑客界被尊称为 “TK 教主”，微软\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E6%BC%8F%E6%B4%9E\& data-editable=\&true\& data-title=\&漏洞\&\u003E漏洞\u003C\u002Fa\u003E缓解技术绕过悬赏十万美元大奖全球三个获得者之一，CISP 认证 “恶意代码” 课程的最初设计者。2016 年曾获得 Pwnie Awards“最具创新性研究奖” 提名，成为该奖项设立 10 年来唯一获得过该提名的亚洲人。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E谢天忆，\u003C\u002Fstrong\u003E腾讯安全联合实验室旗下科恩实验室安全研究员，腾讯 eee 战队队长，带领战队获得 SECCON 大赛季军，Nuit du Hack 2017 CTF 线上赛冠军。毕业于上海交通大学，在校期间是国内知名 CTF 战队 0ops 队长，2016 年 DEF CON CTF 亚军团队 b1o0p 成员。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E内容简介\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E本期公开课包含但不限于以下内容\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003ECTF 的历史和发展情况\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003ECTF 和信息安全人才培养\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E信息安全人才的职业发展\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003ETCTF 线上预赛试题解读\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003EQ&A\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E活动详情\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E时间：\u003C\u002Fstrong\u003E4 月 18 日晚上 8 点\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E形式：\u003C\u002Fstrong\u003E线上视频直播\u003C\u002Fp\u003E\u003Cp\u003E同步播放平台：雷锋网(公众号：雷锋网) APP、腾讯学院、斗鱼、\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002Fzaker\& data-editable=\&true\& data-title=\&ZAKER\&\u003EZAKER\u003C\u002Fa\u003E、全民直播。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E互动方式：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 雷锋网 App 直播频道内 “问答区” 直接提问；\u003C\u002Fp\u003E\u003Cp\u003E2. 加入本次硬创公开课直播的微信群。扫描下方海报上的二维码，关注 “雷锋网” 公众账号后，公众号内回复 “\u003Cstrong\u003E161”\u003C\u002Fstrong\u003E 报名，进入行业微信群讨论。\u003Cimg src=\&v2-da3e08b192e7cba7100dc39.jpg\& data-rawwidth=\&500\& data-rawheight=\&889\&\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2F72woE0G9exbTFMJo.html\& data-editable=\&true\& data-title=\&AI 在金融风控领域的工业应用 | 硬创公开课\&\u003EAI 在金融风控领域的工业应用 | 硬创公开课\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E嘉宾简介：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E朱敏，\u003C\u002Fstrong\u003E氪信资深数据科学家，深耕应用统计和数据挖掘领域。复旦大学生物统计学硕士，曾任职 PayPal 高级分析师，负责核心风险控制数据变量、排序策略、评价指标的设计研发，并在反欺诈策略、行为特征等方面拥有丰富的研究经验。曾任职 eBay 数据分析师，负责 AB 测试与搜索算法的评估。多年以来专注金融统计和风险评估算法研究，在互联网级别的机器学习算法和统计理论商业应用领域有丰富的理论研究和实践经验。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E内容简介：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E1、为什么说现在到了需要金融 + AI 的时代？\u003C\u002Fp\u003E\u003Cp\u003E2、如何构建基于 AI 的金融风控系统？\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E全域金融知识图谱\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E深度学习\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E集成学习模型\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E大规模反欺诈网络\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E3、从算法到产品，完整的 AI-DRIEVEN 金融风控系统落地思考\u003C\u002Fp\u003E\u003Cp\u003E活动详情：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E时间：\u003C\u002Fstrong\u003E4 月 17 日周一晚 8 点\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E形式：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E雷锋网 APP: 直播频道\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E斗鱼直播：（房间号：788495）\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003Ezaker : 直播频道 首页房间\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E互动方式：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 雷锋网 App 直播频道内 “问答区” 直接提问；\u003C\u002Fp\u003E\u003Cp\u003E2. 加入本次硬创公开课直播的微信群。扫描下方海报上的二维码，关注 “雷锋网” 公众账号后，公众号内回复 “\u003Cstrong\u003E162\u003C\u002Fstrong\u003E” 报名，进入行业微信群讨论。\u003Cimg src=\&v2-333f160b2211bace7de61.jpg\& data-rawwidth=\&740\& data-rawheight=\&1317\&\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FWfNfOGmW0hU94azu.html\& data-editable=\&true\& data-title=\&谈谈 Serverless 服务，颠覆你对云的理解 | 硬创公开课预告\&\u003E谈谈 Serverless 服务，颠覆你对云的理解 | 硬创公开课预告\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E嘉宾介绍\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E龚凌晖，Strikingly 创始团队成员，第一个工程师。毕业于复旦大学计算机学院，在加入 Strikingly 之前，曾在 Morgan Stanley 的 Enterprise Infrastructure 部门任职。2013 年加入 Strikingly 之后，做过产品，搞过运维自动化，研究过 Web Analytics 和 SEO，玩过数据分析，目前在团队中负责后端开发，系统运维以及数据分析等部门的项目研发和团队管理。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E内容介绍\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003EServerless 是什么？到底长什么样？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E它在业界的现状发展如何？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E它的优势和问题是什么？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E对开发者的意义在哪里？\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E…………\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E活动详情：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E时间：\u003C\u002Fstrong\u003E4 月 19 日，周三晚上 8 点\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E形式：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E雷锋网 APP: 直播频道\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E斗鱼直播：（房间号：788495）\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003Ezaker : 直播频道 首页房间\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E互动方式：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 雷锋网App 直播频道内 “问答区” 直接提问；\u003C\u002Fp\u003E\u003Cp\u003E2. 加入本次硬创公开课直播的微信群。扫描下方海报上的二维码，关注 “雷锋网” 公众账号后，公众号内回复 “\u003Cstrong\u003E163\u003C\u002Fstrong\u003E” 报名，进入行业微信群讨论。\u003Cimg src=\&v2-bc96cb41cf123cae76d54.jpg\& data-rawwidth=\&740\& data-rawheight=\&1317\&\u003E\u003C\u002Fp\u003E\u003Cp\u003E雷锋网版权文章，未经授权禁止转载。详情见\u003Ca href=\&http:\u002F\u002Fdwz.cn\u002F4ErMxZ\& data-editable=\&true\& data-title=\&转载须知\&\u003E转载须知\u003C\u002Fa\u003E。\u003C\u002Fp\u003E&,&updated&:new Date(&T09:06:29.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:0,&likeCount&:0,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T17:06:29+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:0,&likesCount&:0},&&:{&title&:&深度解析音频检测背后的技术 | 硬创公开课&,&author&:&ycgkk&,&content&:&\u003Cp\u003E网络直播行业经历了过去两年的井喷式爆发后，到现在依旧保持着持续火热的态势。但这一市场火爆的背后也一直暴露了一些问题，低俗内容屡见不鲜。显然，要解决这一问题就必须要有比人工鉴黄效率更高的手段，用人工智能技术来鉴黄就是现在直播平台通用的手段。\u003C\u002Fp\u003E\u003Cp\u003E虽然不少企业都把目光聚焦在视频鉴黄上，但音频审核也是人工智能鉴黄技术的一部分，二者缺一不可。那在大家熟悉的视频鉴黄之外，音频检测究竟能解决哪些问题？这一技术是如何进行鉴黄的呢？\u003C\u002Fp\u003E\u003Cp\u003E本期雷锋网(公众号：雷锋网)硬创公开课，我们邀请了极限元智能科技联合创始人马骥为大家解读关于音频审核背后的技术。\u003C\u002Fp\u003E\u003Ch2\u003E嘉宾介绍\u003C\u002Fh2\u003E\u003Cimg src=\&v2-e4ee33dce2dd.jpg\& data-rawwidth=\&520\& data-rawheight=\&568\&\u003E\u003Cp\u003E马骥：极限元智能科技联合创始人，曾先后就职于中科院软件研究所、华为技术有限公司，获得多项关于语音及音频领域的专利，资深软件开发工程师和网络安全解决方案专家，擅长从用户角度分析需求，提供有效的技术解决方案，具有丰富的商业交流和项目管理经验。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E以下内容整理自本期公开课，雷锋网做了不改变原意的编辑：\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Ch2\u003E一、音视频审核的需求现状\u003C\u002Fh2\u003E\u003Cp\u003E音视频审核主要针对互联网传播的信息进行审核，审核的内容有有害信息（涉黄、涉暴）、敏感信息。\u003C\u002Fp\u003E\u003Cp\u003E以直播平台为例，2016年，是互联网直播平台爆发的一年，除了各式各样的直播形式。与此同时，也出现了大量的在线实时信息，这其中是有害信息，涉黄是最为严重的一个现象。今年，相关部门已经针对这些乱象加大了打击力度，因此基于互联网直播平台的有害信息检测成为重中之重。\u003C\u002Fp\u003E\u003Cp\u003E以图像识别技术为基础如何进行鉴黄？在直播的时候，每个直播间会间隔一秒或几秒采集一个关键帧，关键帧会发送到图像识别引擎，引擎根据图像的颜色、纹理等等特征来对敏感图像进行过滤，这一过程会检测肢体轮廓等关键特征信息，然后对检测图像特征与特征库模型里面的特征相似度进行匹配，给予待测图像色情、正常、性感等不同维度的权重值，以权重值最高的作为判定结果输出。\u003C\u002Fp\u003E\u003Cp\u003E基于图像识别得视频涉黄检测准确率可以达到99%以上，可以为视频直播平台节省70%以上的工作量。\u003C\u002Fp\u003E\u003Cp\u003E还有一些是语音为主的直播节目，比如谈话聊天、脱口秀、在线广播等。视频检测所使用到的图像技术就很难在这些应用场景发挥作用，所以音频检测需要有针对性的技术手段。\u003C\u002Fp\u003E\u003Cp\u003E除了刚刚提到的几个音频检测应用场景之外，例如网络音视频资源审核，例如微信发布语音视频信息，平台后台会对这些数据进行审核；另外公安技侦通过技术手段来侦查网络、电话犯罪行为；第三个是呼叫中心，传统呼叫中心会产生大量的电话录音，很多行业会对这些录音进行录音质检，从这些录音中提取业务开展的情况；最后一个是电信安全，主要是以关键词检索的手段来防止电信诈骗。\u003C\u002Fp\u003E\u003Ch2\u003E二、音频检测采用的技术手段\u003C\u002Fh2\u003E\u003Cp\u003E音频可以分为有内容和无内容两种：说话内容相关的包括说了什么？（涉政、涉黄、涉赌还是广告信息），另外还可以从说话内容来判断语种以及说话人的辨识；此外还有与说话内容无关的信息，例如特定录音片段、歌曲旋律、环境音等等。\u003C\u002Fp\u003E\u003Cp\u003E针对不同的数据类型有不同的检测技术。针对说话内容有语音识别、关键词检索等；针对语种的判别有语种识别的技术；针对说话人的识别有声纹识别技术；针对说话内容无关的通常采用音频比对的技术来进行检测。\u003C\u002Fp\u003E\u003Ch3\u003E语音识别的关键技术——声学模型\u003C\u002Fh3\u003E\u003Cp\u003E语音识别的声学模型主要有以下两种：混合声学模型和端到端的声学模型。\u003C\u002Fp\u003E\u003Cp\u003E混合声学模型通常是隐马尔科夫模型结合混合高斯、深度神经网络、深度循环神经网络以及深度卷积神经网络的一个模型。\u003C\u002Fp\u003E\u003Cp\u003E端到端声学模型目前有两大类，一是连接时序分类—长短时记忆模型，二是注意力模型。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——混合高斯—隐马尔科夫模型\u003Cimg src=\&v2-5cb210b76d13dd77c8a6fc.jpg\& data-rawwidth=\&670\& data-rawheight=\&405\&\u003E\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E混合高斯—隐马尔科夫模型是根据语音的短时平稳性采用采用隐马尔科夫模型对三因子进行建模。图中显示的是，输入语音参数通过混合高斯模型计算每一个隐马尔科夫模型状态的后验概率，然后隐马尔可夫模型转移概率来描述状态之间的转移。\u003C\u002Fp\u003E\u003Cp\u003E混合高斯—隐马尔科夫模型是出现最早应用最久远的模型。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——深度神经网络—隐马尔科夫模型\u003Cimg src=\&v2-4cc917eca63dbf928ff86e0b.jpg\& data-rawwidth=\&740\& data-rawheight=\&381\&\u003E\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E混合神经网络—隐马尔科夫模型是将混合高斯模型用深度神经网络进行替代，但是保留了隐马尔科夫的结构，对于输入端的扩帧和深度神经网络的非线性变换，识别率可以得到很大的提升。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——深度循环神经网络—隐马尔科夫模型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E前面的深度神经网络对历史信息的建模只是通过在输入端扩帧实现的，但对历史信息的建模作用是有限的。\u003C\u002Fp\u003E\u003Cimg src=\&v2-a26a4fe0e6fd384fe003f.jpg\& data-rawwidth=\&643\& data-rawheight=\&418\&\u003E\u003Cbr\u003E\u003Cp\u003E在深度循环神经网络中，对输入的历史信息可以进行有效的建模，可以做大限度的保留历史信息。根据现有的实验结果来看，在很多任务上，深度循环神经网络性能表现要由于深度神经网络。\u003C\u002Fp\u003E\u003Cp\u003E当然，深度循环神经网络也存在一些缺点。例如，在训练的时候，会出现梯度爆炸和梯度消失的问题。\u003C\u002Fp\u003E\u003Cp\u003E那么如何有限解决梯度爆炸和梯度消失的问题呢？学者又引入了一种长短时记忆模型。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——长短时记忆模型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-0f5c66f6ad97ddaf240ba.jpg\& data-rawwidth=\&710\& data-rawheight=\&423\&\u003E\u003Cbr\u003E\u003Cp\u003E长短时记忆模型采用控制门（包括输入门、遗忘门和输出门）将梯度累积变成梯度累加，在一定程度上可以解决深度循环神经网络训练时梯度消失的问题。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——深度卷积神经网络—隐马尔科夫模型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E上面提到的深度循环神经网络能够有效地对历史信息进行建模，但是它存在计算量太大的问题，特别是为了减少这种梯度消失又引入了长短时记忆模型之后，计算的信息量有加剧。应对这一难题，业界又引入了深度卷积神经网络模型。\u003C\u002Fp\u003E\u003Cimg src=\&v2-1bdba395f5a619f826f9.jpg\& data-rawwidth=\&609\& data-rawheight=\&420\&\u003E\u003Cbr\u003E\u003Cp\u003E这种模型在图像识别领域和语音识别领域都得到了显著的效果。\u003C\u002Fp\u003E\u003Cp\u003E在语音识别领域，我们可以从图中可以看出，一共有四种深度神经网络的模型结构，随着深度的增加可以有效地提升声学模型的构建能力。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——连接时序分类—长短时记忆模型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E前面提到的都是基于混合模型，以隐马尔科夫模型来构建转换概率的模型。\u003C\u002Fp\u003E\u003Cimg src=\&v2-ba411fdfb0c.jpg\& data-rawwidth=\&740\& data-rawheight=\&327\&\u003E\u003Cbr\u003E\u003Cp\u003E在训练过程中，如果要用到高斯混合模型进行强制对齐结果的训练。针对这个问题，也有学则提出了不需要强制对齐的训练方法，例如连接时序分类（CTC），这种方法可以有效加速解码速度。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E声学模型——注意力模型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-c7ab4996cbd2e651b7e5d1.jpg\& data-rawwidth=\&473\& data-rawheight=\&448\&\u003E\u003Cbr\u003E\u003Cp\u003E另外一种不需要强制对齐的训练方法是注意力模型的训练方法（如上图）。\u003C\u002Fp\u003E\u003Ch3\u003E语言模型\u003C\u002Fh3\u003E\u003Cp\u003E\u003Cstrong\u003E语言模型——N-Gram\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-0a79dd401ba18c77c70430.jpg\& data-rawwidth=\&690\& data-rawheight=\&431\&\u003E\u003Cbr\u003E\u003Cp\u003E基于N-Gram的特点是每个词出现的概率，之和前面第N-1个词有关，整句话出现的概率是每个词出现的概率的乘