当前位置： &
2,206 次阅读 -
作者：KPMG大数据挖掘
摘要：对大数据感兴趣的你想必一定知道决策树这个名词吧，是不是也听说过其中各种复杂的组合算法呢？不过，在实际业务中，复杂的算法一定优于简单的算法吗？No……如果你觉得自己认识得还不够深入、全面，或者还缺乏实践的机会，请仔细阅读这篇专业长文。
凡是在统计分析或机器学习领域从业的朋友们，对决策树这个名词肯定都不陌生吧。
决策树是一种解决分类问题的绝好方法，顾名思义，它正像一棵大树一样，由根部不断生长出很多枝叶；它的优点实在太多，比如可以避免缺失值的影响、可以处理混合预测、模型容易展示等。然而，决策树的实际应用也绝不简单，如果树根稍有不稳、或者枝干略有差池，树就可能会彻底长偏啦，我们总是需要仔细挑选单棵决策树、或适当的组合。
单棵决策树
这是统计分析领域比较常用、机器学习领域也用得烂熟的分类算法：一棵大树上每支叶子自成一类。在实际业务中，大家最关心的问题包括：在每一个节点该选择哪个属性进行分割？该怎样分割才能效果最好？这些问题通常都可以通过SAS Enterprise Miner中强大的交互决策树功能解决，选择最大的logworth值来选择拆分变量、创建拆分规则。
不过，这样的分类过程到底应该在什么时候结束呢？最直观的方式当然是在每个子节点只有一种类型的记录时停止分类，但是这样可能会使得树的节点过多，导致过拟合问题（overfitting），即该决策树对训练数据可以得到很低的错误率，但是运用到验证数据上时却错误率极高。所以，剪枝是优化和解决这类问题的必要做法，我们之前介绍过的K折交叉验证（点击阅读）也可用来对原始决策树进行验证和裁减，从而得到最优决策树。单棵决策树的实现在SAS Enterprise Miner中有现成的节点可直接使用。
除了剪枝、交叉验证等手段外，为了有效减少单决策树带来的问题，与决策树相关的组合分类（比如Bagging, Boosting等算法）也逐渐被引入进来，这些算法的精髓都是通过生成N棵树（N可能高达几百）、最终形成一棵最适合的结果分类树。有人戏称这是三个臭皮匠顶一个诸葛亮的算法：虽然这几百棵决策树中的每一棵相对于C4.5算法来说可能都很简单，但是他们组合起来却真的很强大。下面我们就来简单介绍几种常见的组合算法：
Bagging组合算法
Bagging组合算法是bootstrap aggregating的缩写。我们可以让上述决策树学习算法训练多轮，每轮的训练集由从初始的训练集中有放回地随机抽取n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后就可以得到一个决策树群h_1,……h_n ，也类似于一个森林。最终的决策树H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。
Boosting组合算法
此类算法中其中应用最广的是AdaBoost(Adaptive Boosting)。在此算法中，初始化时以等权重有放回抽样方式进行训练，接下来每次训练后要特别关注前一次训练失败的训练样本，并赋以较大的权重进行抽样，从而得到一个预测函数序列h_1,?, h_m , 其中h_i也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，所以Boosting更像是一个人学习的过程，刚开始学习时会做一些习题，常常连一些简单的题目都会弄错，但经过对这些题目的针对性练习之后，解题能力自然会有所上升，就会去做更复杂的题目；等到他完成足够多题目后，不管是难题还是简单题都可以解决掉了。
随机森林(Random forest)
随机森林，顾名思义，是用随机的方式建立一个森林，所以它对输入数据集要进行行、列的随机采样。行采样采用有放回的随机抽样方式，即采样样本中可能有重复的记录；列采样就是随机抽取部分分类特征，然后使用完全分裂的方式不断循环建立决策树群。当有新的输入样本进入的时候，也要通过投票方式决定最终的分类器。
一般的单棵决策树都需要进行剪枝操作，但随机森林在经过两个随机采样后，就算不剪枝也不会出现overfitting。我们可以这样比喻随机森林算法：从M个feature中选择m个让每一棵决策树进行学习时，就像是把它们分别培养成了精通于某一个窄领域的专家，因此在随机森林中有很多个不同领域的专家，对一个新的问题（新的输入数据）可以从不同的角度去看待，最终由各位专家投票得到结果。
至此，我们已经简单介绍了各类算法的原理，这些组合算法们看起来都很酷炫。可是它们之间究竟有哪些差异呢？
随机森林与Bagging算法的区别主要有两点：
1.随机森林算法会以输入样本数目作为选取次数，一个样本可能会被选取多次，一些样本也可能不会被选取到；而Bagging一般选取比输入样本的数目少的样本；
2.Bagging算法中使用全部特征来得到分类器，而随机森林算法需要从全部特征中选取其中的一部分来训练得到分类器。从我们的实际经验来看，随机森林算法常常优于Bagging算法。
Boosting和Bagging算法之间的主要区别是取样方式的不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。Bagging和Boosting都可以有效地提高分类的准确性。在多数数据集中，Boosting的准确性比Bagging高一些，不过Boosting在某些数据集中会引起退化——过拟合。
俗话说三个臭皮匠赛过诸葛亮，各类组合算法的确有其优越之处；我们也认为，模型效果从好到差的排序通常依次为：随机森林&Boosting & Bagging & 单棵决策树。但归根结底，这只是一种一般性的经验、而非定论，应根据实际数据情况具体分析。就单棵决策树和组合算法相比较而言，决策树相关的组合算法在提高模型区分能力和预测精度方面比较有效，对于像决策树、神经网络这样的“不稳定”算法有明显的提升效果，所以有时会表现出优于单棵决策树的效果。但复杂的模型未必一定是最好的，我们要在具体的分析案例中，根据业务需求和数据情况在算法复杂性和模型效果之间找到平衡点。
下面就通过一个实际案例来说明我们的观点吧。在笔者多年的数据分析工作中，无论哪种分析都难以离开钟爱的SAS Enterprise Miner软件，这里我们也以SAS EM来实现各分类算法在实际案例中的具体应用和分类效果。
本文使用的样例数据是一组2015年第三季度的房屋贷款数据，大约共5960条数据，其中贷款逾期的客户数占比为19.95%, 分析变量包含所需的贷款金额、贷款客户的职业类别、当前工作年限、押品的到期价值等13个属性特征。我们的目标是要通过上述数据来拟合贷款客户是否会出现逾期行为的分类模型，进而判断和预测2015年第四季度的房贷客户是否会出现逾期情况。
在建立各类模型前，笔者同样利用数据分区节点将全量的建模样本一分为二，其中70%作为训练样本、30%作为验证样本，然后再来逐个建立、验证决策树的单棵树模型和组合分类模型，并进行模型之间的比较分析和评估。
模型建设和分析的整个流程图逻辑如下：
熟悉SAS EM的小伙伴会发现，三种组合算法都使用了开始组这样的节点，目的有三：
1.传统的Bagging和Boosting算法在操作中都需要在开始组节点中设置属性；
2.对于随机森林的实现，可添加SAS code节点通过手工coding方式实现随机森林；
3.对不同算法设置尽可能相同的模型属性，方便比较模型预测效果，比如组合算法中循环次数都选择为10次。
说到这里，大家大概迫不及待要看看四类模型对新样本的预测准确性了吧，下图就是利用上述四种分类模型对2015年第四季度房贷新样本客户的贷款逾期情况的预测概率分布结果：
四张图中分别是单棵决策树、Bagging算法、Boosting算法和随机森林算法的结果。图中的横轴代表逾期概率，纵轴代表客户数量，显然，高柱状分布越是靠向右边，说明预测得到逾期客户越多；高柱状分布越是靠向左边，说明贷款客户信用较好。整体来看，新样本中预期逾期客户较少，但也有一部分客户比较集中地分布在逾期概率为0.7和0.85附近，这些客户需要特别关注。
对于这样的分类结果，又如何来判断它的预测准确性是好是差呢？这时就要推出误分类率和和均方误差这两个统计量了。从下面的结果可以看出，四类模型的误分类率都很小，相比较而言，单棵决策树最终胜出。
是不是完全没想到？上文看起来不太高大上的单棵决策树，在这个案例中倒是效果格外好。再来看看其他统计量的比较吧：
从上面的结果看，四类模型中ROC统计量的值都在0.8以上，KS值也都在0.6以上，说明它们的效果都比较好。我们使用的样本数据分布本身较为理想，单决策树模型的效果已经就相当理想，即使使用其他组合算法进行优化，模型效果的差异不会太明显，而三类组合算法之间的差异也不太突出。
我们同时发现，组合算法在提升度上确实比单个决策树效果要好，尤其Boosting算法表现更为明显。但是SAS EM的模型比较节点还是认为单决策树模型是最优模型，其验证集误判率最小。
就这一案例而言，尽管单决策树模型的区分能力和提升度都没有Boosting算法和随机森林算法效果好，但其本身的效果已经在合理且效果较好的范围之内了，而且模型本身运行效率较高、可解释性也很高。组合算法虽然看起来更厉害，但在应用实际业务场景和实际数据分布时，找到模型复杂度和模型效果之间的平衡取舍也是需要慎重考虑的。
我一向认为，一名数据分析工作者的重要素质不但在于深入掌握多种方法，更在于做出合适的选择，为不同的业务情境选择最恰当的方法。毕竟，没有哪种算法是解决所有问题的万灵药，而模型的运行效率、甚至可解释性等评判指标，在实际工作中可能与模型效果同等重要。复杂未必一定优于简单，而真正考验功力的，永远是化繁为简。
来源：KPMG大数据挖掘
注：转载文章均来自于公开网络，仅供学习使用，不会用于任何商业用途，如果侵犯到原作者的权益，请您与我们联系删除或者授权事宜，联系邮箱：contact@dataunion.org。转载数盟网站文章请注明原文章作者，否则产生的任何版权纠纷与数盟无关。
相关文章！
不用想啦，马上 发表自已的想法.
做最棒的数据科学社区
扫描二维码,加微信公众号
联系我们：执政、管理是越复杂越好还是越简单越好？执政、管理是越复杂越好还是越简单越好？百特百家号喜欢的朋友，请点击点赞、收藏，欢迎评论、转发。梅轩画舫：lin吉林人民出版社简体横排二十六史共100册【梅轩曰】此套书购于十年前，付泉千五百元，半价得于《孔夫子旧书网》。煌煌百册，仅批读《前四史》，留下随笔数十篇，陆续刊于《画舫夜读》，存而备查。梅轩读《史记 》之三十七：执政、管理是越复杂越好还是越简单越好？周公被封在鲁，他一生并没有就封，一直留在都城辅佐武王和成王。儿子伯禽代他就封在现在的曲阜县建立了鲁国。伯禽去了很长时间也没有消息，直到三年后才回到都城专门述职，向父亲汇报这几年的工作情况。周公问，有的同志刚去几天就向我汇报工作取得了巨大成绩，你怎么这么长时间都不来汇报工作？伯禽说，到了新单位一开始刚理出头绪，各种思路计划都还停留在纸上，没有多少实际成果，所以不愿向您汇报。以后的三年中，主要是做了好多移风易俗的工作，一些不合时宜的礼节都进行了改革，一些过去没有基础的工作开始探索建立起来，所有工作直到现在才刚刚有了个眉目。所以向您就汇报得晚了些。对儿子的回答周公非常满意。这也符合自己的处事和执政风格。因为周公曾经和儿子说到自己辅佐成王的辛苦，叫“一沐三握发，一饭三吐哺“，就是各项工作需要亲干亲为，每天忙得都是脚跟打后屁股，洗一次头的工夫，至少中间得有三次把头发拧干亲自接见来汇报工作的下属；正吃着饭，至少中间得有三次把饭吐出来，与下属交谈和指导下属工作。诸葛亮、周总理也是这种作风，虽然不忍心说，但不得不承认他们就是这样被活活累死的。所以周总理曾经很感慨地说，我很羡慕小平同志举重若轻的工作方法，但是我学不来。与周公被封的还有姜太公，他是被封在了齐国，他就国后五个月不到就回京城述职。周公很惊讶，问，太公您好快呀。齐国是东夷之地，政治、经济、文化各方面都很落后，工作底子很薄，需要全面开发，您去了才五 个月就有成效了？姜太公笑道，我不喜欢繁文缛节，一些咱们镐京能够行得通的东西到了那里不一定好使，更多的我们是从俗，尊重民众的意愿，顺其自然，因势利导，主要是挖掘好、发挥好民间的创造力，政府管得宏观一些，管得尽量少一些。后来姜太公听说伯禽的一些做法后，就说，不能说伯禽做得不对，这种敬业精神也很值得尊重，但方法未免笨了些。作为执政者，越管得具体越不容易超脱，一个人或少数人充当牧羊人的角色去管理多数人，不用说智慧不够，精力也不够，也不能保证事事都能决策得对、落实得好。虽然说可以集中精力办大事，但办对了还好，如果决策错了，越是容易办大事就越是容易造成全局性的错误和损失。民煮不是最好的办法，但却是最不坏的办法。就是从相信民众、尊重民众的角度出发，还是应该把管理社会的权力更多地交给民众，在自我管理、自我教育中让民众得到自我提高。多一些民煮，少一些限制；多一些你有权利做哪些事，少一些你不能做哪些事。这实际上是一个相信不相信民众智慧和能力、尊重不尊重民众自我管理自我发展权利的问题。为政的方式，如果过于复杂过于僵化，社会就没有活力，群众就没有积极性和创造力；如果做到了变人治为法治，平易近民，民众自然就会衷心拥护，天下归心。说了这么多，用一句话概括姜太公的为政之道就是，不搞繁琐哲学，不折腾，不乱来，多一些法治，少一些人治，最高境界是达到无为而治。制定好法律和政策后，政府更多地是做好法律和政策的监督、执行，最大限度地保证公平公正。用现代政治的术语就是，大社会、小政府，当好民众的守夜人。民间传说中姜太公是学道的，道家哲学的最高境界正是无为而治。姜太公在昆仑山i学道的老师是原始天尊，实际上就是老子。他说，法网恢恢，疏而不漏。社会管理也像捕鱼一样，如果是密不透风的一张铁幕，反倒无法逮鱼，装满了海水的布袋你根本没有力气从大海里拖上来，再说也太笨了，所以人们发明了渔网，看似到处是网眼，但却可以把海水泄去，把大鱼留下。法律也是这样，法无禁止即自由，只要你不触犯它，你就是自由的，它并不时时在你眼前晃得你难受。法律和管理的最高境界就是像空气一样，既须臾不可或缺，但又可以做到大音希声、大象无形。同样道理，最好的父母不是时时拿着碗筷撵着孩子摁住脖子逼他吃饭，而是远远地目送，在无声无形中给他关心、关怀。最好的父母不是囚禁，而是放手。比较伯禽和姜太公的两种执政方式，周公感慨地预言道，不同的执政理念和执政方式决定了一个国家可以走多远。从长远看，我更看好姜太公的举重若轻，我看早晚鲁国会北面称臣于齐国。司马迁也说，我到齐国采风，感觉到那里的民众性格阔达直爽，不喜欢花言巧语，表面看很愚鲁，实际上很智慧，在民众来说这是泰山黄河大海这样一方水土养成的天性，从国家来说这是一种恢弘辽远的泱泱大国之风。齐国能够在春秋诸国中最早称霸，不是偶然的。喜欢的朋友，请点击点赞、收藏，欢迎评论、转发。梅轩画舫：lin本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。百特百家号最近更新：简介:综合百特分享综合最新资讯作者最新文章相关文章股市规则越简单越好 出那么多复杂的规则出来，散民能做什么？对于这些规则，小散永远_上证指数(szzs)股吧_东方财富网股吧
股市规则越简单越好 出那么多复杂的规则出来，散民能做什么？对于这些规则，小散永远
股市规则越简单越好出那么多复杂的规则出来，散民能做什么？对于这些规则，小散永远只能被动接受，但是，机构基金大型用户确可以想办法使用上这些规则漏洞给他们赚钱！比如说熔断，控制指数趋势手段基本掌握在机构私募基金等手上，跟散民有多大关系？只有集中的大型资金才会对市场产生影响！那么问题来了，谁能真正利用上熔断？散户吗？让你再来次竞价或者停市对散户和机构分别意味着什么？机构会傻到去损失自己的利益吗？所以真心希望股市规则不要越来越多越来越复杂，那等于是给机构等加牌，然而散民并没加！不然最终受伤的绝对是散民！
坚决不同意熔断
出一个规则后续出一个漏洞了就得在出规则去补漏，而补漏一次等于散户由于这个规则亏损过一次。重点是漏洞越越越漏，最终散户受伤。
作者：您目前是匿名发表 &
作者：，欢迎留言
提示：用户在社区发表的所有资料、言论等仅代表个人观点，与本网站立场无关，不对您构成任何投资建议。用户应基于自己的独立判断，自行决定证券投资并承担相应风险。苹果手机游戏如何安装到手机里面？一定要是中文的。越简单越好别太复杂了。谢谢各位大侠了_百度知道
苹果手机游戏如何安装到手机里面？一定要是中文的。越简单越好别太复杂了。谢谢各位大侠了
我试了很多软件如：iPhonePCSuite
都不会用。老说我跟苹果手机没连接但是我的手机一直跟USB连接。断了在连也没有用？这是为什么？有简单好用的软件安装苹果手机游戏吗？
下载上就可能连接到手机然后把游戏下载到里面吗？
我有更好的答案
com/91helper/iphone/" target="_blank">http://soft.com/91helper/iphone/如果你是XP系统还需安装microsoft，这里是网站地址<a href="http://soft在电脑里下载安装91手机助手.sj.91.sj.91
采纳率：34%
除了itunes你还能用什么？其实也不难，用用就习惯了
为您推荐：
其他类似问题
您可能关注的内容
苹果手机的相关知识
&#xe675;换一换
回答问题，赢新手礼包&#xe6b9;
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。如果情况允许的话（网站、论坛注册时候密码的规范）密码应采取数字+字母+符号的组合最好了 并不是越复杂越好 关键是要方便自己记忆 比如（123qwe-）都是可行的高安全组合密码 而且方便记忆 除非是电脑中了木马被记忆了键盘的输入 一般穷举破解是很费时间来破到上面的密码组合的 希望能帮到你~~
其他答案（共12个回答）
字，因为我的就是
我觉得密码并没有什么高难度的可以设，但本人有一种方法是我老师交我的．到现在也没出现个被偷的，
你把你的密码分成两个部分，先输入后面部分，在输入前面部分，因为木马...
过去相当一段时间，我们都强调要用复杂且较长的密码来保护我们的数字资产
1楼，2楼的，是要告诉你，密码要难破，要好记，。
＝＝＝＝＝＝＝建议， ＝＝根据实际情况压缩。＝＝保证不能破。
3楼的，确实不错，光标移动，绝对可以躲过大部分，...
华硕的RT-N16是采用全中文界面的，它的界面叫做EZUI，是华硕独家的一种全图形的中文界面，易用性比较强，网络侦测都是自动进行的，你只需要填写用户名和密码就自...
第一个字母必须是大写的
答: 在Word上写完您的大作之后，一般会全部选定，然后复制，最后粘贴到Blog发表框里面。当您按下“发表文章”的时候，却发现这么一个提示：
“文章内容不能为空或者文...
答: 中关村在线-论坛。三好下载。木蚂蚁软件园。太多了，登录一个以后，会有许多链接。
答: Internet发展史 国际互联网是美国高科技发展的结果，同时也是美国政府出于军事目的不得已而为之的产物。为了分散因遭遇外国核武器打击本国军事指挥控制系统所带来...
大家还关注
Copyright &
Corporation, All Rights Reserved
确定举报此问题
举报原因(必选)：
广告或垃圾信息
激进时政或意识形态话题
不雅词句或人身攻击
侵犯他人隐私
其它违法和不良信息
报告，这不是个问题
报告原因(必选)：
这不是个问题
这个问题分类似乎错了
这个不是我熟悉的地区