为什么数据挖掘很难成功？6人已关注
我爱统计大数据时代，数据挖掘变得越加重要，曾经做了很多，成功有之，失败的却更多，举一些例子，探究其失败原因，也许于大家都有启示吧。数据缺失总是存在。为什么数据挖掘的数据准备工作要这么长时间，可以理解成取数时间很长、转换成所需的数据形式和格式时间很长，毕竟只有这样做，才能喂给数据挖掘引擎处理。但数据准备的真正目的，其实是要从特定业务的角度去获取一个真实的数据世界，数据的获取比处理重要，技巧倒是其次了。离网预测一直是很多业务领域关注的焦点，特别是电信行业，但这么多年做下来，其构建的离网模型却难言成功，为什么？因为数据获取太难了。离网预测希望用客户历史的行为数据来判定未来一段时间离网的可能性，但国内的电信市场并不稳定，不仅资费套餐复杂，大量的促销政策时时轰炸眼球，大家看得是热闹，但对于数据挖掘人员来讲，却是业务理解和数据准备的噩耗了。因为业务的理解很困难，数据完全被业务扭曲，如果要预测准确，不仅自身业务促销的因素要考虑进去，还要考虑竞争对手策反政策、地域影响等等，你训练时看到的是一个简单的离网结果数据，但诱导因素异常复杂，这类因素相关的数据根本取不到或者难以量化。比如电信离网很大程度是竞争对手策反、客户迁徙离网等等，你知道竞争对手何时推出的促销政策吗？你知道客户什么时候搬的家吗？你如何用数据来表达这种影响？你的数据能适应市场变化的节奏吗？因此，如果某个合作伙伴来跟你说，我可以做电信行业的离网模型，那是个伪命题，离网模型已经被电信行业做烂了，几乎没有成功的案例，即使一时成功也持续不了多久，只要业务不统一，就不大可能出现一个基本适用的离网模型，你无法想象全国10万个电信资费政策会对预测建模造成怎样的影响。与互联网大一统的数据相比，其搞的风控模型显然要简单的多了，因为数据的获取难度和稳定度不在一个量级上。数据挖掘，难就难在要为预测的业务提供跟这个业务相关的数据环境，因此，有时离网模型做不好，并不是模型师的错，也不是算法的问题，而是业务惹的祸，是数据问题。你让开发出Alphgo的DEEP MIND团队来做离网模型，也是一个死字，这可能也是传统行业数据挖掘很难出效果的一个原因。阿里的蚂蚁金服，所以能算法取胜，一个原因是它天生具有线上的资金往来数据，如果让它去分析传统银行的线下数据，估计难度也很大。数据挖掘师特别强调要理解业务，就是希望你基于业务的理解能找到所需的解释数据，外来的和尚所以做不好，也是这个因素，因为打一枪换一个地方的方式，跟扎根理解业务的建模文化背道而驰。数据准备，不确定性总是存在，因此一定程度上讲，这个世界是不可预测的，预测的能力，跟我们采集数据的能力成一定的正相关关系。大数据的意义，就在于可以采集到更多的数据，这个决定了我们用机器解释世界的可能程度。假数据真分析。还是拿离网的例子，你就知道很多时候，所谓的解释数据，都是假数据，虽然你不是故意的，你还很认真，但因为受限于业务能力，决定了你只能使用假数据，结果可想而知。以前新手，在做离网预测的时候，总喜欢拿订购成功的数据作为训练的数据，但这个显然是个大谬误。要知道，大量的业务订购是套餐附带订购的，并不能反映用户的真实意愿，拿这个数据去训练，能训练出什么东西？这就是业务能力不够造成的现象。现在互联网上估计这个现象很严重，比如刷单，这些假数据严重扰乱了模型，去伪存真是数据挖掘师的一个必修课。但这个，可惜又跟业务能力相关，依赖于实践和经验，如果让市场部经理转行去做数据挖掘师，估计也很牛逼。数据挖掘，难就难在这里，其是业务、数据甚至是技术的结合体，在大数据时代，这个趋势会越加明显。缺乏对于“常理”的感觉。以下是一个社交网络的案例，场景是需要对于两个通话（或其它）交往圈进行重合度判定，以识别两个手机号码是否属于同一个人。规则似乎很简单，但挖掘出来的结果却不尽如人意，准确率只有12%，百思不得其解。后来发现判定重合度的阈值是30%，这个也不能说明有问题，但问题出在对于基数的判定上，大量的用户总的交往圈只有3-4个，也就是说，重合1个就可能达到这个阈值，很多新手或者过于迷信技巧的人，往往忽视业务本质的认识。数据挖掘不仅仅是一门挖掘语言，还要有足够的生活认知和数据感觉，这个很难短期能够提升，依赖于长期实践，甚至认为，这个跟情商相关，有些人就是有感觉，一眼能发现问题。缺乏迭代的能力。很多传统企业，数据挖掘效果不好，跟企业的组织、机制、流程等相关，举个例子：曾经给外呼部门做了一个外呼偏好模型，就是对于所有客户的外呼偏好排个序，在外呼资源有限的条件下，按照这个排序进行外呼，可以提升外呼效率，然后发布到标签库，然后让外呼部门去用，等待反馈的时间总是很长，大家都懂的，然后就石沉大海了。最近想起来，再去要结果，发现效果很不错，能真正提升10个百分点啊，但已经2个月过去了。这还算一个较为成功的挖掘，但又有多少模型由于线下流程的原因而被放弃了，谁都知道，数据挖掘靠的是迭代，很难第一次就成功，但有多少星星在开始之时，就被掐灭了。传统企业冗长的线下流程，的确成为了模型优化的大杀器，互联网公司天生的在线性让其算法发挥出巨大的价值，而传统企业的建模，往往还在为获得反馈数据而努力，组织、系统和运营上的差距很大。推广是永远的痛。很多传统企业不同地域上的业务差异，不仅仅造成管理难度加大、体验不一致、系统过于复杂、运营成本高昂，也让模型的建设和推广异常困难。从模型本身的角度，不同地域的数据差异有时很大，在一个地方成功的模型，在另一个地方则完全失败，过拟合现象比比皆是。从业务理解的角度，建模团队要面对几个甚至十多个做类似业务的团队，各个团队的业务理解上的差异和对于建模的要求各不相同，造成了建模团队的无所适从。模型推广，成为了建模团队巨大的负担，复制模型，往往变成了重做模型，搜集结果数据也难上加难，数据挖掘，已经不是一项纯粹的活。提了以上五点，只是为了说明数据挖掘所以难，是综合多种因素的结果，可能不是靠建立一个平台，懂得一些算法，掌握一个工具就能简单解决的，往往具有更深层次的原因。我们在努力掌握好“器”的同时，也要抬起头来，更全面的看待数据挖掘这个事情，因地制宜的制定适合自己企业特点的数据挖掘机制和流程。当然，大数据时代的到来，让平台，工具和算法也变得越加重要，这对数据建模师的知识结构也带来了新的冲击。大数据时代，数据挖掘变得越加重要，曾经做了很多，成功有之，失败的却更多，举一些例子，探究其失败原因，也许于大家都有启示吧。数据缺失总是存在。为什么数据挖掘的数据准备工作要这么长时间，可以理解成取数时间很长、转换成所需的数据形式和格式时间很长，毕竟只有这样做，才能喂给数据挖掘引擎处理。但数据准备的真正目的，其实是要从特定业务的角度去获取一个真实的数据世界，数据的获取比处理重要，技巧倒是其次了。离网预测一直是很多业务领域关注的焦点，特别是电信行业，但这么多年做下来，其构建的离网模型却难言成功，为什么？因为数据获取太难了。离网预测希望用客户历史的行为数据来判定未来一段时间离网的可能性，但国内的电信市场并不稳定，不仅资费套餐复杂，大量的促销政策时时轰炸眼球，大家看得是热闹，但对于数据挖掘人员来讲，却是业务理解和数据准备的噩耗了。因为业务的理解很困难，数据完全被业务扭曲，如果要预测准确，不仅自身业务促销的因素要考虑进去，还要考虑竞争对手策反政策、地域影响等等，你训练时看到的是一个简单的离网结果数据，但诱导因素异常复杂，这类因素相关的数据根本取不到或者难以量化。比如电信离网很大程度是竞争对手策反、客户迁徙离网等等，你知道竞争对手何时推出的促销政策吗？你知道客户什么时候搬的家吗？你如何用数据来表达这种影响？你的数据能适应市场变化的节奏吗？因此，如果某个合作伙伴来跟你说，我可以做电信行业的离网模型，那是个伪命题，离网模型已经被电信行业做烂了，几乎没有成功的案例，即使一时成功也持续不了多久，只要业务不统一，就不大可能出现一个基本适用的离网模型，你无法想象全国10万个电信资费政策会对预测建模造成怎样的影响。与互联网大一统的数据相比，其搞的风控模型显然要简单的多了，因为数据的获取难度和稳定度不在一个量级上。数据挖掘，难就难在要为预测的业务提供跟这个业务相关的数据环境，因此，有时离网模型做不好，并不是模型师的错，也不是算法的问题，而是业务惹的祸，是数据问题。你让开发出Alphgo的DEEP MIND团队来做离网模型，也是一个死字，这可能也是传统行业数据挖掘很难出效果的一个原因。阿里的蚂蚁金服，所以能算法取胜，一个原因是它天生具有线上的资金往来数据，如果让它去分析传统银行的线下数据，估计难度也很大。数据挖掘师特别强调要理解业务，就是希望你基于业务的理解能找到所需的解释数据，外来的和尚所以做不好，也是这个因素，因为打一枪换一个地方的方式，跟扎根理解业务的建模文化背道而驰。数据准备，不确定性总是存在，因此一定程度上讲，这个世界是不可预测的，预测的能力，跟我们采集数据的能力成一定的正相关关系。大数据的意义，就在于可以采集到更多的数据，这个决定了我们用机器解释世界的可能程度。假数据真分析。还是拿离网的例子，你就知道很多时候，所谓的解释数据，都是假数据，虽然你不是故意的，你还很认真，但因为受限于业务能力，决定了你只能使用假数据，结果可想而知。以前新手，在做离网预测的时候，总喜欢拿订购成功的数据作为训练的数据，但这个显然是个大谬误。要知道，大量的业务订购是套餐附带订购的，并不能反映用户的真实意愿，拿这个数据去训练，能训练出什么东西？这就是业务能力不够造成的现象。现在互联网上估计这个现象很严重，比如刷单，这些假数据严重扰乱了模型，去伪存真是数据挖掘师的一个必修课。但这个，可惜又跟业务能力相关，依赖于实践和经验，如果让市场部经理转行去做数据挖掘师，估计也很牛逼。数据挖掘，难就难在这里，其是业务、数据甚至是技术的结合体，在大数据时代，这个趋势会越加明显。缺乏对于“常理”的感觉。以下是一个社交网络的案例，场景是需要对于两个通话（或其它）交往圈进行重合度判定，以识别两个手机号码是否属于同一个人。规则似乎很简单，但挖掘出来的结果却不尽如人意，准确率只有12%，百思不得其解。后来发现判定重合度的阈值是30%，这个也不能说明有问题，但问题出在对于基数的判定上，大量的用户总的交往圈只有3-4个，也就是说，重合1个就可能达到这个阈值，很多新手或者过于迷信技巧的人，往往忽视业务本质的认识。数据挖掘不仅仅是一门挖掘语言，还要有足够的生活认知和数据感觉，这个很难短期能够提升，依赖于长期实践，甚至认为，这个跟情商相关，有些人就是有感觉，一眼能发现问题。缺乏迭代的能力。很多传统企业，数据挖掘效果不好，跟企业的组织、机制、流程等相关，举个例子：曾经给外呼部门做了一个外呼偏好模型，就是对于所有客户的外呼偏好排个序，在外呼资源有限的条件下，按照这个排序进行外呼，可以提升外呼效率，然后发布到标签库，然后让外呼部门去用，等待反馈的时间总是很长，大家都懂的，然后就石沉大海了。最近想起来，再去要结果，发现效果很不错，能真正提升10个百分点啊，但已经2个月过去了。这还算一个较为成功的挖掘，但又有多少模型由于线下流程的原因而被放弃了，谁都知道，数据挖掘靠的是迭代，很难第一次就成功，但有多少星星在开始之时，就被掐灭了。传统企业冗长的线下流程，的确成为了模型优化的大杀器，互联网公司天生的在线性让其算法发挥出巨大的价值，而传统企业的建模，往往还在为获得反馈数据而努力，组织、系统和运营上的差距很大。推广是永远的痛。很多传统企业不同地域上的业务差异，不仅仅造成管理难度加大、体验不一致、系统过于复杂、运营成本高昂，也让模型的建设和推广异常困难。从模型本身的角度，不同地域的数据差异有时很大，在一个地方成功的模型，在另一个地方则完全失败，过拟合现象比比皆是。从业务理解的角度，建模团队要面对几个甚至十多个做类似业务的团队，各个团队的业务理解上的差异和对于建模的要求各不相同，造成了建模团队的无所适从。模型推广，成为了建模团队巨大的负担，复制模型，往往变成了重做模型，搜集结果数据也难上加难，数据挖掘，已经不是一项纯粹的活。提了以上五点，只是为了说明数据挖掘所以难，是综合多种因素的结果，可能不是靠建立一个平台，懂得一些算法，掌握一个工具就能简单解决的，往往具有更深层次的原因。我们在努力掌握好“器”的同时，也要抬起头来，更全面的看待数据挖掘这个事情，因地制宜的制定适合自己企业特点的数据挖掘机制和流程。当然，大数据时代的到来，让平台，工具和算法也变得越加重要，这对数据建模师的知识结构也带来了新的冲击。
广东外语外贸大学
这个掌握一定的技巧会容易一点第一，目标律：业务目标是所有数据解决方案的源头它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业务目标，没有数据挖掘(不管这种表述是否清楚)。因此这个准则也可以说成：数据挖掘是业务过程。第二，知识律：业务知识是数据挖掘过程每一步的核心这里定义了数据挖掘过程的一个关键特征。CRISP-DM的一种朴素的解读是业务知识仅仅作用于数据挖掘过程开始的目标的定义与最后的结果的实施，这将错过数据挖掘过程的一个关键属性，即业务知识是每一步的核心。为了方便理解，我使用CRISP-DM阶段来说明：商业理解必须基于业务知识，所以数据挖掘目标必须是业务目标的映射(这种映射也基于数据知识和数据挖掘知识);数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的;数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答(更详尽的第三条—准备律);建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，也就是说理解它们之间的业务相关性;评估是模型对理解业务的影响;实施是将数据挖掘结果作用于业务过程总之，没有业务知识，数据挖掘过程的每一步都是无效的，也没有“纯粹的技术”步骤。 业务知识指导过程产生有益的结果，并使得那些有益的结果得到认可。数据挖掘是一个反复的过程，业务知识是它的核心，驱动着结果的持续改善。这背后的原因可以用“鸿沟的表现”(chasm of representation)来解释(Alan Montgomery在20世纪90年代对数据挖掘提出的一个观点)。Montgomery指出数据挖掘目标涉及到现实的业务，然而数据仅能表示现实的一 部分;数据和现实世界是有差距(或“鸿沟”)的。在数据挖掘过程中，业务知识来弥补这一差距，在数据中无论发现什么，只有使用业务知识解释才能显示其重要 性，数据中的任何遗漏必须通过业务知识弥补。只有业务知识才能弥补这种缺失，这是业务知识为什么是数据挖掘过程每一步骤的核心的原因。第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要这是数据挖掘著名的格言，数据挖掘项目中最费力的事是数据获取和预处理。非正式估计，其占用项目的时间为50%-80%。最简单的解释可以概括为“数据是困 难的”，经常采用自动化减轻这个“问题”的数据获取、数据清理、数据转换等数据预处理各部分的工作量。虽然自动化技术是有益的，支持者相信这项技术可以减 少数据预处理过程中的大量的工作量，但这也是误解数据预处理在数据挖掘过程中是必须的原因。数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术(如数据挖掘算法)更容易利用它。数据任何形式的变化(包括清理、最大最小值转换、增长 等)意味着问题空间的变化，因此这种分析必须是探索性的。 这是数据预处理重要的原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容 地操纵问题空间，使得容易找到适合分析他们的方法。有两种方法“塑造”这个问题 空间。第一种方法是将数据转化为可以分析的完全格式化的数据，比如，大多数数据挖掘算法需要单一表格形式的数据，一个记录就是一个样例。数据挖掘者都知道 什么样的算法需要什么样的数据形式，因此可以将数据转化为一个合适的格式。第二种方法是使得数据能够含有业务问题的更多的信息，例如，某些领域的一些数据 挖掘问题，数据挖掘者可以通过业务知识和数据知识知道这些。 通过这些领域的知识，数据挖掘者通过操纵问题空间可能更容易找到一个合适的技术解决方案。因此，通过业务知识、数据知识、数据挖掘知识从根本上使得数据预处理更加得心应手。 数据预处理的这些方面并不能通过简单的自动化实现。这个定律也解释了一个有疑义的现象，也就是虽然经过数据获取、清理、融合等方式创建一个数据仓库，但是数据预处理仍然是必不可少的，仍然占有数据挖掘过程一 半以上的工作量。此外，就像CRISP-DM展示的那样，即使经过了主要的数据预处理阶段，在创建一个有用的模型的反复过程中，进一步的数据预处理的必要的。第四，试验律(NFL律：No Free Lunch)：对于数据挖掘者来说，天下没有免费的午餐，一个正确的模型只有通过试验(experiment)才能被发现机器学习有一个原则：如果我们充分了解一个问题空间(problem space)，我们可以选择或设计一个找到最优方案的最有效的算法。一个卓越算法的参数依赖于数据挖掘问题空间一组特定的属性集，这些属性可以通过分析发 现或者算法创建。但是，这种观点来自于一个错误的思想，在数据挖掘过程中数据挖掘者将问题公式化，然后利用算法找到解决方法。事实上，数据挖掘者将问题公 式化和寻找解决方法是同时进行的—–算法仅仅是帮助数据挖掘者的一个工具。有五种因素说明试验对于寻找数据挖掘解决方案是必要的：数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点;与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的;这些过程受规则限制，而这些过程产生的数据反映了这些规则;在这些过程中，数据挖掘的目的是通过模式发现技术(数据挖掘算法)和可以解释这个算法结果的业务知识相结合的方法来揭示这个定义域上的规则;数据挖掘需要在这个域上生成相关数据，这些数据含有的模式不可避免地受到这些规则的限制在这里强调一下最后一点，在数据挖掘中改变业务目标，CRISP-DM有所暗示，但经常不易被觉察到。广为所知的CRISP-DM过程不是下一个步骤仅接着上一个步骤的“瀑布”式的过程。事实上，在项目中的任何地方都可以进行任何CRISP-DM步骤，同样商业理解也可以存在于任何一个步骤。业务目标不是简 单地在开始就给定，它贯穿于整个过程。这也许可以解释一些数据挖掘者在没有清晰的业务目标的情况下开始项目，他们知道业务目标也是数据挖掘的一个结果，不是静态地给定。Wolpert的“没有免费的午餐”理论已经应用于机器学习领域，无偏的状态好于(如一个具体的算法)任何其他可能的问题(数据集)出现的平均状态。这是因为，如果我们考虑所有可能的问题，他们的解决方法是均匀分布的，以至于一个算法(或偏倚)对一个子集是有利的，而对另一个子集是不利的。这与数据挖掘者所知的具有惊人的相似性，没有一个算法适合每一个问题。但是经 过数据挖掘处理的问题或数据集绝不是随机的，也不是所有可能问题的均匀分布，他们代表的是一个有偏差的样本，那么为什么要应用NFL的结论?答案涉及到上 面提到的因素：问题空间初始是未知的，多重问题空间可能和每一个数据挖掘目标相关，问题空间可能被数据预处理所操纵，模型不能通过技术手段评估，业务问题本身可能会变化。由于这些原因，数据挖掘问题空间在数据挖掘过程中展开，并且在这个过程中是不断变化的，以至于在有条件的约束下，用算法模拟一个随机选择的数据集是有效的。对于数据挖掘者来说：没有免费的午餐。这大体上描述了数据 挖掘过程。但是，在有条件限制某些情况下，比如业务目标是稳定的，数据和其预处理是稳定的，一个可接受的算法或算法组合可以解决这个问题。在这些情况下， 一般的数据挖掘过程中的步骤将会减少。 但是，如果这种情况稳定是持续的，数据挖掘者的午餐是免费的，或者至少相对便宜的。像这样的稳定性是临时的，因为 对数据的业务理解(第二律)和对问题的理解(第九律)都会变化的。第五，模式律(大卫律)：数据中总含有模式这条规律最早由David Watkins提出。 我们可能预料到一些数据挖掘项目会失败，因为解决业务问题的模式并不存在于数据中，但是这与数据挖掘者的实践经验并不相关。前文的阐述已经提到，这是因为：在一个与业务相关的数据集中总会发现一些有趣的东西，以至于即使一些期望的模式不能被发现，但其他的一些有用的东西可能会被 发现(这与数据挖掘者的实践经验是相关的);除非业务专家期望的模式存在，否则数据挖掘项目不会进行，这不应感到奇怪，因为业务专家通常是对的。然而，Watkins提出一个更简单更直接的观点：“数据中总含有模式。”这与数据挖掘者的经验比前面的阐述更一致。这个观点后来经过Watkins修正，基于客户关系的数据挖掘项目，总是存在着这样的模式即客户未来的行为总是和先前的行为相关，显然这些模式是有利可图的(Watkins的客户关系管理定律)。但是，数据挖掘者的经验不仅仅局限于客户关系管理问题，任何数据挖掘问题都会存在模式(Watkins的通用律)。Watkins的通用律解释如下：数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点;与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的;这些过程受规则限制，而这些过程产生的数据反映了这些规则;在这些过程中，数据挖掘的目的是通过模式发现技术(数据挖掘算法)和可以解释这个算法结果的业务知识相结合的方法来揭示这个定义域上的规则;数据挖掘需要在这个域上生成相关数据，这些数据含有的模式不可避免地受到这些规则的限制总结这一观点：数据中总存在模式，因为在这过程中不可避免产生数据这样的副产品。为了发掘模式，过程从(你已经知道它)—–业务知识开始。利用业务知识发现模式也是一个反复的过程;这些模式也对业务知识有贡献，同时业务知识是解释模式的主要因素。在这种反复的过程中，数据挖掘算法简单地连接了业务知识和隐藏的模式。如果这个解释是正确的，那么大卫律是完全通用的。除非没有相关的数据的保证，否则在每个定义域的每一个数据挖掘问题总是存在模式的。第六，洞察律：数据挖掘增大对业务的认知数据挖掘是如何产生洞察力的?这个定律接近了数据挖掘的核心：为什么数据挖掘必须是一个业务过程而不是一个技术过程。业务问题是由人而非算法解决的。数据挖 掘者和业务专家从问题中找到解决方案，即从问题的定义域上达到业务目标需要的模式。数据挖掘完全或部分有助于这个认知过程。数据挖掘算法揭示的模式通常不 是人类以正常的方式所能认识到的。综合这些算法和人类正常的感知的数据挖掘过程在本质上是敏捷的。在数据挖掘过程中，问题解决者解释数据挖掘算法产生的结 果，并统一到业务理解上，因此这是一个业务过程。这类似于“智能放大器”的概念，在早期的人工智能的领域，AI的第一个实际成果不是智能机器，而是被称为“智能放大器”的工具，它能够协助人类使用者提高获取有效信息的能力。数据挖掘提供一个类似的“智能放大器”，帮助业务专家解决他们不能单独完成的业务问题。总之，数据挖掘算法提供一种超越人类以正常方式探索模式的能力，数据挖掘过程允许数据挖掘者和业务专家将这种能力融合在他们的各自的问题的中和业务过程中。第七，预测律：预测提高了信息泛化能力“预测”已经成为数据挖掘模型可以做什么的可接受的描述，即我们常说的“预测模型”和“预测分析”。这是因为许多流行的数据挖掘模型经常使用“预测最可能的结果”(或者解释可能的结果如何有可能)。这种方法是分类和回归模型的典型应用。但是，其他类型的数据挖掘模型，比如聚类和关联模型也有“预测”的特征。这是一个含义比较模糊的术语。一个聚类模型被描述为“预测”一个个体属于哪个群体，一个关联模型可能被描述为基于已知基本属性“预测”一个或更多属性。同样我们也可以分析“预测”这个术语在不同的主题中的应用：一个分类模型可能被说成可以预测客户行为—-更加确切的说它可以预测以某种确定行为的目标客户，即使不是所有的目标个体的行为都符合“预测”的结果。一个诈骗检测模型可能被说成可以预测个别交易是否具有高风险性，即使不是所有的预测的交易都有欺诈行为。“预测”这个术语广泛的使用导致了所谓的“预测分析”被作为数据挖掘的总称，并且在业务解决方案中得到了广泛的应用。但是我们应该意识到这不是日常所说的“预测”，我们不能期望预测一个特殊个体的行为或者一个特别的欺诈调查结果。那么，在这个意义下的“预测”是什么?分类、回归、聚类和 关 联算法以及他们集成模型有什么共性呢?答案在于“评分”，这是预测模型应用到一个新样例的方式。模型产生一个预估值或评分，这是这个样例的新信息的一部 分;在概括和归纳的基础上，这个样例的可利用信息得到了提高，模式被算法发现和模型具体化。值得注意的是这个新信息不是在“给定”意义上的“数据”，它仅 有统计学意义。第八，价值律：数据挖掘的结果的价值不取决于模型的稳定性或预测的准确性准确性和稳定性是预测模型常用的两个度量。准确性是指正确的预测结果所占的比例;稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变 化有多大(或多小)。鉴于数据挖掘中预测概念的核心角色，一个预测模型的准确性和稳定性常被认为决定了其结果的价值的大小，实际上并非如此。体现预测模型价值的有两种方式：一种是用模型的预测结果来改善或影响行为，另一种是模型能够传递导致改变策略的见解(或新知识)。对于后者，传递出的任何新知识的价值和准确性的联系并不那么紧密;一些模型的预测能力可能有必要使我们相信发现的模式是真实的。然而，一个难以理解的复杂的 或者完全不透明的模型的预测结果具有高准确性，但传递的知识也不是那么有见地;然而，一个简单的低准确度的模型可能传递出更有用的见解。准确性和价值之间的分离在改善行为的情况下并不明显，然而一个突出问题是“预测模型是为了正确的事，还是为了正确的原因?” 换句话说，一个模型的价值和它的预测准确度一样，都源自它的业务问题。例如，客户流失模型可能需要高的预测准确度，否则对于业务上的指导不会那么有效。相 反的是一个准确度高的客户流失模型可能提供有效的指导，保留住老客户，但也仅仅是最少利润客户群体的一部分。如果不适合业务问题，高准确度并不能提高模型 的价值。模型稳定性同样如此，虽然稳定性是预测模型的有趣的度量，稳定性不能代替模型提供业务理解的能力或解决业务问题，其它技术手段也是如此。总之，预测模型的价值不是由技术指标决定的。数据挖掘者应该在模型不损害业务理解和适应业务问题的情况下关注预测准确度、模型稳定性以及其它的技术度量。第九，变化律：所有的模式因业务变化而变化数据挖掘发现的模式不是永远不变的。数据挖掘的许多应用是众所周知的，但是这个性质的普遍性没有得到广泛的重视。数据挖掘在市场营销和CRM方面的应用很容易理解，客户行为模式随着时间的变化而变化。行为的变化、市场的变化、竞争的变化以及整个经济形势的变化，预测模型会因这些变化而过时，当他们不能准确预测时，应当定期更新。数据挖掘在欺诈模型和风险模型的应用中同样如此，随着环境的变化欺诈行为也在变化，因为罪犯要改变行为以保持领先于反欺诈。欺诈检测的应用必须设计为就像处理旧的、熟悉的欺诈行为一样能够处理新的、未知类型的欺诈行为。某些种类的数据挖掘可能被认为发现的模式不会随时间而变化，比如数据挖掘在科学上的应用，我们有没有发现不变的普遍的规律?也许令人惊奇的是，答案是即使是这些模式也期望得到改变。理由是这些模式并不是简单的存在于这个世界上的规则，而是数据的反应—-这些规则可能在某些领域确实是静态的。然而，数据挖掘发现的模式是认知过程的一部分，是数据挖掘在数据描述的世界与观测者或业务专家的认知之间建立的一个动态过程。因为我们的认知在持续发展和增 长，所以我们也期望模式也会变化。明天的数据表面上看起来相似，但是它可能已经集合了不同的模式、(可能巧妙地)不同的目的、不同的语义;分析过程因受业 务知识驱动，所以会随着业务知识的变化而变化。基于这些原因，模式会有所不同。这个掌握一定的技巧会容易一点第一，目标律：业务目标是所有数据解决方案的源头它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业务目标，没有数据挖掘(不管这种表述是否清楚)。因此这个准则也可以说成：数据挖掘是业务过程。第二，知识律：业务知识是数据挖掘过程每一步的核心这里定义了数据挖掘过程的一个关键特征。CRISP-DM的一种朴素的解读是业务知识仅仅作用于数据挖掘过程开始的目标的定义与最后的结果的实施，这将错过数据挖掘过程的一个关键属性，即业务知识是每一步的核心。为了方便理解，我使用CRISP-DM阶段来说明：商业理解必须基于业务知识，所以数据挖掘目标必须是业务目标的映射(这种映射也基于数据知识和数据挖掘知识);数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相关的;数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和解答(更详尽的第三条—准备律);建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，也就是说理解它们之间的业务相关性;评估是模型对理解业务的影响;实施是将数据挖掘结果作用于业务过程总之，没有业务知识，数据挖掘过程的每一步都是无效的，也没有“纯粹的技术”步骤。 业务知识指导过程产生有益的结果，并使得那些有益的结果得到认可。数据挖掘是一个反复的过程，业务知识是它的核心，驱动着结果的持续改善。这背后的原因可以用“鸿沟的表现”(chasm of representation)来解释(Alan Montgomery在20世纪90年代对数据挖掘提出的一个观点)。Montgomery指出数据挖掘目标涉及到现实的业务，然而数据仅能表示现实的一 部分;数据和现实世界是有差距(或“鸿沟”)的。在数据挖掘过程中，业务知识来弥补这一差距，在数据中无论发现什么，只有使用业务知识解释才能显示其重要 性，数据中的任何遗漏必须通过业务知识弥补。只有业务知识才能弥补这种缺失，这是业务知识为什么是数据挖掘过程每一步骤的核心的原因。第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要这是数据挖掘著名的格言，数据挖掘项目中最费力的事是数据获取和预处理。非正式估计，其占用项目的时间为50%-80%。最简单的解释可以概括为“数据是困 难的”，经常采用自动化减轻这个“问题”的数据获取、数据清理、数据转换等数据预处理各部分的工作量。虽然自动化技术是有益的，支持者相信这项技术可以减 少数据预处理过程中的大量的工作量，但这也是误解数据预处理在数据挖掘过程中是必须的原因。数据预处理的目的是把数据挖掘问题转化为格式化的数据，使得分析技术(如数据挖掘算法)更容易利用它。数据任何形式的变化(包括清理、最大最小值转换、增长 等)意味着问题空间的变化，因此这种分析必须是探索性的。 这是数据预处理重要的原因，并且在数据挖掘过程中占有如此大的工作量，这样数据挖掘者可以从容 地操纵问题空间，使得容易找到适合分析他们的方法。有两种方法“塑造”这个问题 空间。第一种方法是将数据转化为可以分析的完全格式化的数据，比如，大多数数据挖掘算法需要单一表格形式的数据，一个记录就是一个样例。数据挖掘者都知道 什么样的算法需要什么样的数据形式，因此可以将数据转化为一个合适的格式。第二种方法是使得数据能够含有业务问题的更多的信息，例如，某些领域的一些数据 挖掘问题，数据挖掘者可以通过业务知识和数据知识知道这些。 通过这些领域的知识，数据挖掘者通过操纵问题空间可能更容易找到一个合适的技术解决方案。因此，通过业务知识、数据知识、数据挖掘知识从根本上使得数据预处理更加得心应手。 数据预处理的这些方面并不能通过简单的自动化实现。这个定律也解释了一个有疑义的现象，也就是虽然经过数据获取、清理、融合等方式创建一个数据仓库，但是数据预处理仍然是必不可少的，仍然占有数据挖掘过程一 半以上的工作量。此外，就像CRISP-DM展示的那样，即使经过了主要的数据预处理阶段，在创建一个有用的模型的反复过程中，进一步的数据预处理的必要的。第四，试验律(NFL律：No Free Lunch)：对于数据挖掘者来说，天下没有免费的午餐，一个正确的模型只有通过试验(experiment)才能被发现机器学习有一个原则：如果我们充分了解一个问题空间(problem space)，我们可以选择或设计一个找到最优方案的最有效的算法。一个卓越算法的参数依赖于数据挖掘问题空间一组特定的属性集，这些属性可以通过分析发 现或者算法创建。但是，这种观点来自于一个错误的思想，在数据挖掘过程中数据挖掘者将问题公式化，然后利用算法找到解决方法。事实上，数据挖掘者将问题公 式化和寻找解决方法是同时进行的—–算法仅仅是帮助数据挖掘者的一个工具。有五种因素说明试验对于寻找数据挖掘解决方案是必要的：数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点;与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的;这些过程受规则限制，而这些过程产生的数据反映了这些规则;在这些过程中，数据挖掘的目的是通过模式发现技术(数据挖掘算法)和可以解释这个算法结果的业务知识相结合的方法来揭示这个定义域上的规则;数据挖掘需要在这个域上生成相关数据，这些数据含有的模式不可避免地受到这些规则的限制在这里强调一下最后一点，在数据挖掘中改变业务目标，CRISP-DM有所暗示，但经常不易被觉察到。广为所知的CRISP-DM过程不是下一个步骤仅接着上一个步骤的“瀑布”式的过程。事实上，在项目中的任何地方都可以进行任何CRISP-DM步骤，同样商业理解也可以存在于任何一个步骤。业务目标不是简 单地在开始就给定，它贯穿于整个过程。这也许可以解释一些数据挖掘者在没有清晰的业务目标的情况下开始项目，他们知道业务目标也是数据挖掘的一个结果，不是静态地给定。Wolpert的“没有免费的午餐”理论已经应用于机器学习领域，无偏的状态好于(如一个具体的算法)任何其他可能的问题(数据集)出现的平均状态。这是因为，如果我们考虑所有可能的问题，他们的解决方法是均匀分布的，以至于一个算法(或偏倚)对一个子集是有利的，而对另一个子集是不利的。这与数据挖掘者所知的具有惊人的相似性，没有一个算法适合每一个问题。但是经 过数据挖掘处理的问题或数据集绝不是随机的，也不是所有可能问题的均匀分布，他们代表的是一个有偏差的样本，那么为什么要应用NFL的结论?答案涉及到上 面提到的因素：问题空间初始是未知的，多重问题空间可能和每一个数据挖掘目标相关，问题空间可能被数据预处理所操纵，模型不能通过技术手段评估，业务问题本身可能会变化。由于这些原因，数据挖掘问题空间在数据挖掘过程中展开，并且在这个过程中是不断变化的，以至于在有条件的约束下，用算法模拟一个随机选择的数据集是有效的。对于数据挖掘者来说：没有免费的午餐。这大体上描述了数据 挖掘过程。但是，在有条件限制某些情况下，比如业务目标是稳定的，数据和其预处理是稳定的，一个可接受的算法或算法组合可以解决这个问题。在这些情况下， 一般的数据挖掘过程中的步骤将会减少。 但是，如果这种情况稳定是持续的，数据挖掘者的午餐是免费的，或者至少相对便宜的。像这样的稳定性是临时的，因为 对数据的业务理解(第二律)和对问题的理解(第九律)都会变化的。第五，模式律(大卫律)：数据中总含有模式这条规律最早由David Watkins提出。 我们可能预料到一些数据挖掘项目会失败，因为解决业务问题的模式并不存在于数据中，但是这与数据挖掘者的实践经验并不相关。前文的阐述已经提到，这是因为：在一个与业务相关的数据集中总会发现一些有趣的东西，以至于即使一些期望的模式不能被发现，但其他的一些有用的东西可能会被 发现(这与数据挖掘者的实践经验是相关的);除非业务专家期望的模式存在，否则数据挖掘项目不会进行，这不应感到奇怪，因为业务专家通常是对的。然而，Watkins提出一个更简单更直接的观点：“数据中总含有模式。”这与数据挖掘者的经验比前面的阐述更一致。这个观点后来经过Watkins修正，基于客户关系的数据挖掘项目，总是存在着这样的模式即客户未来的行为总是和先前的行为相关，显然这些模式是有利可图的(Watkins的客户关系管理定律)。但是，数据挖掘者的经验不仅仅局限于客户关系管理问题，任何数据挖掘问题都会存在模式(Watkins的通用律)。Watkins的通用律解释如下：数据挖掘项目的业务目标定义了兴趣范围(定义域)，数据挖掘目标反映了这一点;与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的;这些过程受规则限制，而这些过程产生的数据反映了这些规则;在这些过程中，数据挖掘的目的是通过模式发现技术(数据挖掘算法)和可以解释这个算法结果的业务知识相结合的方法来揭示这个定义域上的规则;数据挖掘需要在这个域上生成相关数据，这些数据含有的模式不可避免地受到这些规则的限制总结这一观点：数据中总存在模式，因为在这过程中不可避免产生数据这样的副产品。为了发掘模式，过程从(你已经知道它)—–业务知识开始。利用业务知识发现模式也是一个反复的过程;这些模式也对业务知识有贡献，同时业务知识是解释模式的主要因素。在这种反复的过程中，数据挖掘算法简单地连接了业务知识和隐藏的模式。如果这个解释是正确的，那么大卫律是完全通用的。除非没有相关的数据的保证，否则在每个定义域的每一个数据挖掘问题总是存在模式的。第六，洞察律：数据挖掘增大对业务的认知数据挖掘是如何产生洞察力的?这个定律接近了数据挖掘的核心：为什么数据挖掘必须是一个业务过程而不是一个技术过程。业务问题是由人而非算法解决的。数据挖 掘者和业务专家从问题中找到解决方案，即从问题的定义域上达到业务目标需要的模式。数据挖掘完全或部分有助于这个认知过程。数据挖掘算法揭示的模式通常不 是人类以正常的方式所能认识到的。综合这些算法和人类正常的感知的数据挖掘过程在本质上是敏捷的。在数据挖掘过程中，问题解决者解释数据挖掘算法产生的结 果，并统一到业务理解上，因此这是一个业务过程。这类似于“智能放大器”的概念，在早期的人工智能的领域，AI的第一个实际成果不是智能机器，而是被称为“智能放大器”的工具，它能够协助人类使用者提高获取有效信息的能力。数据挖掘提供一个类似的“智能放大器”，帮助业务专家解决他们不能单独完成的业务问题。总之，数据挖掘算法提供一种超越人类以正常方式探索模式的能力，数据挖掘过程允许数据挖掘者和业务专家将这种能力融合在他们的各自的问题的中和业务过程中。第七，预测律：预测提高了信息泛化能力“预测”已经成为数据挖掘模型可以做什么的可接受的描述，即我们常说的“预测模型”和“预测分析”。这是因为许多流行的数据挖掘模型经常使用“预测最可能的结果”(或者解释可能的结果如何有可能)。这种方法是分类和回归模型的典型应用。但是，其他类型的数据挖掘模型，比如聚类和关联模型也有“预测”的特征。这是一个含义比较模糊的术语。一个聚类模型被描述为“预测”一个个体属于哪个群体，一个关联模型可能被描述为基于已知基本属性“预测”一个或更多属性。同样我们也可以分析“预测”这个术语在不同的主题中的应用：一个分类模型可能被说成可以预测客户行为—-更加确切的说它可以预测以某种确定行为的目标客户，即使不是所有的目标个体的行为都符合“预测”的结果。一个诈骗检测模型可能被说成可以预测个别交易是否具有高风险性，即使不是所有的预测的交易都有欺诈行为。“预测”这个术语广泛的使用导致了所谓的“预测分析”被作为数据挖掘的总称，并且在业务解决方案中得到了广泛的应用。但是我们应该意识到这不是日常所说的“预测”，我们不能期望预测一个特殊个体的行为或者一个特别的欺诈调查结果。那么，在这个意义下的“预测”是什么?分类、回归、聚类和 关 联算法以及他们集成模型有什么共性呢?答案在于“评分”，这是预测模型应用到一个新样例的方式。模型产生一个预估值或评分，这是这个样例的新信息的一部 分;在概括和归纳的基础上，这个样例的可利用信息得到了提高，模式被算法发现和模型具体化。值得注意的是这个新信息不是在“给定”意义上的“数据”，它仅 有统计学意义。第八，价值律：数据挖掘的结果的价值不取决于模型的稳定性或预测的准确性准确性和稳定性是预测模型常用的两个度量。准确性是指正确的预测结果所占的比例;稳定性是指当创建模型的数据改变时，用于同一口径的预测数据，其预测结果变 化有多大(或多小)。鉴于数据挖掘中预测概念的核心角色，一个预测模型的准确性和稳定性常被认为决定了其结果的价值的大小，实际上并非如此。体现预测模型价值的有两种方式：一种是用模型的预测结果来改善或影响行为，另一种是模型能够传递导致改变策略的见解(或新知识)。对于后者，传递出的任何新知识的价值和准确性的联系并不那么紧密;一些模型的预测能力可能有必要使我们相信发现的模式是真实的。然而，一个难以理解的复杂的 或者完全不透明的模型的预测结果具有高准确性，但传递的知识也不是那么有见地;然而，一个简单的低准确度的模型可能传递出更有用的见解。准确性和价值之间的分离在改善行为的情况下并不明显，然而一个突出问题是“预测模型是为了正确的事，还是为了正确的原因?” 换句话说，一个模型的价值和它的预测准确度一样，都源自它的业务问题。例如，客户流失模型可能需要高的预测准确度，否则对于业务上的指导不会那么有效。相 反的是一个准确度高的客户流失模型可能提供有效的指导，保留住老客户，但也仅仅是最少利润客户群体的一部分。如果不适合业务问题，高准确度并不能提高模型 的价值。模型稳定性同样如此，虽然稳定性是预测模型的有趣的度量，稳定性不能代替模型提供业务理解的能力或解决业务问题，其它技术手段也是如此。总之，预测模型的价值不是由技术指标决定的。数据挖掘者应该在模型不损害业务理解和适应业务问题的情况下关注预测准确度、模型稳定性以及其它的技术度量。第九，变化律：所有的模式因业务变化而变化数据挖掘发现的模式不是永远不变的。数据挖掘的许多应用是众所周知的，但是这个性质的普遍性没有得到广泛的重视。数据挖掘在市场营销和CRM方面的应用很容易理解，客户行为模式随着时间的变化而变化。行为的变化、市场的变化、竞争的变化以及整个经济形势的变化，预测模型会因这些变化而过时，当他们不能准确预测时，应当定期更新。数据挖掘在欺诈模型和风险模型的应用中同样如此，随着环境的变化欺诈行为也在变化，因为罪犯要改变行为以保持领先于反欺诈。欺诈检测的应用必须设计为就像处理旧的、熟悉的欺诈行为一样能够处理新的、未知类型的欺诈行为。某些种类的数据挖掘可能被认为发现的模式不会随时间而变化，比如数据挖掘在科学上的应用，我们有没有发现不变的普遍的规律?也许令人惊奇的是，答案是即使是这些模式也期望得到改变。理由是这些模式并不是简单的存在于这个世界上的规则，而是数据的反应—-这些规则可能在某些领域确实是静态的。然而，数据挖掘发现的模式是认知过程的一部分，是数据挖掘在数据描述的世界与观测者或业务专家的认知之间建立的一个动态过程。因为我们的认知在持续发展和增 长，所以我们也期望模式也会变化。明天的数据表面上看起来相似，但是它可能已经集合了不同的模式、(可能巧妙地)不同的目的、不同的语义;分析过程因受业 务知识驱动，所以会随着业务知识的变化而变化。基于这些原因，模式会有所不同。
仔细阅读了楼上的全部答案，发现楼上总结了这么几条数据挖掘很难的理由：数据难获取、数据挖掘师不理解业务、传统企业的冗长流程等等，除此之外，还有一些与“数据挖掘为什么很难成功”没有关系，但是和“数据挖掘有什么障碍”有关系的理由，此处就不举例了。但是作为一个数据挖掘从业者，我发现有两点大家都没有提到，特别在此补充。1、先举一个简单的例子：沃尔玛发现年轻爸爸们买尿布时经常会稍两瓶啤酒回去，准备周末看球赛的时候喝。于是沃尔玛就把啤酒和尿布捆绑销售，取得了非凡的成绩。这个案例堪称是数据挖掘界的经典，它应用的是
。你知道做多少次关联分析才能得到一个有效结论吗？有的关联分析发现的是：“买牛奶的人也会买面包”这种不用说都知道的常识。还有的关联分析发现的是：“买意大利番茄酱的人也会买螺丝帽”，这个结论倒不是常识，但是一百个顾客里也不会有一个顾客会买螺丝帽，顾客基数太小，因此这个答案也没有意义。所以说绝大多数时候，数据里边根本就不存在有效信息。数据挖掘当然不会成功啦。2、这个原因可能有些尖锐，但我还是要提一下。现在顶尖的数据挖掘师还是太少了，数据挖掘市场仍处于底端饱和、高端紧缺的状态，许多从业人员不能掌握常用模型，或者在取数据时十分生疏，这都会导致数据挖掘的时间拉长、质量下降。包括我在内，绝大多数人都没有出色的完成数据挖掘的能力，而数据挖掘跟卖鱼不一样，初级数据挖掘师和中级数据挖掘师的区别并不大，只有能力顶尖了，数据挖掘的成功概率才会有所提高。仔细阅读了楼上的全部答案，发现楼上总结了这么几条数据挖掘很难的理由：数据难获取、数据挖掘师不理解业务、传统企业的冗长流程等等，除此之外，还有一些与“数据挖掘为什么很难成功”没有关系，但是和“数据挖掘有什么障碍”有关系的理由，此处就不举例了。但是作为一个数据挖掘从业者，我发现有两点大家都没有提到，特别在此补充。1、先举一个简单的例子：沃尔玛发现年轻爸爸们买尿布时经常会稍两瓶啤酒回去，准备周末看球赛的时候喝。于是沃尔玛就把啤酒和尿布捆绑销售，取得了非凡的成绩。这个案例堪称是数据挖掘界的经典，它应用的是
。你知道做多少次关联分析才能得到一个有效结论吗？有的关联分析发现的是：“买牛奶的人也会买面包”这种不用说都知道的常识。还有的关联分析发现的是：“买意大利番茄酱的人也会买螺丝帽”，这个结论倒不是常识，但是一百个顾客里也不会有一个顾客会买螺丝帽，顾客基数太小，因此这个答案也没有意义。所以说绝大多数时候，数据里边根本就不存在有效信息。数据挖掘当然不会成功啦。2、这个原因可能有些尖锐，但我还是要提一下。现在顶尖的数据挖掘师还是太少了，数据挖掘市场仍处于底端饱和、高端紧缺的状态，许多从业人员不能掌握常用模型，或者在取数据时十分生疏，这都会导致数据挖掘的时间拉长、质量下降。包括我在内，绝大多数人都没有出色的完成数据挖掘的能力，而数据挖掘跟卖鱼不一样，初级数据挖掘师和中级数据挖掘师的区别并不大，只有能力顶尖了，数据挖掘的成功概率才会有所提高。
因为很难啊...因为很难啊...
我想说...不管干什么都挺难的...别问为什么...我想说...不管干什么都挺难的...别问为什么...
我们在数据挖掘建模的指标选择上，一般会考虑哪些因素可能影响用户流失，找到这些关联指标；还有就是，当客户有了流失意向后，会有哪些异动行为，我们会采集相关指标。其实想想，我们了解到异动行为，比如开始使用它网手机，再做流失干预，估计效果也不会好到哪里去。题外话，你觉得下面数据挖掘成果是有效的么？1、嫌疑犯罪人员的识别率从1%提升到2%；2、在同样规模的在线营销广告推荐中，用户的广告点击率从2%提升到2.5%；我直觉认为以上都是有效的，但类似模型效果在运营商流失预测上，真不知道怎么用这个模型。我们在数据挖掘建模的指标选择上，一般会考虑哪些因素可能影响用户流失，找到这些关联指标；还有就是，当客户有了流失意向后，会有哪些异动行为，我们会采集相关指标。其实想想，我们了解到异动行为，比如开始使用它网手机，再做流失干预，估计效果也不会好到哪里去。题外话，你觉得下面数据挖掘成果是有效的么？1、嫌疑犯罪人员的识别率从1%提升到2%；2、在同样规模的在线营销广告推荐中，用户的广告点击率从2%提升到2.5%；我直觉认为以上都是有效的，但类似模型效果在运营商流失预测上，真不知道怎么用这个模型。
市场促销、市场竞争策略变化对模型影响很大；举例提到：“如果某个合作伙伴来跟你说，我可以做电信行业的离网模型，那是个伪命题，离网模型已经被电信行业做烂了，几乎没有成功的案例，即使一时成功也持续不了多久，只要业务不统一，就不大可能出现一个基本适用的离网模型，你无法想象全国10万个电信资费政策会对预测建模造成怎样的影响”“与互联网大一统的数据相比，其搞的风控模型显然要简单的多了，因为数据的获取难度和稳定度不在一个量级上”市场促销、市场竞争策略变化对模型影响很大；举例提到：“如果某个合作伙伴来跟你说，我可以做电信行业的离网模型，那是个伪命题，离网模型已经被电信行业做烂了，几乎没有成功的案例，即使一时成功也持续不了多久，只要业务不统一，就不大可能出现一个基本适用的离网模型，你无法想象全国10万个电信资费政策会对预测建模造成怎样的影响”“与互联网大一统的数据相比，其搞的风控模型显然要简单的多了，因为数据的获取难度和稳定度不在一个量级上”
相关标签：
关注我们咨询服务合作法律法规京ICP备号
下载申请方APP
即刻拥有你的学业规划助手