手机大数据如何成为城市研究与规划的基础数据？-微众圈
微众圈，我的微信生活圈！
手机大数据如何成为城市研究与规划的基础数据？
摘自公众号：发布时间： 4:04:13
以下内容来自【2015城市规划?长安论坛―新技术支撑下的城乡规划编制方法变革】。《手机数据成为城市规划基础数据的可行性和可能性》报告人：钮心毅，同济大学建筑与城市规划学院，副教授 我的报告分两个部分第一部分是介绍技术的，在新的数据条件下用什么技术支撑规划第二部分介绍非技术问题，我觉得比技术问题更重要。 先跟各位简单介绍什么是手机数据，所谓的手机数据包括三类: 第一类通话详单数据，就是每个用户在运营商那打了多少电话、发了多少短信，这个数据就是通话详单数据，这是个人隐私，运营商不会提供给任何方，所以我们研究中绝对不是使用这部分数据。 第二类是话务量数据，就是通话强度数据，是运营商测试网络承受能力的数据，也就是在一个基站上在一瞬间有多少人发了短信或电话的业务量，这个数据有点像用电负荷数据。这个数据不涉及任何隐私，是运营商比较愿意提供的，长期保留的。但是这个数据看不到个人行为，所以只能在一定程度上反映城市活动，因为通话多短信多的地方大多数是人群密集区，而且不同时段会有不同的特征。所以手机数据最早的城市规划研究就是用这个话务量数据，目前国外研究用的最多的也是这类数据。 第三类数据是信令数据，是手机用户在网络活动中留下的信号数据，只要手机开机，产生任何行为或活动，都会与基站产生信号交换，这个信号交换会被记录下来，平均一个人一天能留下几十个信号，是大致连续的。信令数据也有一点个人隐私问题，是每个用户有一个匿名的编号，记录这个编号在什么时候产生过什么样的信令。一般运营商不会保留信令数据，因为信令数据对他们而言只是一个副产品，过两天就会删掉。但是信令数据对规划研究作用比较大，近期我们都在探索信令数据如何用做规划应用。我们现在使用过话务量数据和信令数据做分析。 先讲讲信令数据特点:首先是大样本，因为不管哪家运营商，用户基数都可算是大样本，而且基站是空间上全覆盖的，有条件提供整个城市范围内居民的活动信息。另外还有两个重要特点，第一是非自愿性。很多大数据能分成两类：自愿数据和非自愿数据，自愿数据是用户主动提供的，有目的性提供的，但是有个缺陷是特定人群的特定信息，好处是有行为目的性。非自愿数据是被动发生的。像手机信令数据，最长隔1-2个小时，基站会发信令确认这个手机是否正常，是一种被动参与的调查，所以真实反映了居民活动的时空变化。 第二个是连续性和动态性，每个人每天从早到晚全部手机活动信令都将记录下来，是个基本连续动态记录。所以通过这个数据可以研究人的行为和空间环境之间相互作用的特征。 信令数据是典型的大数据，一个城市的几十万用户一天产生的信令数据量就可能有十几个G。据说中国联通全网信令数据一天就接近20个T。因为每天都会产生大量的信令数据，所以运营商没有办法一直保存。 手机数据能应用于规划研究中，前提是认为居民行为反应了城市活动的时空特征，居民行为特征和城市空间结构、建成环境是相互作用的。我们通过手机信令来研究居民时空特征，来间接反映建成环境和城市空间结构。 我第一部分内容将讲一讲技术上的可行性，在哪些方面有应用的潜力，我将通过几个研究案例来介绍。
第一个案例是我们去年用手机信令数据做城市功能分区的识别和评估。这是个假题的研究。这是上海中心城区的土地使用现状图和规划图，大概664平方公里，是上海核心区域。通过手机信令数据来识别不同时段的城市活动，来看看规划提出的功能分区在多大程度上实现。我们把上海移动的手机信令数据做了分时段汇总，然后根据基站做了密度分布图，在这基础上再来看不同时间段密度分布特征如何。
选择了四个时间段，一个是工作日上午十点，第二个是休息日下午三点，还有工作日和休息日的夜间。 研究了不同类型的活动，认为工作日上午十点大众都在上班，所以信令都在就业点附近，这时哪个地方信令密度高，就代表了哪个地方的就业岗位密集程度高。休息日下午三点应该大众都在休息，所以这时手机信令密集的应该是商业区或公园等公共场所，而对于夜间手机信令密度高的地方应该是居民在家的情况。 这些我们都是用了两周的平均值来测算，可以从图中看出浦西的密度要比浦东大很多，但是不同时段不同区域有不同特征。 将工作日白天与晚上做了比值，将休息日的下午与休息日的晚上做了比值，我们认为不同比值特征可以反映土地使用特征。看这个表，例如，我们认为工作日夜间密度非常高的区域，同时在工作日白天和夜间差异不太大的区域，认为可能是就业和居住混合区。同样工作日夜间手机信令很少，工作日白天和夜间差异非常大，这可能就是纯就业区。 这些比值特征最终得到这样一张图，大片区域是典型的功能区，浦东有大片黄色低密度居住区域，就是白天人很少，夜间人也不多。同样在浦东我们发现有大片红色区域就是单纯的就业高密度区。 这样我们发现浦西和浦东差异非常明显。在浦西我们发现有大片白色区域，白色区不是没有人，从统计学上来说是功能差异不显著区域，我们无法归类是哪一种功能区域。从图上发现上海浦东、浦西差异非常大，浦东城市活动功能分区非常明确，大致按照规划功能分区来实现，但是浦西有大量功能混合区域。
此案例是用手机信令数据来判断职住空间关系。前面案例是识别一个时间点上有多少手机用户，用手机用户密度的多少代表居民活动活跃度的强弱，根据不同时间段人的活跃程度来判断城市功能的实现程度。现在来换个思路，我们试图用手机信令数据来识别人的居住地和就业地，来看看城市职住空间体系是如何的，做了上海和南昌两个案例。 上海这个案例我们放在了郊区新城这一块研究。上海在十一五开始就提出在郊区建设新城，每个区县基本建一个新城。我们希望通过手机信令数据来识别郊区新城发展状况如何，提出几个问题1 郊区居民的职住关系如何2 多少居民是在郊区新城内部居住和就业3 多少居民职住关系是分离在中心城和郊区之间4 从就业视角来看，新城的发展状况到底如何 通过2011年的手机信令数据识别出了840万用户的OD数据，这里面用到了重复率算法。我们认为在两周的十个工作日时间里，超过6天白天在同一个基站周边出现了，就认为这个手机用户在那里工作，而夜间如果同一个基站出现超过了60%以上天数，那么就是在这里居住。同时我们剔除了白天晚上在同一个基站出现的人群，我们认为这部分人群可能是退休人群，所以最终得到了大概500多万人的OD数据。这样在上海市域内采集到的样本，占到上海总就业人数的50%-60%，还是一个非常大的抽样。 这两张图就是我们识别出日间工作地和夜间居住地的分布图，总体上可以看出郊区新城总体居住较多，就业岗位比较少。 这张图是按照人口普查的常住人口密度，进行9个郊区新城的比较。这也是一般判断郊区新城发展情况的方法。但是根据手机信令数据判断出来的工作岗位密度图来看，我们进行了排序，发现和常住居住密度的新城排序是有差异的，离上海中心城区最近的两个新城，他们根据六普数据来计算常住人口密度非常接近，几乎没有差异，但是手机信令数据来比较这两个新城就业岗位差距接近两倍。 换句话说一个新城就业密度要远远高于另一个新城。这两个视角，一个从居住视角，一个从就业视角，结果差异很大。规划里原来没有办法测算就业岗位密度，但是通过手机信令数据就可以测算出就业岗位密度。 接下来还是根据手机信令数据来测算在新城就业的人口从哪里来，分为三类，第一类来自本区县，第二来自中心城，第三来自其他地区。我们发现上海郊区新城的就业者大部分都是来自本区县，也就是就地城镇化比较高。同样反向测算新城居住者主要去哪里就业，我们发现住在新城的人去中心城区工作的人也不多，也是就地在新城工作的人比较多。 最后这是测算出来的通勤距离，全市范围内，虽然个别的人通勤距离有近100公里，但是大部分人的通勤距离都在5公里范围内。我们发现了嘉定新城的平均通勤距离只有3公里多，也就是郊区新城的通勤距离要低于中心城通勤距离。我们还发现宝山新城平均通勤距离有6公里多，但是宝山新城用地类型也很平衡，工业居住都有，比例很均匀。所以给我们一个启示不能根据用地平衡来测算职住平衡。规划里应对职住平衡的手段太少了，光一张用地平衡表不代表什么。
这个案例是在南昌的研究，是同济规划院正在做的南昌都市区规划的实际项目。也用了手机信令数据测算了都市区的空间结构和交通联系。研究两个层面，一个1000多平方公里的研究范围，一个是有300多平方公里核心范围。 我们用了联通今年4月份的数据。回答几个问题：1 四个组团和中心城的关系是如何的？如果撤县建区，是先撤新建县还是先撤南昌县比较好？换句话说，因为这两个县城都离中心城非常近，哪个跟中心城关系更密切一些？我们用同样的方法测算出职住关系，我们这次就算出了30多万个用户OD数据。这次试了新的方法，把OD基站没有变化用户和从不发短信的用户都排除掉。我们认为从不发短信的多半是退休老年人士，最终剩下的是真正在职就业的，再看他们的通勤范围有多大。 这里有几张图我们很快看过去，这是中心城区职住情况，这是在中心城区就业者的夜间居住地分布，这是在中心城区居住者的就业地分布，大部分都在中心城区内。这是南昌县城的就业者他们居住在哪里，这是反过来在南昌县城居住者他们的就业地点分布。把南昌县和新建县比较，发现这两个县城还有很大差异，比如密度差异，新建县密度要高于南昌县。还要注意一下分布范围，南昌县城通勤范围在江北分布比较少，因为县城在南边；但是新建县城就算在北边，他的通勤范围在南边分布也很广。 所以我们可以发现新建县城与中心城的联系要比南昌县城更紧密一点。再看看向塘镇，相对独立性就强很多，与中心城江北基本没有联系，但是同样再看看昌北机场开发区，主要是依赖中心城，不管是正向还是反向的联系很紧密。所以最终得出几个结论：1新建县城要和中心城联系更紧密，2昌北机场开发区还不算独立一个组团，3向塘镇是一个独立性比较强的组团。
第二个问题我们想比较下新城、旧城两个中心的差异。测算到过旧城中心八一广场的人一天活动范围有多大，去过新城中心红谷滩的人一天之内活动范围又是多大，来判断哪个中心辐射范围更强。最终算出结果，差异非常大，也就是去过八一广场的人，一天之内活动范围虽然不大，但是密度很高。去过红谷滩的人，一天内的活动范围非常大。也就是去过江北的人，他可能还要去江南，但是去过江南的人就不一定要去江北了。所以我们认为江南老城中心的辐射大于江北新城中心，老城中心辐射强度要远远大于新城中心辐射范围。 还有一个计算结果，测算了一天之内跨江出行的比例。选了两个工作日和两个休息日，发现有近20%的居民，一天内总要发生一次跨江出行，所以这就是赣江上的四座大桥非常拥堵的原因，江南江北联系程度非常高。 上面讲的案例我想说明在技术上对手机信令数据研究是可行的。但是有几个前提，首先只能适合大尺度研究，因为依靠基站定位很粗，基站范围是500-1000米，所以研究尺度比较大，如果你研究一个详规层面、城市设计层面就不行。但是如果研究全市层面，城市整个空间层面、或者区域层面，就非常适合。 手机信令会给我们新的视角，我们可以看到居民的就业点、居住点、以及就业居住点的联系情况，甚至可以看到居民的休闲活动规律。所以大尺度、对应人口分布、对应居民活动范围是三个适合手机信令数据应用的前提。缺陷有两个：第一空间定位分辨率较粗，第二个无行为目的。因为我们不知道他去干什么，只能根据常理判断。比如白天位置当作就业点，晚上位置作为居住点，但如果那个人上夜班，就完全反了。
下面我再讲点不乐观的。首先是数据从哪里来。很多同行问数据来源怎么办？数据来源方面有很多困惑，主要是运营商很困惑。首先困惑是个人隐私问题，运营商能提供转换加密过的数据。我们从这数据中看不到个人具体信息，算是匿名数据，但还是有个人隐私问题在。虽然不知道是谁，但是每个匿名ID号是对应一个手机号的，还是有唯一性，是可以看出这个人的一天活动。 从数据伦理的角度讲，做个体的研究还是有一定问题的，所以我本人不做个体行为研究，只做总体活动情况研究，但是也有人做个体行为计算的研究。数据如何完全脱敏，才能算完全保护个人隐私？运营商也不清楚，我们也不知道。这也是数据很难获取的原因，就是因为隐私问题。 第二个问题是谁的数据。就是用户在通过基站留下手机信令数据，到底是谁的产权。如果是运营商的，运营商是可以出售数据的，但是如果是用户个人的，运营商是没权利这么做。现在法律角度来说，能否界定信令数据到底是用户所有还是运营商所有？这也是运营商非常忌讳的，据说已有运营商就吃过这样的官司，为什么你把我的数据卖给第三方去做分析了。 第三个问题是数据用在哪些场合比较合适，信令数据能不能用于商业用途，比如他将信令数据拿出来卖，到底是所有人都能买，还是只有政府、公益用途的研究才可以使用，这个在法律问题上也没有界定。 基于这三个主要问题，运营商就没办法轻易将数据拿出来。所以我个人一直建议，希望能有法律对大数据进行立法，能立法保护个人信息，需要国家法律来界定哪些数据能来做分析，哪些不能使用。目前手机信令数据可能走在法律空白地带。有的运营商把数据再加工一层，脱敏保护个人信息；有的是签订协议只能用于政府规划项目，不得再给第三方使用。所以希望各位同行能够呼吁，我们需要一个准确的法律界定。 其次问题是数据渠道，是靠“市长”还是靠“市场”。现在我们看到不少规划机构在做类似手机信令数据应用，数据渠道怎么来也是个很大问题。目前很多都是靠政府出面，靠着行政命令去压运营商，运营商无偿提供了数据。虽然信令数据是运营商的副产品，如果运营商要记录信令数据，是需要购买设备、是要有经济投入，才能来记录这些数据。得不到利益回报，运营商就没有动力配合，所以一直靠政府行政命令来强制要这个数据，不是长久之计。 希望接下来有个规范的数据服务市场，运营商能加工数据，提供数据增值服务，供给规划行业和政府合理合法地使用这些数据服务。运营商不提供原始信令数据，提供加工后的数据服务产品。现在来说，运营商还没法加工出符合规划行业使用要求的数据服务产品。但是到底如何加工数据，需要我们告诉他们。目前运营商有动力这么做，他们也知道大数据应用有很大发展前景。 另一个问题是我们有多大的市场来提起运营商的兴趣，让他们愿意主动加工符合我们规划行业需求的数据。规划行业比较小，如果运营商意识到规划行业太小了，市场不大，他可能就不太愿意来配合我们行业，提供这些数据。我们以往规划设计往往不把数据当作成本，认为最大的成本是自己的智力劳动。我们签合同时，经常要甲方无偿提供地形图和基础数据，把数据成本压到最低，这样是肯定不行的。大家要舍得在数据上花钱，因为在新数据环境下，数据驱动规划是个必然方向，全行业推动下才能引起运营商重视。不能光盯着免费靠政府提供数据，希望能有一个规范的数据服务市场，这才是长久之计。 第三个问题是老生常谈，规划行业本身的困惑是缺少技术和方法。就算有了这个数据，在各个规划院找出个人能来处理这些数据都不是件容易的事。这也就是要从规划教育开始改变。很多省院都成立了大数据、新技术研究中心，这要靠全行业的推动。就是需要规划师要有这样的意识，他要对数据和技术方法有引领意识，要去学习新的方法和技术，最终对大数据应用肯定要靠规划人员，而不是光靠外专业人员，不然这个事情可能会走偏方向。 最后我想总结一下：对运营商来说他有数据，有提供应用服务的动力，但是他不知道规划应用需求到底是什么，也不知道这个数据怎么做应用。对我们来说只有使用意愿，其他什么都没有，所以我们除了需要技术方法和人才，还需要两者之间的桥梁。 我们需要这三方面的桥梁：首先是数据伦理，或者通过立法，或者要达成行业共识，什么样情况下数据可以用；第二个要有规范的市场服务支撑，这才是长久之计，双方都能受益情况下这个市场才能维持下去；第三个是规划行业一定要技术上的创新。我们行业的创新才是推动数据增值服务，推动数据立法的动力所在。我们有技术创新需求，才能推动前面两个桥梁建立起来，这需要全行业来努力。 最后讲下展望，现在阶段手机数据已经能在现状分析，能做规划实施评估，这这些方面我们已经在做探索了。下一步希望能与传统模型结合来做预测。根据大数据分析结果，把传统模型和新的数据环境相结合，这样更好提供规划技术支持。从目前来讲，手机数据做现状调查和规划实施评估是最可能推广的两个应用方向。 来源：城市数据派
近期精彩文章（回复数字获取）：150728 大数据告诉你：北上广深，谁最苦最累最拼命！150726 大数据告诉你：哪些家庭的孩子，学习成绩更优秀!150721 大数据这么牛！媳妇儿是谁都能算出来！150719 我从腾讯那“偷 了”3000万QQ用户数据，出了份很有趣的独家报告！150716 十张图看懂未来大数据世界150711 一张图告诉你创业成本有哪些？亿篇自媒体文章大数据分析结果告诉你：什么样的文章能疯转？150630 （完整版）2015年度大数据发展10大预测（内有福利）15005 天天说大数据但不知怎么用？读完这篇你就懂了15006 重磅| 有关大数据，看这一篇就够了！15007 大数据：“啤酒＋尿布”成经典案例
微信号：hzdashuju为你推送和解读最前沿、最有料的科技创投资讯
36Kr股权投资
汇集行业内最优质创业项目的股权投资平台
聚集15家顶级投资机构的专业互联网融资平台
聚集全球最优秀的创业者，项目融资率接近97%，领跑行业丰富的数据源是大数据产业发展的前提
日　来源: 互联网　【】 【】分享到：
中研网讯：　　《时代：生活、工作与思维的大变革》作者之一维克托·迈尔-舍恩伯格曾表示，如同望远镜让人类能够感知宇宙，显微镜让人类能够观测微一样，大数据开启了一次重大的时代转型。　　大数据，可谓当下IT领域最时髦的词，简单说就是从各种数据中快速获取价值的能力。　　美国是最早发现和使用大数据科学价值的国家。2012年3月，奥巴马政府宣布2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略，奥巴马政府甚至将大数据定义为“未来的新”。当时美国政府声明说通过提高美国从大型复杂的数据集中提取知识和的能力，来加强整个国家的竞争力，这被认为是跟同一个级别的时代。显然，大数据不止是一个词汇，更是一门，是一个产业时代。
相关研究报告
2014年12月
2014年11月
2014年10月
2014年10月
2014年10月
　　而中国作为世界上人口最多、GDP排名第二的国家，成立大数据国家队是非常及时的。大数据的精髓在于“大”，它不是抽样而是全样，它不是盲人摸到的象腿或者是象鼻子，而是整个大象本身，大数据的精妙处在于用的人越多越增持，通过这样一个模糊的宏观判断，能够完成一个精准的个体推荐，从而会让整个生产效率得到极大提高。　　不过作为一个新生领域，尽管大数据意味着大机遇，拥有巨大的应用价值，但同时也遭遇工程技术、管理政策、人才培养、资金投入等诸多领域的大挑战。只有解决这些基础性的挑战问题，才能充分利用这个大机遇，让大数据为企业为社会充分发挥的最大价值与贡献。　　挑战一：数据来源错综复杂　　丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。　　现如今，几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。　　未来，数据采集是一个很大的市场，因为分析的数据模型可以根据需求和思维做，但所有的前提是你的数据采集要准，现在的问题一个是采集不到，一个是采集错了，还有一个是采集效率受到带宽限制，这几个都做不到的话数据价值很难用起来。　　大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的有意或者无意记载着的信息数据之外，、智能、智能手环等各种可穿戴也在无时无刻地产生着数据；就连我们家里的、、、、、净化器等也开始越来越智能并且具备了联网功能，这些在更好地我们的同时，也在产生着大量的数据；甚至我们出去逛街，商户的,商的网络，无处不在的眼，大楼的自助屏幕，的ATM，以及遍布各个便利店的等也都在产生着数据。　　随着移动互联、等技术的飞速发展，无论何时何地，手机等各种网络入口以及无处不在的等，都会对个人数据进行采集、存储、使用、分享，而这一切大都是在人们并不知晓的情况下发生。你的一举一动、地理位置、甚至一天去过哪些地方，都会被记录下来，成为海量无序数据中的一个数列，和其他数据进行整合分析。　　比如，当你用手机扫描，并将其用转发的时候，你的消费习惯、偏好，甚至你的社交圈子的信息，就已经被商家的大工具捕获。大数据平台在提供服务的同时，也在时刻收集着用户的各种个人信息：消费习惯、阅读习惯甚至生活习惯。这些数据，一方面给人们带来了诸多便利，但另一方面，由于数据的管理还存在漏洞，那些发布出去或存储起来的海量信息，也很容易被监视、被窃取。　　大数据散发出不可估量的价值。但让人感到不安的是，信息采集手段越来越高超、便捷和隐蔽，对公民个人信息的保护，无论在技术手段还是法律支撑都依然捉襟见肘。人们面临的不仅是无休止的骚扰，更可能是各种犯罪行为的威胁。大数据时代，谁来保护公民的个人隐私？既是每个人都应当思考的问题，也是政府部门不可推卸的责任。　　挑战二：数据挖掘分析模型建立　　步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。　　大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。　　另外，要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。　　因此，现在已经有很多企业开始意识到，要想真正在Hadoop平台上做数据分析、数据挖掘的应用，有两种选择，要么就是汇聚一个懂数据、懂分析、懂编程又要有技巧的技术团队来操作，要么就是选择某家商业公司推出的成熟的大数据平台。　　总而言之，目前尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中还难以通用。　　挑战三：数据开放与隐私的权衡　　数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。　　下面，我们来看一下美国在数据开放方面的做法。美国政府提供政策和经费保障，使数据信息中心群成为国家信息生产和服务基地，保障数据信息供给不断，利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中，把全社会带进了时代。　　纵观国内，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是不完善，大数据挖掘缺乏相应的立法，毕竟我国还没有国家层面的专门适合数据共享的国家法律，只有相关的条例、法规、章程、意见等。无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。　　开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。　　全社会开放与共享数据还很难，这让数据质量大打折扣。数据增值的关键在于整合，但自由整合的前提是数据的开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料、生活数据自由地流动起来，准确全面应用起来，以推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。然而战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在当前我国发展应用中不得不面对的困难。　　挑战四：大数据管理与决策　　大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。　　大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。　　大数据应用领域仍窄小，应用费用过高，制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在、、、、等超大型、垄断型企业，谈大数据价值为时尚早。随着企业内部的资料量愈来愈大，日后大数据将成为IT支出中的主要因素，特别是数据储存所耗费的成本，很可能造成企业负担，甚至望而却步。因此有远见的CIO必须预先做好准备。　　挑战五：大数据人才缺口　　如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。　　大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。　　可以说，真正启动大数据在企业和社会的全面应用，面临的不仅仅是技术和工具问题，更重要的是要转变经营思维和组织架构，才能真正地挖掘这座大数据“金矿”。那么在大数据时代，我们要做哪些应对之策，以握战略制胜之点?　　整合与开放是基石　　大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示，60%受调查者称：“目前就说这些大数据肯定能够带来良好回报尚为时过早。”之所以如此，是由于当前大数据缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。大数据是通过研究数据的相关性来发现客观规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，这是当前大数据发展的软肋和需要解决的大问题。　　2012年美国大选，奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队，他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金；他们通过数据挖掘使竞选投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型，每晚实施6.6万次模拟选举，推算奥巴马在“摇摆州”的胜率，并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方：对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题：数据分散在过多的数据库中。因此，在前18个月，奥巴马竞选团队就创建了一个单一的庞大数据系统，可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、，以及“摇摆州”主要的民主党投票人的信息整合在一起，不仅能告诉竞选团队如何发现选民并获得他们的注意，还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说，在整个竞选活中，没有数据做支撑的假设很少存在。　　2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内目标之一就是实现数据的集中共享。　　因此，从社会、国家领域而言，我国亟须在国家层面对大数据给予高度重视，特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持；另一方面，建立良性的大数据生态环境是有效应对大数据挑战、用好大数据的主要出路，需要科技界、工业界以及政府部门在国策的引导下共同努力，通过消除壁垒、成立联盟、大数据质量标准、建立专业组织等途径，建立和谐的大数据生态系统。　　力推合作共赢的商业模式　　随着云计算、大数据技术和相关商业环境的不断成熟，越来越多的“软件开发者”正在利用跨行业的大数据平台，打造创新价值的大数据应用，而且这一门槛正在不断降低。因为首先，数据拥有者能够以微乎其微的成本获取额外的收入，提高利润水平；其次，大数据设备厂商需要应用来吸引消费者购买设备，发展合作共赢的伙伴关系势必比单纯销售设备要有利可图，一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”；第三，行业细分市场的数据分析应用需求在不断加大，对于整个大数据产业链来说，创新型的应用开发者必将是未来整个大数据产业链中最为活跃的部分。　　未来，有三种企业将在”大数据产业链“中处于重要地位：掌握海量有效数据的企业，有着强大数据分析能力的企业，以及创新的“软件开发者”。社交网络、、信息化企业、都是海量数据的制造者，Facebook公司手中掌握着8.5亿用户，淘宝注册用户超过3.7亿，腾讯的微信用户突破3亿，这些庞大用户群所提供的数据，正在等待时机释放出巨大商业能量。可以预测，在不久的将来，Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为数据分析提供商，或者与IBM、ZTE等企业密切对接成为上下游合作企业，大数据产业链将在某个爆发时点到来之际，以令人惊讶的速度成长壮大。　　大数据的杀伤力需防患于未然　　大数据时代，传统的随机抽样被“所有数据的汇拢”所取代，人们的思维决断模式，已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此将更精确、更有预见性。不过，由于大数据过于依靠数据的汇集，一旦数据本身有问题，就很可能出现“灾难性大数据”，即因为数据本身的问题，而导致错误的预测和决策。　　大数据的理论是“在稻草堆里找一根针”，而如果“所有稻草看上去都挺像那根针”呢？过多但无法辨析真伪和价值的信息和过少的信息一样，对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言，同样是一种危害。“大数据”理论是建立在“海量数据都是事实”的基础上，而如果数据提供者造假呢？这在大数据时代变得更有害，因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。　　不仅如此，大数据时代造就了一个数据库无所不在的世界，数据监管部门面临前所未有的压力和责任：如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害？如何避免信息不对等，对困难群体的利益构成伤害？在有效控制风险之前，也许还是让“大数据”继续待在笼子里更好一些。　　大数据的经济价值已经被人们认可，大数据的技术正逐渐成熟，一旦完成数据的整合和监管，大数据爆发的时代即将到来。我们现在要做的，就是选好自己的方向，为迎接大数据的到来，提前做好准备。　　以未来的视角看，无论是政府、互联网公司、IT企业还是行业用户，只要我们以开放的心态、创新的勇气拥抱“大数据”，大数据时代就一定有属于中国的机会。　　大数据人才培养迫在眉睫　　大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、学习和自然处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业和领域，大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才，或建立专门的数据科学家团队，或与专业的数据处理公司合作，以解人才之急。　　当大数据被讨论得热火朝天时，我们更需要冷静地思考，如何让技术扎实而有效地落地。虽然距离大数据时代我们还有很长的路要走，但正象孙正义昨天在乌镇演讲时最后说的：“我想说的是，我们要有信心，中国几年后将成为世界最大的经济体，人类的未来将充满了机遇，会充满了很多的快乐，有很多的光明憧憬等待着我们”。
本文分享地址：
相关新闻关键词阅读：
互联网思维将使传统产品焕发新生命力...
根据盖世汽车网整理的数据，今年前三季度，国内A0级轿车市场继续萎缩：销量...
深秋已至，记者调查部分国家5A级旅游景区门票价格后发现，多数景区均准备在...
10月31日，国务院新闻办公室举行了2014年第三季度我国工业通信业发展情况新...
据国家统计局数据，7月服装鞋帽、针纺织品零售额同比增长为12%，为 20131...
电子商务的发展正在冲击着传统的商业模式和市民的消费理念，悄然改变、甚至...
携程透露，国庆作为传统的出游旺季，酒店业务增长迅猛，国庆 7天大批量游9...
截止到目前，全国仅有北京、上海、广州、深圳、三亚5个城市仍在执行限购。1...
深圳运营中心：深圳市中研普华管理咨询有限公司 华南运营总部：深圳市福田中心区深南中路东风大厦12楼全层 邮编：518031 &&乘车路线
全国免费服务热线：400-856--5388 客户服务专线：6 06 96
专线：6 29596 专线：6
媒体合作：6 广告合作：6网站合作：6 邮箱： 传真：8
咨询QQ：5336038
Copyright (C) 1998- All Rights Reserved. 版权所有 中国行业研究网(简称“”) TM 旗下网站 粤ICP备号