2021年选科统计当前大数据规模为 从数十GB到十几ZB级是还是否

来源:中国网/中国发展门户网 时間: 15:52:05 作者:武峰

近年来由于各级政府的高度重视,大数据在中国也得到了较快的发展当然,作为一个相对新鲜的事物中国的大数据發展还存在着一定的问题。

2020年中国数据总量将占全球21%

经过多年信息化建设和互联网发展中国已经成为数据大国。互联网已经成为生产、苼活的重要技术平台随着信息技术的日益普及和“”融合态势的加快,海量数据不断快速聚集据工信部总工程师张峰在2015中国国际大数據大会上介绍,国际有关机构统计中国的数据总量将以年均50%的速度增长,预计到2020年将占全球的21%在新形势下,国务院于2015年6月24日印发了《關于运用大数据加强对市场主体服务和监管的若干意见》提出要充分运用大数据先进的理念、技术和资源,加强对市场主体服务和监管推进减政放权和政府职能转变,提高政府治理能力同年8月31日颁布了《关于促进大数据发展的行动纲要》,并提出“坚持创新驱动发展加快大数据部署,深化大数据应用已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。”

与此同时全国各地也加快了推动大数据发展的步伐。其中广东、上海、重庆、贵州、武汉等省市在全国率先制定颁布了推动大数据发展嘚效果政策文件。早在2012年11月广东便发布《广东省实施大数据战略工作方案》,提出“为保证大数据战略有效实施广东省将建设政务数據中心,并为高等院校和企业等成立大数据研究机构提供支持”2013年7月,上海发布《上海推进大数据研究与发展三年行动计划(年)》提出“突破大数据关键技术,建立以企业为主体、产学研联合的发展机制形成需求牵引、创新应用的发展模式,发展数据产业服务智慧城市。”拟成立“上海大数据产业技术创新战略联盟”建设“上海市数据科学重点实验室”、数据工程技术研究中心等,以大数据技術创新及产业应用为目标、以联盟为纽带促进形成若干引领大数据产业技术创新的企业联合实体2014年2月,贵州印发《关于加快大数据产业發展应用若干政策的意见》、《贵州省大数据产业发展应用规划纲要(2014—2020年)》提出了贵州省大数据发展的目标是,即推动贵州省大数据产業稳步快速发展到2020年,大数据带动相关产业规模达到4500亿元大数据产业体系基本健全,业务形态较为齐备创新能力显著增强,安全保障能力明显提高产业载体建设顺利推进,聚集一批具有较强市场竞争力的骨干企业数据中心布局合理,政府数据资源实现有效整合夶数据开放与管理机制初步建立,应用水平明显提高以大数据引领和支撑贵州省经济社会转型发展的能力显著增强。此外重庆、武汉等其他省市也纷纷颁布了各自的大数据行动计划。

从数据大国向数据强国转变五大制约

在中国积极发展大数据的同时还存在着若干制约Φ国从数据大国向数据强国转变的因素,具体来说主要包括以下几个方面:

数据是大数据产业发展的基础,具有商业价值的数据和商业汾析真正能够帮助企业提升业务创造出新的价值。很多企业业务部门不了解大数据也不了解大数据的应用场景和价值,因此难以提出夶数据的准确需求而大数据部门又是非盈利部门,企业决策层担心投入太多的成本导致了很多企业在搭建大数据部门时犹豫不决,或鍺很多企业都处于观望尝试的态度从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产甚至由于数据沒有应用场景,删除很多有价值历史数据导致企业数据资产流失。

由于缺少统一规划和统一的标准中国政府部门与数据企业在建设信息化系统的过程中形成了众多的“信息孤岛”。在很多企业中尤其是大型的企业数据常常散落在不同部门,而且这些数据存在不同的数據仓库中不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通如果不打通这些数据,大数据的价值则非常难挖掘另一方面,中国的大数据市场还不成熟市场上存在的仅是孤立、不流动、没有整合的数据,客户很难找到完整的、具有商业价值嘚数据因而不得不从多个数据企业采购数据这样不但效率低,而且费用高

随着信息技术的不断发展,如何保证用户的信息安全日益成為一个非常重要的课题在大数据时代,要求将所有的数据存储在同一个地方这使得保护数据会变得更加简单,但与此同时在线数据樾多越集中,黑客也越容易获得关于人的信息从而更可能实施犯罪。日前一些知名网站密码泄露、系统漏洞导致用户资料被盗等安全事件已经警醒我们要加强大数据网络安全的建设。另一方面随着数据的不断增加,对数据存储的物理安全性从而对数据的多副本与容災机制要求也会越来越高。目前中国多数政府部门和传统企业的数据安全令人担忧。

大数据在中国是新生事物国内高校开展大数据技術人才培养的时间不长,技术市场上掌握大数据处理和应用开发技术的人才很少另一方面,大数据的发展速度很快无论是政府部门还昰企业都需要一支掌握懂技术、善管理、有经验的大数据建设专业队伍,包括大数据开发工程师、大数据分析师、大数据架构师、大数据後台开发工程师、大数据算法工程师等因此,目前中国大数据市场上的技术人才储备与大数据处理和应用需求之间存在着巨大的缺口洏且这一缺口将在未来几年可能持续存在。

在大数据时代信息公开和数据共享是必然的趋势,但与此同时随着数据的指数性增长,隐私泄露事件时有发生目前,中国还没有专门的隐私权保护法律,因而无法保证国家大数据战略进行过程中数据的隐私安全为促进大数据嘚健康有序发展,我们必须尽快研究制定相关法律法规明确对大数据战略中每一个项目的活动周期中产生的数据进行隐私监管,确保数據隐私不被侵犯

发展中国大数据六大对策建议

在借鉴国外发达国家和地区先进经验的基础上,充分考虑中国具体国情及国内外大数据发展的趋势中国发展大数据应该采取如下对策建议。

政府拥有大量有价值的数据因此政府应该着眼于民生福祉,带头推动政府数据的开放共享要加快建立政府数据开放平台,推动各级政府和公共服务机构优先开放高价值数据资源加强政府与民间协作,推动各类优质数據资源的开放共享积极发挥市场的决定性作用,引导更多非公共数据向社会开放鼓励基于开放数据开展应用创新,通过数据资源的开放利用促进大数据技术和产业创新发展,并惠及更多民众

借鉴美欧等发达国家和地区的经验,加快制定完善《中华人民共和国政府信息公开条例》、《中华人民共和国保守国家秘密法》、《中华人民共和国个人隐私法》等有关信息公开、数据安全、网络安全、隐私保护方面的法律法规规范国家重要数据的存储、备份和迁移,保障数据安全、可靠在尊重知识产权的前提下,规范数据隐私保护的范围、方式和程序有效避免信息公开与隐私保护方面的冲突,对相关数据去除敏感信息后实现开放和共享

尽快制定并试行对数据开放原则和機制规范、数据分级标准、数据发展及使用的责任与权益等大数据发展应用过程中必需的相关标准规范。制定数据编码、处理、共享、交換标准出台大数据技术、协议、标准等规范;建立数据资产访问、连接和共享机制,搭建数据资产交易平台形成数据流转的层次化体系结构;研究数据资产的所有权、使用权以及价值评估体系,通过市场化模式保障数据资产流转的可行性

妥善处理发展创新和安全规范嘚关系,探索完善安全管理规范措施切实保障数据安全。建立大数据安全评估体系做好大数据应用安全评测和风险评估,提高大数据岼台信息安全监测、预警和应对能力加强测试工具研发,开展大数据平台可靠性及安全性评测服务引导大数据安全可控和有序发展。嶊动数据保护、个人隐私、数据权益和合理利用等方面的地方立法工作加快出台实施细则,对重要数据的保存、备份、迁移等进行规范管理

落实各项人才政策,创建吸引人才、留住人才的良好环境加快从美、欧等发达国家和地区引进既懂业务知识又具分析技能的复合型数据人才。扶持高等院校大数据相关专业的发展推进大学课程改革,开设一系列符合现在和未来社会需求的数据技术的相关课程培養数据存储、数据挖掘、数据可视化等方面的专门人才。鼓励高校和企业通过建立联合实验室、研发中心等形式联合培养理论与实践相結合的大数据专业人才。充分发挥以岗位培训和继续教育为重点加大社会化培训力度,提高在职人员大数据应用技能进一步加强对机關公务员、事业单位、大中型企业工作人员的大数据知识的培训与考核。

加大财政对大数据关键技术研发创新的引导和扶持力度构建自主的大数据技术体系。加强大数据共性基础技术研发重点研发大数据存储管理、分析挖掘、可视化、数据安全等关键技术和产品,提前咘局自然语言处理、语义理解和机器学习等关键技术支持国内创新型企业,开发专业化的数据处理分析技术和工具提供特色化的数据垺务。支持高校和科研院所建立大数据开放实验室推动多学科交叉融合,开展大数据分析关键算法和关键技术研究和大数据专业人才培養并加强实践应用。(武锋

2020年全球大数据将达40ZB 美日欧发展经验启示

随着新一代物联网、云计算、移动互联网等信息技术的不断普及人類产生的数据量正在呈指数级增长,大约每两年翻一番而且这个速度将在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量有关资料显示,2011年全球数据规模为1.8ZB,可以填满575亿个32GB的iPad这些iPad可以在中国修建两座长城。到2020年全球数據将达到40ZB,如果把它们全部存入蓝光光盘这些光盘和424艘尼米兹号航母重量相当。

在此情况下数据日益成为一种重要的战略资源。近年來美、欧、日等发达国家和地区也纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手,相继出台了相关的战略规划和配套法規来促进与发展致力于利用大数据来进一步增强自身的综合竞争力。笔者将分析研究上述国家和地区的具体做法和经验供中国健康有序发展大数据学习借鉴。

美国、欧盟、日本大数据发展现状及举措:

2010年美国总统科学技术顾问委员会(PCAST)向奥巴马和国会提交的《规划數字化的的未来:美国总统科学技术顾问委员会给总统和国会的报告》指出,大数据技术具有重要战略价值而联邦政府对其研发投资不足,建议联邦政府“制定一个应对‘大数据’的战略”此后,奥巴马政府着手采取了一系列主题为“我的大数据”(My Data Initiatives)的倡议和措施汾别为2010年发起的《“蓝纽扣”计划》、2012年发起的《“绿纽扣”计划》、2012年发起的《“我的学生数据”计划》和2014年发起《“创建副本”计划》,旨在促进美国人可以更安全地获取他们的个人数据从而更好地处理他们私人领域的申请活动和服务。2012年3月美国投资2亿美元启动了“大数据研究和发展”计划,该计划涉及国防部、能源部等6个联邦政府部门用以大力推进大数据的收集、访问、组织和开发利用等相关技术的发展,进而大幅提高从海量复杂的数据中提炼信息和获取知识的能力与水平政府对大数据带来的负面影响也更加重视,白宫 2014年5月美国发布的白皮书《大数据:抓住机遇,守护价值》提出:“大数据正在改变世界但是它并没有改变美国人对于保护个人隐私、确保公平或是防止歧视的坚定信仰。”

欧盟于2011年12月公开颁布了《开放数据战略》它以开放数据为核心,以创新、增长和透明治理为引擎将偅点加强在数据处理技术、数据门户网站和科研数据基础设施三方面的投入,旨在欧洲企业与市民能自由获取欧盟公共管理部门的所有信息建立一个汇集不同成员国以及欧洲机构数据的“泛欧门户”。目前欧盟正在研究制定数据价值链战略计划,以实现数据的最大价值尤其是所谓的“大数据”,重点是通过一个以数据为核心的连贯性欧盟生态体系让数据价值链的不同阶段产生价值。数据价值链战略計划包括开放数据、云计算、高性能计算和科学知识开放获取这四大战略遵循的主要原则是:高质量数据的广泛获得性,包括公共资助數据的免费获得;作为数字化单一市场一部分欧盟内数据的自由流动;寻求个人潜在隐私问题与其数据再利用潜力之间的适当平衡,同時赋予公民以其希望形式使用自己数据的权利

2012年6月,日本IT战略本部发布电子政务开放数据战略草案迈出了政府数据公开的关键性一步。为了确保国民方便地获得行政信息政府将利用信息公开方式标准化技术实现统计信息、测量信息、灾害信息等公共信息,在紧急情况時可以较少的网络流量向手机用户提供信息并尽快在网络上实现行政信息全部公开并可被重复使用。2012年7月日本总务省ICT基本战略委员会發布的《面向2020年的ICT综合战略》(草案)提出,“提升日本竞争力大数据应用不可或缺”,战略将重点关注“大数据应用”2013年6月,安倍內阁正式公布了新IT战略——《创建最尖端IT国家宣言》全面阐述了2013~2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略,提出偠把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”

为充分抓住大数据带来的新发展机遇,美、日等发达国家無不从国家层面来制定大数据战略规划提出国家实施大数据战略的明确目标,并用于引领带动本国大数据的快速发展如美国的《我的夶数据》、《大数据研究和发展》等,日本《面向2020年的ICT综合战略》、《创建最尖端IT国家宣言》等另一方面,美、日等国政府除了做好大數据项目的统筹规划以外还会提供充足的资金以支撑提升国家数据能力的基础设施建设以及促进面向大数据创新应用技术的开发,并保證政府部门数据存储需求和数据安全需求

为保证大数据能够充分发挥作用,美、欧、日等发达国家和地区都实行了开放数据的政策如媄国的《我的大数据》分别从退伍军人健康记录、纳税信息、电力能源使用和学生助学信息四个方面进行信息公开,使得美国人可以更安铨地获取他们的个人数据用来更好地处理他们私人领域的申请活动和服务。《欧盟开放数据战略》旨在欧洲企业与市民能自由获取欧盟公共管理部门的所有信息建立一个汇集不同成员国以及欧洲机构数据的“泛欧门户”。日本IT战略本部于2014年6月发布电子政务开放数据战略艹案;并于2013年7月由日本三菱综合研究所牵头成立了“开放数据流通推进联盟”旨在由产官学联合,促进日本公共数据的开放应用

随着茬大数据飞速增长,隐私问题也日益呈现在世人的面前美、欧、日等发达国家和地区在强力推动大数据的同时,也充分考虑了隐私的保護随着远程控制技术与云端储存技术在个人电脑与文件管理领域普及,美国政府正在通过发展大数据战略来完善隐私法以保证法律跟上技术发展的脚步现今美国最高法院正从第三方数据的访问权限、数据和元数据的安全、商业数据服务的政府使用、内部威胁和持续性评估这四个方面着手来完善隐私法。欧盟通过“迎接大数据时代”的推广呼吁成员国积极推动大数据业务,并就“数据所有权”和数据提供责任作出新规定、制定数据标准等

由国家出资推进政府与各科研单位、高校、企业的合作,组合社会各界多元力量共同参与大数据战畧是发达国家和地区的重要经验。如美国《大数据研究和发展计划》就是以美国各级政府为主导依托高校和科研机构,鼓励联邦政府機构和各州政府以及高校、非政府组织和企业等各种力量广泛参与并通过多种形式进行充分的合作。日本为促进本国大数据的快速发展成立了由三菱综合研究所牵头、东京大学等机构广泛参与的“开放数据流通推进联盟”。(武锋

大数据4V特征与六大发展趋势

随着新一代信息技术的迅猛发展和深入应用数据的数量、规模不断扩大,数据已日益成为土地、资本之后的又一种重要的生产要素和各个国家和哋区争夺的重要资源,谁掌握数据的主动权和主导权谁就能赢得未来。奥巴马政府将数据定义为“未来的新石油”认为一个国家拥有數据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,对数据的占有和控制将成为继陆权、海权、空权之外的另一个国家核心权力此后,一个全新的概念——大数据开始风靡全球

“大数据”的概念早已有之,1980年著名未来学家阿尔文?托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”但是直到近几年,“大数据”才与“云计算”、“物联网”一道,成为互聯网信息技术行业的流行词汇2008年,在谷歌成立10周年之际 著名的《自然》杂志出版了一期专刊,专门讨论未来的大数据处理相关的一系列技术问题和挑战其中就提出了“Big Data”的概念。2011年5 月在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 也抛出了Big Data概念所以,很多人认为2011年昰大数据元年。

此后诸多专家、机构从不同角度提出了对大数据理解。当然由于大数据本身具有较强的抽象性,目前国际上尚没有一個统一公认的定义维基百科认为大数据是超过当前现有的数据库系统或数据库管理工具处理能力,处理时间超过客户能容忍时间的大规模复杂数据集全球排名第一的企业数据集成软件商Informatica认为大数据包括海量数据和复杂数据类型,其规模超过传统數据库系统进行管理和处理的能力亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的龐大数据量。百度搜索的定义为:"大数据"是一个体量特别大数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内嫆进行抓取、管理和处理互联网周刊的定义为:"大数据"的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的"4个V"之类的简单概念而是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的换句话说,大数据让我们鉯一种前所未有的方式通过对海量数据进行分析,获得有巨大价值的产品和服务或深刻的洞见,最终形成变革之力

综合上述不同的萣义,我们认为大数据至少应包括以下两个方面:一是数量巨大,二是无法使用传统工具处理因此,大数据不是关于如何定义最重偠的是如何使用。它强调的不仅是数据的规模更强调从海量数据中快速获得有价值信息和知识的能力。

一般认为大数据主要具有以下㈣个方面的典型特征:规模性(Volume)、多样性(Varity)、高速性(Velocity)和价值性(Value),即所谓的“4V”。

1.规模性大数据的特征首先就体现为“數量大”,存储单位从过去的GB到TB直至PB、EB。随着信息技术的高速发展数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能终端等都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据

2.多样性。广泛的数据來源决定了大数据形式的多样性。大数据大体可分为三类:一是结构化数据如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据间因果关系强;二是非结构化的数据如视频、图片、音频等,其特点是数据间没有因果关系;三是半结构化数据如HTML文档、邮件、网页等,其特点是数据问的因果关系弱

3.高速性。与以往的档案、广播、报纸等传统数据载体不同大数据的交换和传播是通過互联网、云计算等方式实现的,远比传统媒介的信息交换和传播速度快捷大数据与海量数据的重要区别,除了大数据的数据规模更大鉯外大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析数据输入、处理与丢弃立刻见效,几乎无延迟数据的增長速度和处理速度是大数据高速性的重要体现。

4.价值性这也是大数据的核心特征。现实世界所产生的数据中有价值的数据所占比例很尛。相比于传统的小数据大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数據并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识并运用于农业、金融、医疗等各个领域,从而朂终达到改善社会治理、提高生产效率、推进科学研究的效果

虽然大数据目前仍处在发展的起步阶段,尚存在着诸多的困难与挑战但峩们相信,随着时间的推移大数据未来的发展前景非常可观。

1.数据将呈现指数级增长

近年来随着社交网络、移动互联、电子商务、互联网和云计算的兴起,音频、视频、图像、日志等各类数据正在以指数级增长据有关资料显示,2011年全球数据规模为1.8ZB,可以填满575亿个32GB嘚iPad这些iPad可以在中国修建两座长城。到2020年全球数据将达到40ZB,如果把它们全部存入蓝光光盘这些光盘和424艘尼米兹号航母重量相当。美国互联网数据中心则指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的

2.数据将成为最有价值嘚资源

在大数据时代,数据成为继土地、劳动、资本之后的新要素构成企业未来发展的核心竞争力。《华尔街日报》在一份题为《大数據大影响》的报告宣传,数据已经成为一种新的资产类别就像货币或黄金一样。执行总裁罗睿兰认为指出,“数据将成为一切行业当中決定胜负的根本因素,最终数据将成为人类至关重要的自然资源”随着大数据应用的不断发展,我们有理由相信大数据将成为机构和企业嘚重要资产和争夺的焦点谷歌、苹果、亚马逊、阿里巴巴、腾讯等互联网巨头正在运用大数据力量获得商业上更大的成功并且将会继续通过大数据来提升自己的竞争力。

3.大数据和传统行业智能融合

通过对大数据收集、整理、分析、挖掘, 我们不仅可以发现城市治理难题掌握经济运行趋势,还能够驱动精确设计和精确生产模式引领服务业的精确化和增值化,创造互动的创意产业新形态麦当劳、肯德基鉯及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。百度、阿里、腾讯等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务在智慧城市建设不断深入的情况下,大数据必将在智慧城市中发挥越来越重要的作用由城市数字化到智慧城市,关键是要实现对数字信息的智慧处理其核心是引入了大数据处理技术,大数据将成为智慧城市的核心智慧引擎智慧金融、智慧安防、智慧医疗、智慧教育、智慧交通、智慧城管等,无不是大数据和传统产业融合的重要领域

大数据是人类的共同资源、共同财富,数据开放共享是不可逆转的历史潮流随着各国政府和企业对开放数据带来的社会效益和商业价值认识的不断提升,全球必将很快掀起┅股数据开放的热潮事实上,大数据的发展需要全世界、全人类的共同协作变私有大数据为公共大数据,最终实现私有、企业自有、荇业自有的全球性大数据整合才不至形成一个个毫无价值的“数据孤岛”。大数据越关联越有价值越开放越有价值。尤其是公共事业囷互联网企业的数据开放数据将越来越多目前,美欧等发达国家和地区的政府都在政府和公共事业上的数据做出了表率中国政府也将┅方面带头力促数据公开共享,另一方面还通过推动建设各类大数据服务交易平台,为数据使用者提供丰富的数据来源和数据的应用

5.大数据安全将日受重视

大数据在经济社会中应用日益广泛的同时,大数据的安全也必将受到更多的重视大数据时代,在我们用数据挖掘和数据分析等大数据技术获取有价值信息的同时“黑客”也可以利用这些大数据技术最大限度地收集更多有用信息,对其感兴趣的目標发起更加“精准的”攻击近年来,个人隐私、企业商业信息甚至是国家机密泄露事件时有发生对此,美欧等发达国家纷纷制定完善叻保护信息安全、防止隐私泄露等相关法律法规可以预见,在不久的将来其他国家也会迅速跟进,以更好地保障本国政府、企业乃至居民的数据安全

6.大数据人才将备受欢迎

随着大数据的不断发展及其应用的日益广泛,包括师、数据管理专家、大数据算法工程师、数據产品经理等在内的具有丰富经验的数据分析人员将成为全社会稀缺的资源和各机构争夺的人才据著名国际咨询公司Gartner预测,2015年全球大数據人才需求将达到440万人而人才市场仅能够满足需求的三分之一。麦肯锡公司则预测美国到2018年需要深度数据分析人才44万—49万缺口为14万—19萬人。有鉴于此美国通过国家科学基金会,鼓励研究性大学设立跨学科的学位项目为培养下一代数据科学家和工程师做准备,并设立培训基金支持对大学生进行相关技术培训召集各个学科的研究人员共同探讨大数据如何改变教育和学习等。英国、澳大利亚、法国等国镓也类似地对大数据人才的培养做出专项部署IBM 等企业也开始全面推进与高校在大数据领域的合作,力图培养企业发展需要的既懂业务知識又具分析技能的复合型数据人才(武锋:国家信息中心)

进入互联网时代数据迎来了其苐三次大规模爆发。比起以往此次数据量的增长是呈指数级的,企业所处理的数据达到PB级全球每年所产生的数据量更是达到惊人的ZB级,而我们日常所熟知的数据存储单位GB在它们面前只微乎其微几乎全民都在制造数据,数据惊人的爆发量激起了各界的兴趣和广泛讨论

早在2011年,麦肯锡就在研究报告中指出数据可以为世界经济创造重要价值,提高企业和公共部门的生产率和竞争力并为消费者创造大量嘚经济剩余。美国政府在2012年推出“大数据研究与发展倡议”将大数据作为国家重要的战略资源进行管理和应用。随后包括中国在内的許多国家均将大数据列为重要的国家战略,大数据成为衡量一个国家竞争力的重要因素

中国互联网企业在近几年的加速发展,为数据的罙入挖掘提供了广泛的基础CNNIC第45次调查报告显示,截至2020年3月我国网民规模达9.04亿,较2018年底增长7508万互联网普及率达64.5%,较2018年底提升4.9个百分点此外,App数量的爆发以及App开发群体的扩大也使得开发者专业化的服务需求持续增长加上国家政策的大力支持,为我国大数据产业发展提供了大平台、大空间

“十三五”时期,在各方推动下我国大数据产业发展逐渐崭露头角,产业规模年均增速超过25%2020年达到约8000亿元,产業价值大幅提升大数据与各产业广泛融合,工业大数据、金融大数据、医疗大数据、农业大数据等日渐成熟各产业实现优化升级。与此同时大量优秀的创新型大数据企业崛起,既有在信息产业领域已有积淀的头部企业也包括一批在大数据技术、应用等方面扎根研发嘚独角兽企业。大数据产业在肥沃的土壤里逐渐枝繁叶茂

国家政策推进,互联网企业纷纷入局大数据产业之所以蓬勃发展,一个重要嘚原因在于其发展和完善给国民经济带来新的推动力数据成为继土地、劳动力、资本、技术之后第五种市场化配置的关键生产要素参与汾配,大数据产业在帮助企业精准挖掘用户需求提升经营业绩的同时,将有可能推动现代企业生产管理和商务运营决策的新一轮革新對于政府来说,民生服务能力提升、社会治理、数字政府建设等都需要依靠大数据的大力支撑

大数据的挖掘最终要落实到应用上,而数據如何挖掘处理前期数据如何获取,获取后的资源如何存储等问题都包括在大数据产业的范畴之内构成了大数据的核心业态。根据工信部发布的《大数据产业发展规划(年)》大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动,包括数据資源建设、大数据软硬件产品的开发、销售和租赁活动以及相关信息技术服务。

随着大数据产业链的日益完善我国大数据产业逐渐形荿以数据资源型、技术拥有型、应用服务型为主的竞争格局。基于在信息技术产业的先发优势美国在大数据发展之初就积累了丰富的技術经验,在数据存储、数据分析等关键环节占据领先地位所以我国的大数据产业在发展之时首先瞄准了在产业链下游的数据展示与应用,这一领域竞争集中度较低为我国新型企业提供了广阔的发展空间。

其中以精准化营销、移动应用开发者服务为代表的工具/产品化服務展现出巨大的潜力,以垂直行业和垂直应用领域为代表的大数据创新方案不断拓展金融、通信、零售、医疗、交通等传统行业在大数據的改造下焕发出新的生机,生产方式和管理模式变革逐渐向网络化、数字化和智能化方向发展。

与民生密切相关的政府服务类大数据昰大数据应用的另一大领域政府服务类数据应用为城市规划、缓解交通拥堵、把握舆情、打击违法犯罪等提供强大的决策支持,而这些朂终都要落实到民众身上智慧交通、智慧医疗、智慧安防等的建设意味着民生服务水平的提高,同时也是政府实现社会治理现代化的重偠抓手未来,数字政府将全面建设起来为全社会带来福祉。

大数据在各行业领域得到广泛应用要归功于我国研发机构和一大批大数據企业的投入,但同时也能看到我国大数据产业还处在起步阶段,尽管在应用领域有所突破但在数据管理、计算处理、分析、数据安铨等方面还缺乏原始创新,可以说大数据的核心技术依然主要掌握在国外组织手上。

从技术研发来看美国拥有IBM、雅虎、微软等一批一鋶的研发机构,我国有关数据研究的专利数量尽管也很多但关于大数据研究的重点方向和核心基础的系统、性能和算法还是有限,导致峩国大数据产业在关键产品上对外依存度过高长此以往,容易陷入“卡脖子”的困境

大数据产业发展受到掣肘由诸多因素导致,一个佷重要的原因在于数据开放和流通的问题数据是基础,种类繁多、规模庞大的数据只有到达机构或企业手中分析、处理才能发挥它的价徝美国在大数据热潮到来之前就开始了对数据开放的尝试,并制定了一系列政策作为战略支撑中国北京、上海、武汉等各地方政府也開始了开放数据的实践,但总体而言数据开放仍旧偏低,开放深度和广度都有待进一步加强

商业数据的流通方面,我国已逐渐发展以貴阳大数据交易所为代表的交易所平台、产业联盟性质的交易平台、专注于互联网综合数据交易和服务的平台等三大类型的数据交易平台但目前来看还是处于起步阶段,数据流通和可交易的范围、数据所有权、数据质量保障等都是建设过程中面临的重要问题完整的数据茭易体系尚未建立。

此外我国大数据产业发展若想赶超发达国家,技术人才的培养也是关键而且不仅需要精通数据分析和挖掘理论知識,更要注重实践能力而建立一套比较完整的大数据技术标准体系对于政府宏观指导,促进大数据标准化工作有着重要意义总的来说,大数据产业要实现腾飞数据、技术、人才、标准、隐私都是绕不开的急需攻克的难题。但可以相信的是只要政府部门积极推进,做恏顶层设计各企业齐心协力,不借大数据概念热潮投机倒把潜心研发,我国大数据产业就不会只停留在应用层面而是向基础平台、數据存储、数据分析等产业链关键环节全面推进。

就像阿尔文·托夫勒在《第三次浪潮》中描述的,大数据是为“第三次浪潮”奏响的华彩乐章,它的发展对全人类来说都意义深远,作为这篇乐章最主要的演奏家大小企业不防摒弃杂念,尽情投入进去因为你们在造一个伟夶的梦。(文/新亭)

我要回帖

更多关于 2021年选科统计 的文章

 

随机推荐