阿里云odps是什么？

来源：蜘蛛抓取(WebSpider) 时间：2022-06-12 18:39 标签： 阿里云大数据解决方案

 　　MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。

　　BigData 概念在上世纪90年代被提出，随 Google 的3篇经典论文（GFS，BigTable，MapReduce）奠基，已经发展了超过10年。这10年中，诞生了包括Google 大数据体系，微软 Cosmos 体系，开源 Hadoop 体系等优秀的系统，这其中也包括阿里云的飞天系统。这些系统一步一步推动业界进入“数字化“和之后的“ AI 化”的时代。
　　同时，与其他老牌系统相比（如，Linux 等操作系统体系，数据库系统、中间件，很多有超过30年的历史），大数据系统又非常年轻，随着云计算的普惠，正在大规模被应用。海量的需求和迭代推动系统快速发展，有蓬勃的生机。（技术体系的发展，可以通过如下 Hype-Cycle 概述，作者认为，大数据系统的发展进入技术复兴期/Slope of Enlightenment，并开始大规模应用

　　如果说，0到1上线标志一个系统的诞生，在集团内大规模部署标志一个系统的成长，在云上对外大规模服务标志一个系统的成熟。

　　MaxCompute 这10年已经走向成熟，经过多次升级换代，功能、性能、服务、稳定性已经有一个体系化的基础，成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。



　　最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。

　　然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台数据导出到CSV文件，然后再将CSV文件导入到ODPS平台。在这个过程中踩的坑有点多，所以想写篇文档作为记录。

二、大数据平台Hive数据导出到本地

三、ODPS平台创建对应表

3.1 导出原大数据平台Hive建表语句

　　点击压缩包链接下载

3.2.2 使用命令行创建表

　　将all.sql中的建表语句粘贴到命令行执行即可创建表。

3.2.3 建表过程遇到的问题

　　在解决完上述两个问题后，在重复步骤二，在命令行中批量执行建表语句。

四、本地数据导入到ODPS平台

4.1 命令行使用tunnel命令导入数据

 　　使用命令行的方式批量导入数据到对应的表中。

4.2 导入数据遇到的主要问题

　　可能需要加什么选项或者参数可以解决，但是在查看tunnel upload命令的详细介绍后也没有找到使用命令行来解决这个问题的方法。

4.2.2 原始数据存在的问题

　　经检查原始数据，可以发现数据中存在列，该列的值中含有逗号。而数据导入按逗号作为列分隔符，所以会出现数据列数大于表的列数。因为这样的表比较少，所以直接修改数据中那一列中的逗号为其他符号，然后再导入。 

我要回帖

更多关于 阿里云大数据解决方案 的文章

 

随机推荐