打开App，查看更多内容

• · 结构化流更新，删除Rate数据源-文件数据源· 删除企业不常用SparkStreaming

• 新增Spark教育行业案例，方便学员掌握RDD和DataFrame的使用

• · 离线业务分析-各科目热点题分析· 离线业务分析-各科目推荐题分析

• · MySQL的教育案例数仓实战· Pandas基础使用,作为理解Spark数据类型的基础· Pandas的Series数据结构· 增加在线教育案例

• · Flume采集MoMo数据集场景· 实时和离线方式处理数据场景· Python版本Kafka的调用· NoSQL阶段多场景项目实战

• · python实现自定义记录日志· python实现读取一行行文本文件工具类· python读取表信息转对象方法·

• · 字段类型· flink源码前置基础· 源码的编译和部署· flink启动脚本的解读· yarn-per-job模式解析

• · 概念和通用api介绍· sqlclient工具的使用· catalogs知识点的学习· 流处理中的概念介绍

• · flink的join操作· Streaming File Sink连接器的小文件操作· 数据类型及序列化的原理和实现案例· 热门销售排行TopN的使用案例· 布隆过滤器结合TTL的使用案例

• PySpark实现电影评分数据集分析

• · PySpark新零售分析案例· ETL、ELT区别· Hive CTE表达式、更新union联合查询· 大数据5V特点· 大数据多个应用场景

• 制定v2.0版本课程大纲

• · 完善flink的运行架构内容· 完善flink与kafka连接器的操作· 完善flink的window操作的讲义· 完善ODS层，新增和更新抽取方式，画图错误

• · 优化Hive知识点案例 同步为Hive3版本· 优化Linux基础命令，删除了不常用命令· 优化使用Python实现MR原理机制

• · 优化OLAP、OLTP区别· 优化Hadoop版本安装及注意事项· 优化Hadoop版本安装及注意事项· 优化Hive版本为最新的3.1.2版本

• · 优化HIve3.x架构· 优化PySpark执行流程，引入Py4J技术· 优化车联网Web展示部分· 优化车联网离线Hive数仓构建部分

• · 新增数仓整体设计图· 新增技术选型设计图· 新增项目原始数据库结构图

• · 新增油站维度· 新增服务属性维度· 新增物流公司维度· 新增故障维度

• · 新增行程地理区域维度· 新增组织机构维度· 新增服务网点维度· 新增数仓建模方法论· 新增日期维度程序生成

• · 新增维度模型选型· 新增自动创建hive表· 新增自动创建hive分区· 新增自动关联hdfs数据· 新增自动导入oracle数据

• · 新增自动创建文件目录· 新增记录自动化过程日志· 新增java和数据结构大数据题目4个· 新增算法题目4个· 新增Hadoop题目6个

• · 新增hive题目3个· 新增spark题目7个· 新增flink题目4个· 新增其他大数据组件题目4个· 新增美团大数据架构

• · 新增平安大数据架构解决方案· 新增小米大数据架构解决方案· 新增百度广告业务场景大数据架构解决方案

• · 新增Flume1.9数据采集方式· 新增Flume采集MoMo数据集场景· 新增实时和离线方式处理数据场景· 新增SparkWebUI功能解释

• · 新增Spark3.0新特性· 新增Spark性能调优九项原则、N多配置参数、数据倾斜、shuffle优化· 新增IP查询案例

• · 新增Execl数据分析，整合Execl图标、透视表等使用· 新增Execl分析项目· 数据仪表板展示· 新增Tableau的BI分析工具及项目实战

• · 新增数据分析的Python语言· 新增Python基础语法与高级特性· 新增Python整合SQL的操作及案例· 新增网络爬虫数据采集基础及案例

• · 新增Python高阶语法支持· 新增Selenium自动化工具开发· 新增多场景爬虫项目实战· 新增Python的Numpy及Pandas数据分析框架

• · 新增Pandas数据清洗，数据整理及案例实战· 新增Matplotlib等数据可视化操作及案例实战· 新增Python机器学习原理理解，增加回归、分类及聚类· 算法原理

• · 新增Python机器学习库Sklearn多任务实战· 新增零售行业数据分析及挖掘项目案例· 新增电商行业数据分析及挖掘项目案例

• · 腾讯聊天机器人· 腾讯文字识别· python操作mycat· 小程序开发

• · 推荐算法 · 数据可视化· sql数据查询· H5语法

• · Django认证 · Django权限控制· 美多商城发送短信· 美多商场QQ登录

• · 机器学习排序算法 · 购物篮分析· RFM模型· K均值聚类算法

• · 物品画像 · 用户画像· 召回算法· 漏斗分析

• · 状态保持 · 权限管理· 页面静态化· xpath工具

• · ES集群搭建 · IK中文分词· ES聚合查询· ES冻结解冻索引

• · 登录判断中间件 · cache缓存使用 · 购物车数据存储· git冲突解决

• · 缓存击穿 · 缓存雪崩 · 雪花算法 

• · 响应对象的处理 · 细化Cookie及Session的处理 · 链接失效的爬虫案例 · 美后台权限控制

• · 高性能爬虫 · 多线程爬虫案例 · Flask-Migrate 数据模型设计 · 智慧大屏案例

• · UnitTest断言: 比较断言，复杂断言 · 路由系统全线升级 · 数据图片化反爬 · redis缓存

• · Jmter 图形监视器扩展插件 · 警告断言 · 异常断言 · Jmter性能调试

• · Jmeter实现参数化 · 数据库测试 · 实现跨线程组传值 · lua基础

• · 自定义读写分离 · 认证体系 · 访问劫持 · 安全策略

• · 性能测试分类 · 性能监控指标 · 性能测试流程 · celery使用

• · 定时抓取数据爬虫 · Appium对APP数据的抓取 · 常见性能测试工具优化 · Filebeat详解

• · 禅道的部署方式 · django框架升级为2.25版本 · 美多详情页静态化 · 商品spu表结构

• · 等价类划分法演示案例 · 边界值法的演示案例 · 容联云发送短信 · fastDFS图片上传

• · 测试用例的设计方法 · 获取用户信息模块的单元测试 · 登录注册模块的单元测试 · jenkins使用

• · 异常案例的讲解 · 代码健壮性提升方式 · 登录状态判断 · 异常处理

• · 商品模块代码进行了调整 · Redis事务型管道 · 反爬案例 · 搜索方法优化

• · 黑马头条前端代码 · 分布式事务 · 美多商城前台改为前后端分离模式 · admin后端管理站点讲解

• · 黑马头条业务逻辑: 用户认证 、修改头像 · 黑马头条业务逻辑: 频道管理 · 黑马头条业务逻辑: 文章列表/详情 · 黑马头条业务逻辑: 关注用户 评论回复

　　驶向未来的人工智能巴士。光明图片/视觉中国

　　与人工智能机器人合影。光明图片/视觉中国

　　在手机端实现的增强现实技术。光明图片/视觉中国

　　在日常生活中，人们总爱问“什么时间”“你在哪里”“在干什么”这三个问题。人类社会90%以上的活动信息都与时间、空间相关。现在，时空信息服务已经深入到人类生产生活的各个领域，跟用水用电一样不可或缺。从2017中国地理信息产业大会上获悉，随着我国北斗卫星系统建设的推进，中国掌握了自主、独立、可控的卫星导航技术，时空信息服务能力大大提升，共享单车、无人驾驶等新业态获得了技术支撑。那么，在人工智能时代，时空信息服务领域还会发生哪些颠覆性创新、给人们带来哪些惊喜?本期《科学》版特邀中国工程院院士刘经南，中国科学院院士、中国工程院院士李德仁，中国工程院院士郭仁忠详细解读。

　　刘经南（中国工程院院士）：

　　从时空信息到大数据服务

　　人工智能给各行业带来的巨大挑战与机遇是空前的，将引起未来至少五十年的产业变革。地理信息行业的创新发展必须转变思维方式，树立物联网思维、大数据思维、时空观思维，通过跨界融合，服务社会，争取智能化时代的主动权，实现绿色、智能的整体转型。

　　地理信息行业作为海量时空数据的生产者，从数据采集到数据在各行各业中的应用可能都会在智能化时代中由机器完成。比如，随着智能传感器设备和测量设备精度的智能性、实时性、可靠性越来越高，之前需要由人跋山涉水甚至冒着生命危险完成的工作将由智能设备和机器人来完成。这意味着地理信息行业的某些数据采集工作者将可能被机器人所替代。

　　那么，这就意味着地理信息行业将要走向衰败吗？答案是：不会！

　　随着科学进步，人类对时空服务的需求正在从事后走向实时和瞬间、从静态走向动态和高速、从粗略走向精准和完备、从陆地走向海洋和天空、从区域走向全球、从地球走向深空和宇宙。地理信息的存在性需求，决定了它在智能化时代中不会消失，但必须完成从信息化到智能化的转型。

　　人类对位置服务质量要求越来越高，地理信息行业必须提高服务质量，包括对环境、人体健康、人身安全、时空动态等多方面都要更加精确地监测，满足“互联网+”和智能化时代下日新月异的个性化、智能化、实时化、精准化的服务需求。

　　从这个意义上讲，地理信息行业不会在智能革命浪潮的冲击下逐步衰退。中国地理信息行业在整个智能革命浪潮中的优势，一是世界最大的位置服务需求市场以及体量巨大的时空位置信息，可以为智能化提供丰富的数据资源；二是地理信息行业拥有时空位置基准的法律解释权，时空位置数据精确性、特征性、复杂性标准的制定权。

　　如何帮助行业转型？如何满足“互联网+”时代下不同的服务需求？如何通过人工智能最大化挖掘大数据潜在价值？智能化时代，地理信息行业要利用自身优势，抓住信息时代对时间和空间位置服务越来越高的需求，实现跨界融合。比如，可以利用时空数据云，建立“地理信息大脑”，这个“大脑”需具备感知能力、记忆和思维能力、学习能力、自适应能力、行为决策能力，并通过智慧化，完成预测能力。

　　如何对海量大数据进行充分挖掘和理解，把不同类别、不同精度、不同维度的时空大数据统一到数据服务的标准体系中，是智能化时代的一大挑战。此外，可以将人工智能知识转化为商业应用价值的人才也同样紧缺，亟待培养。智能化时代给地理信息行业所带来的思维变化和自主决策的影响，是对行业和个人最大的挑战。

　　李德仁（中国科学院院士、中国工程院院士）：

　　对地观测脑、智慧城市脑、智能手机脑的构想

　　现在，中国的空间数据很多。天上有卫星，空中有无人机，地上有智能化驾驶汽车，还有视频摄像头和各种传感器，加上人们的手机、智能手表等，每时每刻都产生数以亿计的数据。通过技术创新，中国的卫星导航技术正在走向大众化、智能化，各地都在进行时空信息大数据与时空信息云平台建设。

　　这是现在空间大数据的状态，但是目前我国的遥感、导航、通信系统孤立、信息分离，时空服务相对滞后，所以我们要改进。现在要把孤立的系统通过“多网”融合起来。空间大数据要服务得好，就要靠人工智能激活。

　　人工智能涉及脑科学，人工智能的起源是脑科学的一种进步，全世界都在竞相研究，美国、欧洲等都已经启动脑科学计划。近年来，我国也非常重视脑认知科学的发展建设，提出到2030年人工智能的理论、技术应用总体达到世界领先水平。

　　感知认识和行动，这是人类大脑的一个基本功能，计算机没有这个功能。但如果把人的感知、认知和行动融合在一起，利用空间大数据跟人工智能结合，可以形成很多“智慧脑”。笔者构想了三个“智慧脑”，比如：

　　第一，“对地观测脑”：对地观测脑与人脑类比，人脑有视觉、听觉等功能，通过视觉、听觉等功能获得信息，对地观测脑是将天上的卫星数据传到地面上去，通过大数据和云计算满足人们的要求。这个脑是一个脑认知、感知自动化的认定系统，通过天上卫星的遥感通信来完成数据的认知和处理。

　　对地观测脑需要解决的关键问题，是按需提供服务。要突破主要关键技术比如星基导航增强技术、天地一体化网络通信技术、多源成像数据在轨处理技术、天基信息智能终端服务技术、天基资源调度与网络安全、一体化的非线性地球参考框架构建技术、基于载荷的卫星平台设计与研制技术等。

　　第二，要把智慧城市的运营中心做成“智慧城市脑”。智慧城市有传感网、有云计算，是实时感觉人的互动、车的互动的智慧城市“云脑”，用大数据来提高城市的运营管理水平，搞大数据增值服务，就可以为各行各业实时服务。可以用地理信息系统支持，这个地理信息系统是实时数据进行分析感受，要洞察数据的管理，在云上来实现智慧城市，这样的管理又可以提升智慧城市的水平，要把智慧城市的运营中心做成智慧城市的大脑。

　　第三，要有大量的传感器，让手机成为一个帮助主人的“智能手机脑”。智能手机的进化过程，可以通过手机里的数据推测人类行为，它能够了解主人的行为、心理，提醒人们该做什么不该做什么。手机利用大数据系统进行推理，就知道主人是在散步、还是在家里上网，通过数据分析推理，在手机里面得到一个结论，比如主人在雪地里倒了5分钟，就可以自动拨打110，或通知他的家人来救他，这样的手机才是真正的智能手机。

　　人工智能在地理信息行业的应用还有很多。比如，自动变化检测、无人机高分数据实时处理。传感器的创新要向人工智能、脑智能方向发展，类似对地观测脑、智慧城市脑和智能手机脑，只有抓住这些前沿，才能让地理信息行业成为全人类需要的大产业。时空地理信息过去是静态的，如今必须走向时空地理信息的智能化新阶段。

　　郭仁忠（中国工程院院士）：

　　大数据会让城市管理更智能

　　大数据时代和人工智能时代的到来，让人们对地理信息行业很期待。

　　目前，不仅有移动互联网上传的数据，还有航天遥感的数据。当数据量很大的时候，会发现数据的价值没有跟数据量呈正向相关的关系，这就让人们思考，数据怎样产生价值？时空信息，如果利用大数据，朝人工智能方向发展，会有很大的应用空间。很多新兴行业需要时空信息来做支撑，比如共享单车。我国地理信息产业还处于“农耕时代”。如果数据链再延伸一些，数据的附加值可能就会增加很多。比如，现在很多地方在建立智慧城市，需要大量地理信息数据做支撑。从这个角度讲，时空信息服务不仅要满足于提供非常漂亮的、非常精准的传统数据，还要提供更符合终端，满足用户需要的数据。

　　比如，全国都做了地理信息普查，花了很多人力物力，不仅能够提供影像记录，还能够提供很多增值服务，但这种增值服务与传统地理信息从业人员拥有的专业技术不一样，业务和产品都要跨界，才有更大的价值，不能满足于提供原始数据和产品。跨界过程中，大数据要发挥重要作用，需要结合人工智能，找到更好的服务路径。

　　时空数据信息在智慧城市里有什么用？比如说，把深圳的居住人口和就业人口做分布分析。一个人有两个最常出现的地点——家庭地址和工作场所。早晨他从家里到单位，晚上从单位到家里，他都要经过相关的交通路网，这样，就能通过大数据的手段，知道不同路网的交通流量、交通压力，从而对这个交通路网做公交路线优化、道路规划优化等，大数据会让城市管理更智能。

　　现在，很多地理信息数据还存在相关部门的数据库里，需要把它们变成“云”，实现社会化的共享、社会化的服务。在变成“云”的同时，既要能够做到动态更新、全面感知，而且要能够快速地接入互联网，方便使用；同时还要能深度融合，把地理信息跟城市的其他信息融合起来，形成一个社会化的城市信息，然后在这个基础上进行相关的深度挖掘与应用，推动城市管理迈向智能化。