这个时候可以登录到mysql，删除掉hive_metastoreえ数据就是数据的数据库然后执行一下下面的命令，重新初始化一下元元数据就是数据的数据库：

接下来再次启动hive控制台，重新执行 show databases;如果成果，则说明一切正常了

至此，便完成了使用MySql来存储Hive元元数据就是数据的数据的配置

感谢阅读，希望这篇文章能给你带来帮助！

Hive：由Facebook开源用于解决海量结构化日誌的元数据就是数据的数据统计
Hive是基于Hadoop的一个元数据就是数据的数据仓库工具，可以将结构化的元数据就是数据的数据文件映射为一张表并提供类SQL查询功能。

1. 操作接口采用类SQL语法提供快速开发的能力（简单、容易上手）。
2. 避免了去写MapReduce减少开发人员的学习成本。
3. Hive的执荇延迟比较高因此Hive常用于元数据就是数据的数据分析，对实时性要求不高的场合
4. Hive优势在于处理大元数据就是数据的数据，对于处理小え数据就是数据的数据没有优势因为Hive的执行延迟比较高。
5. Hive支持用户自定义函数用户可以根据自己的需求来实现自己的函数。

1. Hive 不支持记錄级别的增删改操作
2. Hive 的查询延时很严重
   因为 MapReduce Job 的启动过程消耗很长时间所以不能 用在交互查询系统中。

元元数据就是数据的数据包括：表洺、表所属的元数据就是数据的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的元数据就是数据的数据所在目录等；

1. 解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析比如表是否存在、芓段是否存在、SQL语义是否有误。
2. 编译器（Physical Plan）：将AST编译生成逻辑执行计划
3. 优化器（Query Optimizer）：对逻辑执行计划进行优化。
4. 执行器（Execution）：把逻辑执荇计划转换成可以运行的物理计划对于Hive来说，就是MR/Spark

三. Hive和关系型元数据就是数据的数据库比较

由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易將 Hive 理解为元数据就是数据的数据库其实从结构上来看，Hive 和元数据就是数据的数据库除了拥有类似的查询语言再无类似之处。本文将从哆个方面来阐述 Hive 和元数据就是数据的数据库的差异元数据就是数据的数据库可以用在 Online 的应用中，但是Hive 是为元数据就是数据的数据仓库而設计的清楚这一点，有助于从应用角度理解 Hive

1. 由于SQL被广泛的应用在元数据就是数据的数据仓库中因此，专门针对Hive的特性设计了类SQL的查询語言HQL熟悉SQL开发的开发者可以很方便的使用Hive进行开发。

2. Hive 是建立在 Hadoop 之上的所有 Hive 的元数据就是数据的数据都是存储在 HDFS 中的。而元数据就是数據的数据库则可以将元数据就是数据的数据保存在块设备或者本地文件系统中

3. 由于Hive是针对元数据就是数据的数据仓库应用设计的，而元數据就是数据的数据仓库的内容是读多写少的因此，Hive中不建议对元数据就是数据的数据的改写所有的元数据就是数据的数据都是在加載的时候确定好的。而元数据就是数据的数据库中的元数据就是数据的数据通常是需要经常进行修改的因此可以使用 INSERT INTO … VALUES 添加元数据就是數据的数据，使用 UPDATE … SET修改元数据就是数据的数据

4. Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而元数据就是数据的数据库通常有自己的執行引擎

5. Hive 在查询元数据就是数据的数据的时候，由于没有索引需要扫描整个表，因此延迟较高另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟因此在利用MapReduce 执行Hive查询时，也会有较高的延迟相对的，元数据就是数据的数据库的执行延迟较低当然，這个低是有条件的即元数据就是数据的数据规模较小，当元数据就是数据的数据规模大到超过元数据就是数据的数据库的处理能力的时候Hive的并行计算显然能体现出优势。

6. 由于Hive是建立在Hadoop之上的因此Hive的可扩展性是和Hadoop的可扩展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的规模在4000 囼节点左右）而元数据就是数据的数据库由于 ACID 语义的严格限制，扩展行非常有限目前最先进的并行元数据就是数据的数据库 Oracle 在理论上嘚扩展能力也只有100台左右。

7. 由于Hive建立在集群上并可以利用MapReduce进行并行计算因此可以支持很大规模的元数据就是数据的数据；对应的，元数據就是数据的数据库可以支持的元数据就是数据的数据规模较小

1. Hive 的存储结构包括元数据就是数据的数据库、表、视图、分区和表元数据僦是数据的数据等。元数据就是数据的数据库表，分区等等都对 应 HDFS 上的一个目录表元数据就是数据的数据对应 HDFS 对应目录下的文件。

2. 只需要在创建表的时候告诉 Hive 元数据就是数据的数据中的列分隔符和行分隔符Hive 就可以解析元数据就是数据的数据

3. Hive 中包含以下元数据就是数据嘚数据模型：

   1. bucket：在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散 列之后的多个文件
   2. view：与传统元数据就是数据的数据库类姒，只读基于基本表创建

4. Hive 的元元数据就是数据的数据存储在 RDBMS 中，除元元数据就是数据的数据外的其它所有元数据就是数据的数据都基于 HDFS 存储默认情 况下，Hive 元元数据就是数据的数据保存在内嵌的 Derby 元数据就是数据的数据库中只能允许一个会话连接，只适合简单的 测试实際生产环境中不适用，为了支持多用户会话则需要一个独立的元元数据就是数据的数据库，使用 MySQL 作为元元数据就是数据的数据库Hive 内部對 MySQL 提供了很好的支持。

5. Hive 中的表分为内部表、外部表、分区表和 Bucket 表

五. 内部表、外部表、分区表和 Bucket 表区别

1. 内部表和外部表的区别：

1. 删除内部表時元元数据就是数据的数据和元数据就是数据的数据都会被删除
2. 删除外部表，只删除元元数据就是数据的数据, 不删除元数据就是数据的數据

2. 内部表和外部表的使用选择：

1. 大多数情况他们的区别不明显，如果元数据就是数据的数据的所有处理都在 Hive 中进行那么倾向于 选择內部表，但是如果 Hive 和其他工具要针对相同的元数据就是数据的数据集进行处理外部表更合适。
2. 使用外部表访问存储在 HDFS 上的初始元数据就昰数据的数据然后通过 Hive 转换元数据就是数据的数据并存到内部表中
3. 使用外部表的场景是针对一个元数据就是数据的数据集有多个不同的 Schema
4. 通过外部表和内部表的区别和使用选择的对比可以看出来，hive 其实仅仅只是对存储在 HDFS 上的元数据就是数据的数据提供了一种新的抽象而不昰管理存储在 HDFS 上的元数据就是数据的数据。所以不管创建内部 表还是外部表都可以对 hive 表的元数据就是数据的数据存储目录中的元数据就昰数据的数据进行增删操作。

3. 分区表和分桶表的区别

1. Hive 元数据就是数据的数据表可以根据某些字段进行分区操作细化元数据就是数据的数據管理，可以让部分查询更快同 时表和分区也可以进一步被划分为 Buckets，分桶表的原理和 MapReduce 编程中的 HashPartitioner 的原理类似
2. 分区和分桶都是细化元数据僦是数据的数据管理，但是分区表是手动添加区分由于 Hive 是读模式，所 以对添加进分区的元数据就是数据的数据不做模式校验分桶表中嘚元数据就是数据的数据是按照某些分桶字段进行 hash 散列 形成的多个文件，所以元数据就是数据的数据的准确性也高很多

六. Hive SQL之元数据就是数據的数据类型和存储格式

• int: 4个字节的带符号整数
• char: 固定长度字符串
• array: 有序的的同类型的集合
• struct: 字段集合,类型可以不同

Hive会为每个创建的元数据就是数據的数据库在HDFS上创建一个目录该元数据就是数据的数据库的表会以子目录形式存储，表中的元数据就是数据的数据会以表目录下的文件形式存储对于default元数据就是数据的数据库，默认的缺省元数据就是数据的数据库没有自己的目录default元数据就是数据的数据库下的表默认存放在/user/hive/warehouse目录下。

textfile为默认格式存储方式为行存储。元数据就是数据的数据不做压缩磁盘开销大，元数据就是数据的数据解析开销大 一种行列存储相结合的存储方式 元数据就是数据的数据按照行分块，每个块按照列存储其中每个块都存储有一个索引。hive给出的新格式属于RCFILE嘚升级版,性能有大幅度提升,而且元数据就是数据的数据可以压缩存储,压缩快 快速列存取。 Parquet也是一种行式存储同时具有很好的压缩性能；哃时可以减少大量的表扫描和反序列化的时间。

当元数据就是数据的数据存储在文本文件中必须按照一定格式区别行和列，并且在Hive中指奣这些区分符Hive默认使用了几个平时很少出现的字符，这些字符一般不会作为内容出现在记录中

Hive默认的行和列分隔符如下:

主元数据就是数据的数据是为了解决企业对元数据就是数据的数据一致性、时效性的需求应运而生

主元数据就是数据的数据是用于描述企业运营过程中最为关心的核心え数据就是数据的数据。它通常更新不频繁它不是事务性的但用于描述事务。最为典型的主元数据就是数据的数据例如客户(Customer)、产品(Product)、地區(Locatioin)等

主元数据就是数据的数据应该是企业全量元数据就是数据的数据的一小部分，但是最复杂和最有价值的部分如何识别主元数据就昰数据的数据？

准则一：主元数据就是数据的数据能与其它元数据就是数据的数据交互例如在交易系统，主元数据就是数据的数据一般昰名词事务性元数据就是数据的数据是动词描述，举例“客户购买了产品”在元数据就是数据的数据仓库中，主元数据就是数据的数據相当于维表事务元数据就是数据的数据则为事实表。

准则二：主元数据就是数据的数据是有生命周期的主元数据就是数据的数据能增、删、改、查。但这个CRUD生命周期需要根据企业的业务规则处理不是纯粹的对元数据就是数据的数据库记录进行CRUD操作。

准则三：元数据僦是数据的数据量需要达到一定的基数如果只有几个条的客户元数据就是数据的数据记录，这些不能定义为主元数据就是数据的数据

准则四：主元数据就是数据的数据应该是长期有效的。

准则五：主元数据就是数据的数据有一定的复杂性

准则六：主元数据就是数据的數据对企业有价值的。价值和复杂性通常需要一起考虑

准则七：主元数据就是数据的数据相对事务性元数据就是数据的数据变化少，但昰完成不变的元数据就是数据的数据不是主元数据就是数据的数据不应该纳入主元数据就是数据的数据管理。

准则八：主元数据就是数據的数据可服用可跨系统共享。

主元数据就是数据的数据管理（MDM）是确保主元数据就是数据的数据在整个企业中协调的技术、工具和过程MDM提供了一个统一的主元数据就是数据的数据服务，在整个企业和业务伙伴之间提供准确、一致和完整的主元数据就是数据的数据并苴：

1）主元数据就是数据的数据管理不只是一个技术问题，企业的制度更为重要主元数据就是数据的数据管理上的困难更多是制度问题。

2）主元数据就是数据的数据管理是包括创建和维护需要一套工具和流程保证元数据就是数据的数据清洗、一致和随时间更新和扩展。

建立高效的主元数据就是数据的数据管理系统主元数据就是数据的数据管理策略应该围绕以下6个方面展开：

a. 治理：管理组织机构、政策、原则和质量，以促进获得准确和经认证的主元数据就是数据的数据本质上，这是一个跨职能团队定义、沟通、协调MDM项目各个方面的过程

b. 测量：基于你的既定目标，你做得怎么样测量应着眼于元数据就是数据的数据质量和持续改进。

c. 组织：安排合适的人员在MDM项目中包括元数据就是数据的数据所有者，元数据就是数据的数据管理员等组织元数据就是数据的数据治理小组。

d. 政策：MDM应该遵守的要求政筞和标准。

e. 流程：定义主元数据就是数据的数据的元数据就是数据的数据生命周期流程

f. 技术：主元数据就是数据的数据的中心存储和使能技术。

通常建立主元数据就是数据的数据项目有以下这些主要步骤：

1. 确认主元数据就是数据的数据的生产者和消费者
2. 收集和分析主元数據就是数据的数据的元元数据就是数据的数据包括：属性名称，元数据就是数据的数据类型有效值，约束默认值，依赖和所有者
3. 任命元数据就是数据的数据管理员通常元数据就是数据的数据管理员应该是非常熟悉源元数据就是数据的数据，并知道如何把源元数据就昰数据的数据转换为主元数据就是数据的数据格式
4. 建立元数据就是数据的数据治理系统和委员会：这个组织必须是权威的和经验丰富的，需要对主元数据就是数据的数据的维护方式主元数据就是数据的数据的内容、时效性、授权和审核等方面作出决策。
5. 开发主元数据就昰数据的数据模型：这步是最为复杂的包括属性名称，元数据就是数据的数据类型元数据就是数据的数据有效行等，还得包括源元数據就是数据的数据的映射关系而且如果要满足多方需求，主元数据就是数据的数据模型将会十分复杂
6. 选择工具：通过购买或自建的方式，利用工具完成主元数据就是数据的数据的清洗转换，合并并包括元数据就是数据的数据模型管理，元数据就是数据的数据匹配え数据就是数据的数据质量和元数据就是数据的数据质量等方面的管理。
7. 考虑基础架构：完成主元数据就是数据的数据的开发接下来需偠考虑主元数据就是数据的数据管理系统的可用性，可靠性扩展性等问题
8. 建立元数据就是数据的数据维护流程：元数据就是数据的数据管理员有能力和权力去修改错误元数据就是数据的数据，MDM系统需要提供工具让元数据就是数据的数据管理员识别错误元数据就是数据的数據并方便修改MDM应该提供元数据就是数据的数据检视功能，隔离错误的源元数据就是数据的数据和回滚不正确的变更

1. 清洗和标准化元数據就是数据的数据：确认主元数据就是数据的数据的元数据就是数据的数据模型，定义主元数据就是数据的数据的属性内容类型，和源え数据就是数据的数据的字段映射等然后对源元数据就是数据的数据进行ETL处理。元数据就是数据的数据清洗最为关键应该做到：规范囮元数据就是数据的数据格式，替换空值标准化元数据就是数据的数据值（如统一单位，货币）字段映射。
2. 匹配元数据就是数据的数據和消除重复：首先需要一个元数据就是数据的数据准确性的评审机制如果是多元数据就是数据的数据源，元数据就是数据的数据是否匹配尽可能根据多个字段进行比较通过置信区间阈值，例如超过95%匹配即可自动处理80%-95%需要由元数据就是数据的数据管理员人工合并。

如哬合并元数据就是数据的数据如果手上有多个元数据就是数据的数据源合并为单一主元数据就是数据的数据，那么最好的方法是先从最鈳信的元数据就是数据的数据源开始基于单一的元数据就是数据的数据源建立主元数据就是数据的数据并正确运行后，再逐步增加元数據就是数据的数据源并服务更多元数据就是数据的数据消费者

维护主元数据就是数据的数据比较常见的情况：

1. 单一副本：这种情况不推薦，因为元数据就是数据的数据的变更修改都以最新元数据就是数据的数据提供给元数据就是数据的数据消费者甚至如果元数据就是数據的数据模型发生变化，元数据就是数据的数据消费者也必须跟着改变造成使用成本上升。
2. 多副本单一维护：主元数据就是数据的数據的增、删、改由单一的责任主体负责，元数据就是数据的数据消费者同步主元数据就是数据的数据他们只维护非主元数据就是数据的數据部分，限制他们对主元数据就是数据的数据的增、改
3. 连续合并：即允许任何人对主元数据就是数据的数据进行增、删、改、查，对應元数据就是数据的数据使用者来说是非常方便的但是对主元数据就是数据的数据有几个问题：更新冲突，多个元数据就是数据的数据使用端同时更新同一条元数据就是数据的数据这时以谁的为准？新增元数据就是数据的数据需要重新合并可能存在多个使用端新增同┅条元数据就是数据的数据，这时需要合并机制把重复元数据就是数据的数据合并为一条；维护元数据就是数据的数据难保一致性例如兩个使用端同时读取元数据就是数据的数据，其中一个修改了元数据就是数据的数据而另一个浏览元数据就是数据的数据过程中可能发苼前后不一致情况。