针对数据库不同的使用场景TPC组织发布了多项测试标准。其中被业界广泛接受和使用的有TPC-C 、TPC-H和TPC-DS。
TPC-H是决策支持的基准测试。它由一套面向业务的即席查询和并发数据修改组成。 这些查询和填充数据库的数据具有广泛的行业相关性。 该基准测试展示了决策支持系统,它可以检索大量数据,执行高度复杂的查询,并为关键业务问题提供答案。 TPC-H报告的性能指标称为TPC-H每小时综合查询性能指标(QphH @ Size),并反映了系统处理查询的能力的多方面。 这些方面包括执行查询所选的数据库大小,单个流提交查询时的查询处理能力,以及多个并发用户提交查询时的查询吞吐量。 TPC-H的价格/性能指标表示为$ / QphH @ Size。
TPC.org官方提供的有测试包。
TPC-H是一款面向商品零售业的决策支持系统测试基准,它定义了8张表,22个查询,遵循SQL92;TPC-H基准的数据库模式遵循第三范式。新兴的数据仓库开始采用新的模型,如星型模型、雪花模型。TPC-H已经不能精准反映当今数据库系统的真实性能。为此,TPC组织推出了新一代的面向决策应用的TPC-DS 基准。
TPC-DS是决策支持的基本测试,提供了决策支持系统的通用见面方式,包括数据查询和数据维护。TPC-DS基准测试提供了
通用决策支持系统的性能评估。基准测试的结果衡量了单用户模式下的响应时间,多用户模式下的查询吞吐量,特定操作系统和硬件的数据维护性能,在受限复杂的环境下数据处理系统、支持多用户决策。TPC-DS基准测试为用户提供相关的 客观性能数据。TPC-DS v2则支持新兴技术如大数据 进行性能测试。
tpc.org 官方也提供规范和测试包。
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。
TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:
TPC-C是针对OLTP的测试,TPC-H和TPC-DS则是针对OLAP的测试,在新兴的HATP数据库兴起是则TPC-C、TPC-H和TPC-DS都需要进行测试测试验证,不过大部分数据库目前对TPC-DS的99个SQL查询支持尚不完善。
在“源库及目标库”页面,同步实例创建成功后,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 图3 源库信息 表5 源库信息 参数 描述 IP地址或域名 源数据库的IP地址或域名。 端口 源数据库服务端
建200个仓库数据,每一个数据仓库的数据量大概是76823.04KB,可有少量的上下浮动,因为测试过程中将会插入或删除现有记录。 loadworker 100 加载数据时,每次提交进程数。 表2 程序执行的场景参数 参数 说明 terminals 终端数量,指同时有多少终端并发执
不支持从高版本同步到低版本。 目标数据库实例的运行状态必须正常,若数据库实例是主备实例,复制状态也必须正常。 目标数据库实例必须有足够的磁盘空间。 除了MySQL系统数据库之外,当目标库和源库同名时,目标数据库中若存在与源库同名的表,则表结构必须与源库保持一致。 目标数据库的字符集必须与源数据库一致。 目标数据库的时区设置必须与源数据库一致。
约束与限制 您能创建的数据库实例资源的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
在“源库及目标库”页面,同步实例创建成功后,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 图3 源库信息 表5 源库信息 参数 描述 IP地址或域名 源数据库的IP地址或域名。 端口 源数据库服务端
有关SSL详细介绍,请参考连接实例相关内容。 父主题: 数据库连接
MariaDB是MySQL源代码的一个分支,主要由开源社区在维护,采用GPL授权许可。开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险。 Mari
数据库支持的详细版本信息,可调用查询数据库引擎的版本接口获取。 表6 MysqlBackupStrategy
预检查完成后,且所有检查项结果均成功时,单击“下一步”。 参数对比。 若您选择不进行参数对比,可跳过该步骤,单击页面右下角“下一步”按钮,继续执行后续操作。 若您选择进行参数对比,对于常规参数,如果源库和目标库存在不一致的情况,建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。
确认数据迁移结果 确认升级迁移结果有两种方式: 方式一:(自动)在DRS管理控制台查看迁移结果。DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果。 方式二:(手工)在GaussDB(for MySQL)管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况。
华为云关系型数据库服务具有完善的性能监控体系和多重安全防护措施,并提供了专业的数据库管理平台, 让用户能够在云中轻松的进行设置和扩展关系型数据库。通过华为
GaussDB(for MySQL) CPU使用率高的解决方法 使用云数据库GaussDB(for MySQL)时,如果您的CPU使用率很高或接近100%,会导致数据读写处理缓慢、无法获取连接、出现报错等,从而影响业务正常运行。 解决方案 通过查看慢SQL日志来确定是否存在运行缓慢的SQL查询以及
介绍如何创建GaussDB(for MySQL)实例。 介绍如何将其他云MySQL迁移到GaussDB(for MySQL)实例。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 部署架构 本示例中,DRS源数据库为其他云MySQL,目标端为华为云云数据库GaussDB(for MySQL),通过
础上实现数据的持续同步,无需中断业务,实现迁移过程中源业务和数据库继续对外提供访问。 在“源库及目标库”信息页面,迁移实例创建成功后,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
Lock主要为了保证元数据的一致性,用于处理不同线程操作同一数据对象的同步与互斥问题。MySQL 5.5版本开始,引入了MDL锁,但是因为MDL锁,会导致
本特性在补丁应用后重新编译MySQL即生效,无需额外配置系统变量。 编译安装方法 优化特性以补丁文件形式提供,需在MySQL源码应用补丁后,编译安装MySQL。 补丁针对MySQL 8.0.20版本开发。 下载MySQL
填写迁移任务参数。 配置迁移任务名称。 填写迁移数据并选择模板库。 这里的目标库选择创建GaussDB(for MySQL)实例创建的GaussDB(for MySQL)实例。 企业项目选择“default”。 单击“下一步”。 迁移实例创建中,大约需要5-10分钟。 配置源库信息和目标库数据库密码。
GLOBAL_开头的视图,代表从CN/DN请求数据,并将数据追加对外返回,不会处理数据。 SUMMARY_开头的视图,代表是将集群内的数据概述,多数情况下是返回CN/DN(有时只有CN的)的数据,会对数据进行加工和汇聚。 非这两者开头的视图,一般代表本地视图,不会向其它CN/DN请求数据。 OS Instance
且均为datetime类型。 数据仓库拖取数据时可以利用这两个统一字段无需询问业务;在数据库出现意外时可以判断数据进入数据库和修改的时间,在极端情况可以帮助数据恢复的判断。 (推荐)单表行数超过500万行或者单表容量超过2GB,才推荐进行分库分表。 如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。
自动填充目标数据库的参数值,使其和源库对应的参数值保持一致。 图10 一键对齐参数 对齐参数值的操作,您也可以通过手动输入结果。 修改参数值。 源库和目标库的不一致参数值对齐后,单击“一键修改”按钮,系统将按照您当前设置的目标库参数值进行修改。修改完成后,目标库的参数值和对比结果会自动进行更新。
MySQL)内网是不通的。可通过虚拟私有云对等连接实现内网互通,详细操作请参考VPC对等连接。
在相同业务场景下,架构设计和库表索引设计会影响查询性能,良好的设计可以提高查询性能,反之会出现很多慢SQL(执行时间很长的SQL语句)。本文介绍导致慢SQL的原因和解决方案。 SQL异常 原因及现象 SQL异常的原因很多,例如库表结构设计不合理、索引缺失、扫描行数太多等。
不通过原因:用户没有创建TABLE的权限。 处理建议:在目标数据库执行如下语句,赋予迁移账号创建TABLE权限。
MySQL到MySQL单主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 本地自建MySQL数据库
在华为云关系型数据库实例中,不同引擎有不同的时区策略。 RDS for MySQL和RDS for PostgreSQL支持创建实例时选择时区,创建完成后,可以修改时区。 RDS for SQL Server支持创建实例时选择时区,在创建完成后不能更改。 RDS for MySQL和RDS
删除数据库 操作场景 您可删除自己创建的数据库。 数据库一旦删除,数据会丢失,请谨慎操作。 限制条件 恢复中的实例,不可进行该操作。 操作步骤 登录云数据库RDS控制台。 单击管理控制台左上角的,选择区域和项目。 在“实例管理”页面,选择目标实例,单击实例名称,进入实例的“基本信息”页。
MySQL到MySQL双主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 本地自建MySQL数据库
信息模式本身是一个名为information_schema的模式。这个模式自动存在于所有数据库中。信息模式由一组视图构成,它们包含定义在当前数据库中对象的信息。这个模式的拥有者是初始数据库用户,并且该用户自然地拥有这个模式上的所有特权,包括删除它的能力。
提交成功!非常感谢您的反馈,我们会继续努力做到更好 反馈提交失败!请稍后重试!