联盟kudu 安装8没提示,可是wwWkudu 安装8Com还是不能收看

来源：蜘蛛抓取(WebSpider) 时间：2018-05-12 19:05 标签： apache kudu
kudu1.3.0版本信息
增加了kerberos安全认证，可以通过kerberos tickets或者keytabs文件认证。此新特性是个可选项，推荐在部署环境中增加安全机制。
增加了Transport Layer Security（TLS）网络安全传输协议，kudu将会对任意client和server间的信息通信进行加密。默认加密是开启的，无论client或者server端都可以决定是否启用加密。
增加了粗粒度服务级别的授权。细粒度的授权，例如表级别、字段级别，暂不支持。
增加了清理过期历史版本数据（超过保留时间）的后台任务。减少磁盘空间的使用，特别是有频繁更新的数据。
便于诊断错误，集成了Google Breakpad，它产生的reports可以在配置的日志文件夹中看到。
修改了数据目录和数据文件的权限，可以通过–umask配置。升级之后文件权限会更加严格。
Web UI 去除了一些用户的敏感信息，例如查询时的predicate values。
默认kudu对配置的磁盘预留1%空间，当磁盘空闲空间不足1%时，为避免完全写满磁盘，会停止写入数据。
数字列（int float double）默认编码BIT_SHUFFLE，binary string类型的变成DICT_ENCODING。此类编码存储机制类似于parquet。
WAL使用LZ4压缩，提升写入性能和稳定性。
Delta file使用LZ4压缩，可以提高读和写，特别是频繁更新的可压缩数据。
Kudu API在查询时支持IS NULL 和 IS NOT NULL（KuduPredicate.newIsNotNullPredicate）的pridicate，spark datasource集成可以利用这些新的predicate。
C++ 和 Java client “in partitions”的查询有优化。
Java client的异常信息被截断成最大的32KB。
Kudu 1.3 可连接kudu1.0 server，调用新特性时会报错。
kudu 1.1 可连接kudu1.3 server，但当集群配置了安全认证，将会报错。
从1.2滚动升级到1.3没有被充分验证。建议使用者关闭整个集群，升级版本，然后重启新版本，通过这种方式来升级。
升级后，如果1.3版本设置了安全认证（authentication or encryption set to “required”），老版本的client将不能连接服务。
升级后，如果1.3版本没有设置安全认证（set to “optional” or “disabled”），老版本的client还能继续连接server。
不可兼容变化
因为存储格式变化，1.3版本将不能降级到老版本。
为了在配置了安全的集群上跑mr或者spark任务，需要提供认证凭证。
个人github
没有更多推荐了，
不良信息举报
举报内容：
kudu1.3.0版本信息
举报原因：
原文地址：
原因补充：
最多只允许输入30个字
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！联盟kudu8没提示,可是wwWkudu8Com还是不能收看_百度知道
联盟kudu8没提示,可是wwWkudu8Com还是不能收看
我有更好的答案
kudu[美] [;kudu] [英] [;ku720;du720;; ;k650;d650;] 释义：n. 条纹羚，捻角羚（一种非洲大羚羊）n. (Kudu)人名；(土)库杜网络：Kudu
大弯角羚Great Kudu
斑纹大羚羊x kudu
非洲大种弯角羚
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。没有更多推荐了，
不良信息举报
举报内容：
KUDU对表操作
举报原因：
原文地址：
原因补充：
最多只允许输入30个字
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！Hadoop新型数据库Kudu应用经验分享
&nbsp>&nbsp&nbsp>&nbspHadoop新型数据库Kudu应用经验分享
时间： 11:55:18
公众号：hadoop123
?点击hadoop123关注我哟? 最知名的hadoop/spark大数据技术分享基地，分享hadoop/spark技术内幕，hadoop/spark最新技术进展，hadoop/spark行业技术应用，发布hadoop/spark相关职位和求职信息，hadoop/spark技术交流聚会、讲座以及会议等。kudu应用经验分享本文是小米工程师常冰琳于10月25日晚10点在“大数据产业联合会”微信群中分享的内容，由hadoop123小编整理而成，供大家学习。小米使用kudu的背景小米大概在14年中开始和cloudera合作，作为kudu小白鼠用户，帮cloudera在生产环境验证kudu。kudu+Impala可以帮助我们解决实时数据的ad-hoc查询需求。在kudu之前，我们的大数据分析pipeline大概是有这几种：1. 数据源-& scribe打日志到HDFS -& MR/Hive/Spark -& HDFS Parquet -& Impala -& 结果service这个数据流一般用来分析各种日志。2. 数据源 -& 实时更新HBase/Mysql -& 每天批量导出Parquet-& Impala -& 结果serve这个数据流一般用来分析状态数据，也就是一般需要随机更新的数据，比如用户profile之类。这两条数据流主要由几个问题：1. 数据从生成到能够被高效查询的列存储，整个数据流延迟比较大，一般是小时级别到一天；2. 很多数据的日志到达时间和逻辑时间是不一致的，一般存在一些随机延迟。比如很多mobile app统计应用，这些tracing event发生后，很可能过一段时间才被后端tracing server收集到。我们经常看到一些hive查询，分析一天或者一小时的数据，但是要读2-3天或者多个小时的日志，然后过滤出实际想要的记录。对于一些实时分析需求，有一些可以通过流处理来解决，不过他肯定没用SQL方便，另外流式处理只能做固定的数据分析，对ad-hoc查询无能为力kudu的特点正好可以来配合impala搭建实时ad-hoc分析应用。改进后的数据流大概是这个样子：1. 数据源 -& kafka -& ETL(Storm) -& kudu -& Impala2. 数据源 -& kudu -& Impala数据流1 主要是为需要进一步做ETL的应用使用的，另外kafka可以当做一个buffer，当写吞吐有毛刺时，kafka可以做一个缓冲。如果应用有严格的实时需求，就是只要数据源写入就必须能够查到，就需要使用数据流2。引入kudu的目的引入kudu主要是用来替换 HDFS+parquet的。kudu的列存和parquet列存有啥区别？从功能上说，kudu的列存除了提供跟parquet接近的scan速度，还支持随机读写。支持随机写，数据就可以实时灌入存储中，达到实时查询的效果；但是parquet文件只能批量写，所以一般只能定期生成，所以增大了延迟。kudu的存储类似hbase的lsm存储。为什么说kudu的scan会比kylin快呢kylin是存储在hbase上的，kudu的scan为什么比hbase快，简单的说kudu是真正的列存储，hbase只是列簇存储。kudu是有schema的，每一列的数据是在文件中已数组的形式保存的，而hbase存储在hfile里面的还是sort好的(rowkey, column, timestamp, value)对，scan是开销要多很多，具体需要看kudu的paper了，在这里文字不好解释。storm 写kudu的吞吐量能到多少，和storm写hbase比呢我们在71个节点的集群做了测试，随机写性能：随机写26亿条记录：每个节点大概4W 随机写性能。大概的情况如下：71 Node clusterHardwareCPU: E5-GHz * 24 core
Memory: 64GB Network: 1Gb
Disk: 12 HDDSoftwareHadoop2.6/Impala 2.1/Kudu3个大表，其中一个大表每天：~2.6 Billion rows~270 bytes/row17 columns, 5 key columnsstorm到kudu，按照每天26亿数据来算，每秒大概30000条记录吧。这个是我们的应用挑出的6个查询，做的查询性能对比。同样6个查询，查询parquet和查询kudu做的对比。当时kudu的设计目标是接近parquet的scan性能，惊喜的是，目前kudu的scan性能在生产环境下有时还比parquet快一些。像hbase有coprocessor，kudu有类似的计算功能吗？kudud。kudu有predicatepushdown，目前有impala使用时，scan时是把一些过滤提交给kudu去做的。你们是想用kudu替换hbase还是一起搭配用？感觉这两个工具目前用来解决不同的问题，hbase还是用来做OLTP类存储跟Mysql类似，kudu则用来升级我们现有的数据分析数据流，主要还是OLAP的workload。Kudu支持随机增加列吗？只要不是primarykey的列，是可以随时增加的，而且不像mysql增加列时影响其他操作，kudu altertable是异步的，而且对性能影响不大。hbase是无schema的，所以可以成千上万个列，kudu不行的，列的数量也不能过多。我们目前也就试过30多列的，一些300+列的表还没有测试过。Kudu目前有稳定版吗目前beta版本，不推荐现在在生产环境使用。能否介绍一下小米使用kudu过程中踩过的坑？目前踩的坑都还在开发阶段，其实都不算什么，而且从大方向上看，我们还是相信kudu这种方式对比之前的数据流优势很明显，对吞吐不是非常高的应用，这种方案是发展方向。其实我们在老的数据流上碰到很多问题，之前提到的数据延迟，数据无序，多个组件之间的兼容性，数据无schema导致灌入数据时缺少验证，其实都希望引入kudu后能够解决。Kudu研发团队目前多大？cloudera kudu team目前7，8个全职做开发的。对代码有贡献的有十几个吧，这个项目从12年就开始做了，一直保密。没有更多推荐了，
不良信息举报
举报内容：
举报原因：
原文地址：
原因补充：
最多只允许输入30个字
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！

我要回帖

更多关于 apache kudu 的文章

 

随机推荐