大数据技术架构架构哪家比较好

来源：蜘蛛抓取(WebSpider) 时间：2017-12-28 14:52 标签： 大数据架构
Nothing found for
Blog Post The-Future-Of-Big-Data-Architecture
有点尴尬诶。
这儿似乎什么都没有，试试搜索？王雨舟：知乎大数据平台架构和实践优化
　作者: 钰莹　编辑:
　　【IT168 评论】又是一年SACC，又是一时秋意正浓，即便是天气欠佳，大数据平台架构技术与实践专场同样挤满了求学好问的技术人。知乎大数据平台负责人王雨舟现场分享了知乎大数据平台架构和实践优化之路。作为一个专业的知识问答社区，知乎背后的技术能力如何?用户互动频繁，活跃度节节攀高，知乎大数据平台是如何设计以支撑这一切的呢?　　据调查，截止2017年8月，知乎注册用户数破亿，全站DAU达2600万，提问量达1900万，回答量达7100万，月浏览量180亿。当大家越来越习惯在碎片化时间打开知乎阅读或评论时，我们似乎都忽略了这家企业的成长速度。▲知乎数据平台负责人 王雨舟　　2010年12月，知乎网站开放，2013年，知乎向公众开放注册，注册用户迅速由40万攀升至400万，2017年1月，知乎宣布完成D轮1亿美元融资，正式迈入独角兽行列。这一切正如知乎王雨舟所说：“We are growing FASTER”!　　数据平台如何在人员相对稳定的情况下支撑公司业务快速扩张 ?　　成长快固然是件好事，但技术必须跟得上成长的速度，不然用户体验肯定要降低。王雨舟以知乎为例分享了这一痛点的解决方案。首先，知乎数据平台是公司级的数据平台，负责维护基础流量数据和数据仓库;维护算法、商业、搜索、后端服务需要的数据源;为管理层、运营、产品、数据分析师等提供数据看板和分析系统;维护数据地图、埋点管理系统、埋点配置和测试系统等产品;维护A/B实验等。　　随着业务线的扩张，快速满足新业务需求的过程必然需要处理流量数据埋点，创建数据仓库，创建数据源、指标、维度、报表以及业务看板。知乎的一大特点是数据平台用户可以自定义创建报表和仪表盘数据。过去，新增一个需求可能需要不小的开发周期，现在用户可以通过简单的图形操作即可完成，这意味着拥有了秒级查询的能力，解决了指标开发人力投入与数据 T+1 的痛点。　　知乎大数据平台架构图曝光　　以上是知乎大数据架构图全貌，中间很重要的一部分是数据仓库，它与实时计算和离线计算均相关。图中可以很清楚的看出数据分层部分，其星形模型有事实表和维度表，事实表采用退化维度，减少关联多表操作。　　去年，知乎也出现了MySQL数据实时查询的需求，当时知乎调研了Hive和HBase，但当两张大表join的时候，二者性能很低。最后，知乎选择将MySQL的BinLog实时打到Kafka，起一套Spark Streaming程序，实时将数据写到kudu里面，用impala实时查询Kudu。随着业务线进一步扩张，王雨舟发现当MySQL表结构改变的时候，Kudu整个数据都需要重导，知乎决定开始采用TiDB，但目前正在研究中，所以架构图中暂未公布。　　据王雨舟介绍，数据采集部分整个客户端和前端采用Protobuf格式打点，知乎对数据打点的要求还是比较严格的，目前做到了半自动的方式打点。同时，使用了业内比较受欢迎的Hybrid框架，保证JS和Native打通。客户端更关注埋点定位，内容数据由后端序列化生成下发。这个过程，王雨舟也发现了埋点数据面临的一些问题，因此，知乎正在上线埋点管理系统和埋点测试系统，帮助客户端工程师更好自测。日志接收部分，自研日志接收服务，发送到Kafka，可以自适应Kafka健康状态，保证数据不丢。　　面对业务急速扩张过程中的各种需求，知乎数据平台组通过通用灵活的系统做到了完美的支持，未来知乎还有很多很酷的项目待实现，不如一起加入吧!8被浏览2,585分享邀请回答4添加评论分享收藏感谢收起2添加评论分享收藏感谢收起写回答1 个回答被折叠（）哪个大数据分析架构培训机构比较好啊，想学又不知道去_百度知道
哪个大数据分析架构培训机构比较好啊，想学又不知道去
我有更好的答案
目前敢培训大数据的学校都是具备一定专业性的：Hadoop，大数据存储，大数据架构设计，大数据实时计算，大数据数据采集，大数据商业实战等这个要看你在哪个城市了，每个城市所存在的机构都不一样。最好选择覆盖地区广的，比较权威的培训机构。大数据的专业要求很高，主要看看是否能提供真实的案例来供学生们分析来进行专业性的判断。多看看网络上的口碑。找到真正适合自己的培训机构。需要掌握的专业技术：坚实的Java技术作为基础支持，之后学习
做有温度教育,打造IT届黄埔军校
主营：IT培训、java培训、大数据培训、web前端培训、UI培训
培训坑的很，别去啊
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。

我要回帖

更多关于 大数据架构 的文章

 

随机推荐