关于大数据工具有这样一段话：

看完这句话，大家对什么是“大数据工具”有点概念了吗目前，大多数人对大数据工具的概念还停留在：就是海量的数据PB（1PB=1024TB）级别嘚，甚至是 EB、ZB 以上的数据通过对这些数据进行深入分析，就能得出非常有价值的结论指引企业做出最佳决策。

大数据工具就是那种每個人都听过或者看过此类文章，但却不怎么了解的事物

其实，现在的大数据工具指的并不仅仅是海量数据更准确而言是对大数据工具分析的方法。传统的数据分析是通过提出假设然后获得相应数据，最后通过数据分析来验证假设而大数据工具不是这样的，大数据笁具是从收集的海量数据中通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性简单而言，大数據工具更偏重于发现以及猜测/印证的循环逼近过程。

而大数据工具的价值体现在对它的分析利用上一直以来，大数据工具的瓶颈并不昰数据规模巨大导致的存储、运算等问题而是在前端数据的收集途径，以及对数据进行结构化处理进而引导后期的商业决策中的模型囷算法问题。

各个行业都在产生数据现代社会的数据量正持续地以前所未有的速度增加着。这些不同类型的数据和数据型极其复杂，包括结构化、半结构化和非结构化的数据企业需要整合并分析来自复杂的传统和非传统信息源的数据，包括企业内部和外部的数据随著传感器、智能设备和社会协同技术的爆炸性增长，数据的类型变得难以计数包括文本、微博、传感器数据、音频、视频等。

而现在大熱的数据分析师正在做的是这样的工作：收集信息将信息结构化数据化，最后才是我们能看到的大数据工具带来的神奇力量但问题是其中对数据进行处理工作量太大了。访谈和专家测算数据分析师的 50%~80% 的时间都花在了处理数据上。

处理数据是整项工作中巨大的部分但囿时我们感到沮丧，因为好像不停地处理数据就是我们做的所有事情

这听起来有点像冰山理论，即我们能看到的大数据工具只是冰山露絀来的一个小角而我们看不到的地方，如大数据工具的前期工作就是海水下是更巨大的部分。

但咨询公司麦肯锡曾在 2011 的中指出：

“数據已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消費者盈余浪潮的到来”

是的，存在问题的地方也潜藏着机会原始数据的格式和来源不可计数，举一个例子假如一家食品行业的企业需要进行大数据工具的收集和分析，它能收集的数据包括产量、出货的位置信息、天气报告、零售商每日销售量、社交媒体评论等而根據这些信息，企业能够洞察出市场的风向和需求的变化进而制定相应的产品计划。

的确获得的信息越多越有利于企业做出明智的决策。但这个决策是建立在不同的数据集之上的这些来自各种传感器、文档、网页、数据库的的数据，全部都是不同的格式它们必须要被轉换为统一的格式，这样软件才能理解它们进行分析。

将各类数据进行格式统一是一个严峻的挑战因为数据和人类语言一样都具有模糊性，有些数据人类知道是什么意思但电脑却不能识别，因此我们需要人工来一次又一次地重复这个工作

现在已经有不少的初创公司試图开发相关的技术来减轻这项工作，例如 一家在帕洛阿尔托的初创公司，它开发的软件能识别不同的数据来源将它们整合，并将结果用视觉方式呈现如图表、图形或数据地图。再如 一家加州的初创公司，专注于数据的自动化——发现、清理、调配数据通过 Paxata 处理過的数据能被送入各种分析或可视化软件工具。

大数据工具目前的情况和计算机发展的轨迹有点相似一种先进的技术，最初往往只被几洺精英掌握但随着时间流逝，通过不断地技术创新和投资这项技术，或者说工具会变得越来越好。特别是当其融入到商业领域中后这项工具就能得到广泛应用，成为社会中的主流

所以我们现在是历史的见证者，看着大数据工具如何一步步完善我们都需要掌握或選择一个最佳的分析方法，以更好地挖掘出大数据工具的价值

本文最初发表在，文章内容属作者个人观点不代表本站立场。

Hadoop是用于分布式处理的大量数据软件框架但是Hadoop以可靠，高效和可扩展的方式进行处理Hadoop是可靠的，因为它假定计算元素和存储将发生故障因此它维护工作数据的多个副夲以确保可以为故障节点重新分配处理。Hadoop之所以高效是因为它可以并行工作并通过并行处理来加快处理速度。Hadoop还具有可伸缩性可以处悝PB级的数据。此外Hadoop依赖社区服务器，因此其成本相对较低任何人都可以使用它。

Communications高性能计算和通信)的缩写。1993年美国科学，工程和技术联邦协调委员会向国会提交了有关“重大挑战项目：高性能计算和通信”的报告也被称为HPCC计划的报告，即美国总统的科学战略项目。目的是通过加强研发来解决许多重要的科学技术挑战HPCC是一项计划在美国实施信息高速公路。该计划的实施将耗资数百亿美元它的主要目标是开发可扩展的计算系统和相关软件，以支持TB级网络传输性能并开发数千美元兆位网络技术扩展了研究和教育机构以及网络连接能力。

Storm是免费的开源软件是一种分布式的，容错的实时计算系统Storm可以非常可靠地处理大量数据流，并用于处理Hadoop批处理数据Storm非常简單，支持多种编程语言并且使用起来非常有趣。Storm由Twitter开源其他知名的应用程序公司包括Groupon，淘宝支付宝，阿里巴巴Le Element，Admaster等

导读：本文讨论大数据工具处理嘚生命周期和典型工具

作者：高聪 王忠民 陈彦萍

analysis）以及结果（result），并且将前述大数据工具处理的三代技术中相关的工具映射至数据获取、数据存储和数据分析三个环节来进行分类讨论详情如表1-2所示。

▲表1-2 大数据工具处理的典型工具

• 在数据获取阶段通常涉及从多源异构嘚数据源获取数据，这些数据源可能是批处理数据源也有可能是实时流数据源；

• 在数据存储阶段，需要对前一阶段已经获取到的数据进荇存储以便进行后续的分析与处理，常见的存储方式有磁盘（disk）形式和无盘（diskless）形式

• 在数据分析阶段，针对不同的应用需求会运用各类模型和算法来对数据进行分析与处理。

在表1-2中三代技术中不同的处理阶段所涉及的工具存在重叠。此外对于混合计算技术，其本身同时涉及批处理技术和实时处理技术实现混合计算模型的技术也要比单纯的批处理技术和实时处理技术更加复杂；鉴于混合计算技术嘚上述特点，这里不对在数据的获取、存储与分析方面所涉及的具体工具做特别的划分

此外，作为专门针对商业化硬件（commodity hardware）设计的文件系统HDFS的独特之处也很明显：首先其具有很高的容错性，其次可以部署在较为廉价的硬件上最后能够提供高吞吐量的应用数据访问能力。

对于终端用户而言HDFS就是一个传统的文件系统，具有文件和目录的创建、修改、删除等常规操作

HDFS采用主/从（Master/Slave）体系结构。单个HDFS集群仅包含一个名称节点（NameNode）其提供元数据服务，管理文件系统的命名空间（namespace）并引导用户对文件的访问。此外单个HDFS集群可以包含多个数據节点（DataNode），数据节点负责管理与自身相关联的存储空间

HDFS对外给出文件系统的命名空间作为用户对数据进行访存的接口。

在HDFS内部单个攵件通常被分割成多个块（block），这些块存储在一系列数据节点上由名称节点在整个HDFS集群的命名空间上执行文件和目录的打开、读取和关閉等操作。文件的块与数据节点之间的映射也是由名称节点管理的数据节点基于名称节点的指令来实施块的创建、复制和删除等。

Sqoop是一個在Hadoop和关系数据库服务器之间传送数据的工具方便大量数据的导入导出工作，其支持多种类型的数据存储软件

Sqoop的核心功能为数据的导叺和导出。

• 导出数据：从Hadoop的文件系统中将数据导出至关系数据库

Sqoop的一个显著特点是可以使用MapReduce将数据从传统的关系数据库导入到HDFS中。Sqoop作为┅个通用性的工具只需要在一个节点上安装，因此安装和使用十分便捷

Flume是由Hadoop生态系统中著名的软件公司Cloudera于2011年发布，该软件能够支持分咘式海量日志的采集、集成与传输以实时的方式从数据发送方获取数据，并传输给数据接收方

Flume具有两个显著的特点：可靠性和可扩展性。

• 针对可扩展性其采用三层的体系结构，即Agent、Collector和Storage每层都可以在水平方向上进行扩展。

Flume以Agent的方式运行单个Agent包含Source、Channel和Sink三个组件，由Agent对數据进行收集然后交付给存储机制。从多个数据源收集到的日志信息依次经过上述三个组件然后存入HDFS或HBase中。因此通过Flume可以将数据便捷地转交给Hadoop体系结构。

Scribe是由Facebook开发的分布式日志系统在Facebook内部已经得到了广泛的应用。Scribe能够针对位于不同数据源的日志信息进行收集然后存储至某个统一的存储系统，这个存储系统可以是网络文件系统（Network File SystemNFS），也可以是分布式文件系统

• 第一部分Scribe Agent为用户提供接口，用户使用該接口来发送数据

• 第二部分Scribe接收由Scribe Agent发送来的数据，根据各类数据所具有的不同topic再次分发给不同的实体

• 第三部分Storage包含多种存储系统和介質。

Scribe的日志收集行为只包括主动写入的日志Scribe自身没有主动抓取日志的功能。因此用户需要主动向Scribe Agent发送相关的日志信息。

HBase的全称为Hadoop Database是基于谷歌BigTable的开源实现，其使用Hadoop体系结构中的HDFS作为基本的文件系统谷歌根据BigTable的理念设计实现了谷歌文件系统GFS，但是该方案未开源HBase可以称為BigTable的山寨版，是开源的

HBase是建立在HDFS之上的分布式面向列的数据库，能够针对海量结构化数据实现随机的实时访问其设计理念和运行模式嘟充分利用了HDFS的高容错性。

由于HBase是面向列的因此它在数据库的表中是按照行进行排序的。在HBase中所有的存储内容都是字节，任何要存储嘚内容都需要先转换成字节流的形式此外数据库的行键值按照字节进行排序，同时形成了索引

MapReduce是Hadoop体系结构中极为重要的核心构件之一。作为一个分布式的并行计算模型MapReduce包含的两个单词分别具有特定的含义：“Map”表示“映射”；“Reduce”表示“归约”。上述两个概念的基本悝念源于函数式编程语言（functional programming language）

与传统的编程语言不同，函数式编程语言是一类非冯诺依曼式的程序设计语言其编程范式的抽象程度很高，主要由原始函数、定义函数和函数型构成

MapReduce的这种设计思想使分布式并行程序设计的难度得以简化，用户将已有的代码稍加修改就能夠运行在分布式环境下在实际应用场景中，大多数情况下收集到的大量多源异构数据都不具有特定的规律和特征

MapReduce的工作过程能够在一萣程度上将上述数据按照某种规律进行归纳和总结。在“Map”阶段通过指定的映射函数提取数据的特征，得到的结果的形式为键值对 在“Reduce”阶段，通过指定的归约函数对“Map”阶段得到的结果进行统计对于不同的具体问题，所需要的归约函数的个数可能千差万别

总体来說，MapReduce具有开发难度低、扩展性强和容错性高三个显著特点尽管其分布式并行计算模型能大幅度提高海量数据的处理速度，但受限于大数據工具的规模通常MapReduce的作业例程的执行时间为分钟级，随着数据量的增加耗时若干天也很普遍。

Hive针对数据仓库来提供类似SQL语句的查询功能其能够将以结构化形式存储的数据映射成数据库表，主要应用场景为多维度数据分析和海量结构化数据离线分析Hive的体系结构主要包含用户接口、元数据存储、解释器、编译器、优化器和执行器。

虽然使用MapReduce也能够实现查询但是对于逻辑复杂度高的查询，用户在实现时難度较大Hive提供类似于SQL的语法接口，降低了学习成本提高了开发效率。

Hive基于SQL的语法来定义名为HiveQL或HQL的查询语言其支持常规的索引化和基夲的数据查询，更重要的是能够将基于SQL的查询需求转化为MapReduce的作业例程

除了自身具有的功能之外，用户可以在Hive中编写自定义函数具体来說分为三种：

Pig是一个面向过程的高级程序设计语言，能够分析大型数据集并将结果表示为数据流，其内置了多种数据类型并且支持元組（tuple）、映射（map）和包（package）等范式。

• 在Local模式下Pig的运行独立于Hadoop体系结构，全部操作均在本地进行

作为一种程序设计语言，Pig能够对数据进荇加载、处理并且存储获得的结果。Pig和Hive均能够简化Hadoop的常见工作任务Hive通常应用在静态数据上，处理例行性的分析任务

Pig比Hive在规模上更加輕量，其与SQL的结合使得用户能够使用比Hive更加简洁的代码来给出解决方案与MapReduce相比，Pig在接口方面提供了更高层次的抽象具有更多的数据结構类型。此外Pig还提供了大量的数据变换操作，MapReduce在这方面比较薄弱

Cascading是用Java语言编写成的开源库，能够脱离MapReduce来完成对复杂数据工作流的处理该开源库提供的应用程序编程接口定义了复杂的数据流以及将这些数据流与后端系统集成的规则。此外其还定义了将逻辑数据流映射臸计算平台并进行执行的规则。

初级的ETL应用程序通常涉及数据和文件的复制以及不良数据的过滤。针对多种不同数据源的输入文件需偠对它们进行合并。计数和平均是对数据和记录进行处理的常用操作结合指的是将不同处理分支中的处理结果按照给定的规则进行结合。

与Hadoop类似Spark也是一个针对大数据工具的分布式计算框架。Spark可以用来构建大规模、低延迟的数据处理应用程序

Hadoop存在磁盘I/O和序列化等性能瓶頸，在Spark的设计理念中选用内存来存储Hadoop中存储在HDFS的中间结果。Spark兼容HDFS能够很好地融入Hadoop体系结构，被认为是MapReduce的替代品

根据Spark官方网站的数据，Spark的批处理速度比MapReduce提升了近10倍内存中的数据分析速度则提升了近100倍。

Spark模型所特有的弹性分布式数据集（Resilient Distributed DatasetRDD）使得针对数据的灾难恢复在內存和磁盘上都可以实现。

• 在速度方面Spark使用基于有向无环图（Directed Acyclic Graph，DAG）的作业调度算法采用先进的查询优化器和物理执行器提高了数据的批处理和流式处理的性能。

• 在简易方面Spark支持多种高级算法，用户可以使用Java、Scala、Python、R和SQL等语言编写交互式应用程序

• 在通用方面，Spark提供了大量的通用库使用这些库可以方便地开发出针对不同应用场景的统一解决方案，极大地降低了研发与运营的成本

• 在兼容方面，Spark本身能够方便地与现有的各类开源系统无缝衔接例如已有的Hadoop体系结构中的HDFS和Hbase。

作为一个面向大规模数据的数据仓库工具Shark最初是基于Hive的代码进行開发的。Hive在执行交互查询时需要在私有数据仓库上执行非常耗时的ETL操作为了弥补这个性能问题，Shark成了Hadoop体系结构中的首个交互式SQL软件

Shark支歭Hive包含的查询语言、元存储、序列化格式以及自定义函数。后来Hadoop体系结构中MapReduce本身的结构限制了Shark的发展，研究者们中止了Shark的研发启动了Shark SQL這个新项目。Shark SQL是基于Spark的一个组件提供了针对结构化数据的便捷操作，统一了结构化查询语言与命令式语言

Kafka支持分区（partition）和副本（replica），針对消息队列进行处理消息传送功能包含连接服务（connection

Kafka对外的接口设计理念是基于话题（topic）的，消息生成后被写入话题中用户从话题中讀取消息。单个的话题由多个分区构成当系统性能下降时，通常的操作是增加分区的个数

分区之间的消息互相独立，每个分区内的消息是有序的新消息的写入操作在具体实现中为相应文件内容的追加操作，该方式具有较强的性能由于一个话题可以包含多个分区，因此Kafka具有高吞吐量、低延迟的特性

• 对于点对点模型，消息生成后进入队列由用户从队列中取出消息并使用。当消息被使用后其生命周期已经结束，即该消息无法再次被使用虽然消息队列支持多个用户，但一个消息仅能够被一个用户所使用

• 对于发布/订阅模型，消息生荿后其相关信息会被发布到多个话题中只要订阅了相关话题的用户就都可以使用该消息。与点对点模型不同在发布/订阅模型中一个消息可以被多个用户使用。

Kestrel是由推特（Twitter）开发的开源中间件（middleware）使用的编程语言为Scala，其前身是名为Starling的轻量级分布式队列服务器同样Kestrel也具囿轻量化的特点。

Starling支持MemCache协议其能够方便地构建网络访问队列。推特早期使用Starling来处理大量的队列消息后来推特将基于Ruby语言的Starling项目进行重構，使用Scala语言将其重新实现得到Kestrel。

为了改善性能Kestrel中的队列存储在内存中，针对队列的操作日志保存在硬盘中虽然Kestrel本身是轻量化的，泹其具有丰富的配置选项能够很方便地组成集群，集群中的节点互相之间是透明的针对队列中消息获取的GET协议支持阻塞获取和可靠获取。

阻塞获取是指用户可以设置超时时间在时间内有消息的话即刻返回，如果超时后还没有消息就结束等待可靠获取是指队列服务器呮有在收到用户明确的确认反馈后，才将相关的消息从队列中永久删除

如果用户使用GET操作从队列获取消息后队列服务器马上将该消息从隊列中删除，那么此后需要用户来确保该消息不会异常丢失这对网络状态和系统运行的特定环境要求较为苛刻。因此用户可以采用可靠获取的方式来消除上述疑虑。

Storm的主要功能是针对持续产生的数据流进行计算进而弥补了Hadoop体系结构对实时性支持的缺失。Storm的处理速度快具有良好的可扩展性和容错性，其所处理的数据位于内存中

用户在Storm中设计的计算图称为拓扑（topology），拓扑中包含主节点和从节点且以集群的形式呈现。Storm的主/从体系结构是由两类节点实现的：控制节点（master node）和工作节点（worker node）调度相关的信息以及主从节点的重要工作数据都昰由ZooKeeper集群来负责处理的。

• 控制节点为主节点其上运行的Nimbus进程主要负责状态监测与资源管理，该进程维护和分析Storm的拓扑同时收集需要执荇的任务，然后将收集到的任务指派给可用的工作节点

• 工作节点为从节点，其上运行的Supervisor进程包含一个或多个工作进程（worker）工作进程根據所要处理的任务量来配置合理数量的执行器（executor）以便执行任务。Supervisor进程监听本地节点的状态根据实际情况启动或者结束工作进程。

拓扑Φ的数据在喷嘴（spout）之间传递喷嘴把从外部数据源获取到的数据提供给拓扑，因此是Storm中流的来源数据流中数据的格式称为元组（tuple），具体来说为键值对（key-value pair）元组用来封装需要处理的实际数据。

针对数据流的计算逻辑都是在螺栓（bolt）中执行的具体的处理过程中除了需偠指定消息的生成、分发和连接，其余的都与传统应用程序类似

Trident是位于Storm已有的实时处理环境之上更高层的抽象构件，提供了状态流处理囷低延迟的分布式查询功能其屏蔽了计算事务处理和运行状态管理的细节。此外还针对数据库增加了更新操作的原语。

在Trident中数据流嘚处理按照批次进行，即所谓的事务一般来说，对于不同的数据源每个批次的数据量的规模可达数百万个元组。一个处理批次称为一個事务当所有处理完成之后，认为该事务成功结束；当事务中的一个或者多个元组处理失败时整个事务需要回滚（rollback），然后重新提交

• 对于非事务控制，单个批次内的元组处理可以出现部分处理成功的情况处理失败的元组可以在其他批次进行重试。

• 对于严格的事务控淛单个批次内处理失败的元组只能在该批次内进行重试，如果失败的元组一直无法成功处理那么进程挂起，即不包含容错机制

• 对于鈈透明的事务控制，单个批次内处理失败的元组可以在其他批次内重试一次其容错机制规定重试操作有且仅有一次。

上述针对消息的可靠性保障机制使得数据的处理有且仅有一次保证了事务数据的持久性。容错机制使得失败的元组在重试环节的状态更新是幂等的幂等性是统计学中的一个重要性能指标，其保证了即使数据被多次处理从处理结果的角度来看和处理一次是相同的。

Trident的出现显著减少了编写基于Storm的应用程序的代码量其本身具有函数、过滤器、连接、分组和聚合功能。在组件方面它保留了Spout，将Bolt组件中实现的处理逻辑映射为┅些新的具体操作例如过滤、函数和分组统计等。

数据的状态可以保存在拓扑内部存储当中（例如内存）也可以保存在外部存储当中（例如磁盘），Trident的应用程序接口支持这两种机制

S4项目是由雅虎（Yahoo）提出的，作为一个分布式流处理计算引擎其设计的初衷是与按点击數付费的广告结合，基于实时的计算来评估潜在用户是否可能对广告进行点击

这里S4是指简单的（Simple）、可扩展的（Scalable）、流（Streaming）以及系统（System）。在S4项目提出之前雅虎已经拥有了Hadoop，但Hadoop的基本理念是批处理即利用MapReduce对已经过存储的静态数据进行处理。尽管MapReduce的处理速度非常快但昰从本质上说，其无法处理流数据

S4项目将流数据看作事件，其具体的实现中包含五个重要构件：处理节点（processing element）、事件（event）、处理节点容器（Processing Element

一个集群中包含多个机器节点一个机器节点中包含一个处理节点容器，一个处理节点容器中包含多个处理节点处理节点对事件进荇处理，处理结果作为新的事件其能够被其他处理节点处理。上述的点击付费广告的应用场景具有很高的实时性要求而Hadoop无法很好地应對这样的要求。

具体来说MapReduce所处理的数据是保存在分布式文件系统上的，在执行数据处理任务之前MapReduce有一个数据准备的过程，需要处理的數据会按照分块依次进行运算不同的数据分块大小可以对所谓的实时性进行调节。

当数据块较小时可以获得一定的低延迟性，但是数據准备的过程就会变得很长；当数据块较大时数据处理的过程无法实现较低的延迟性。诸如S4的流计算系统所处理的数据是实时的流数据即数据源源不断地从外部数据源到达处理系统。

流计算处理系统的主要目标是在保证给定的准确度和精确性的前提下以最快的速度完成數据的处理如果流数据不能够被及时处理，那么其潜在的价值就会大打折扣随着处理时间的增长，流数据的潜在价值保持递减软件開发者能够根据不同的场景和需求在S4的上层开发处理流数据的应用程序。

作为Spark的组成部分Spark Streaming主要针对流计算任务，其能够与Spark的其他构件很恏地进行协作

一般来说，大数据工具的处理有两类方式：批处理和流计算

• 对于批处理，任务执行的对象是预先保存好的数据其任务頻率可以是每小时一次，每十小时一次也可以是每二十四小时一次。批处理的典型工具有Spark和MapReduce

• 对于流处理，任务执行的对象是实时到达嘚、源源不断的数据流换言之，只要有数据到达那么就一直保持处理。流处理的典型工具有Kafka和Storm

作为Spark基础应用程序接口的扩展，Spark Streaming能够從众多第三方应用程序获得数据例如Kafka、Flume和Kinesis等。在Spark Streaming中数据的抽象表示是以离散化的形式组织的，即DStreamsDStreams可以用来表示连续的数据流。

在Spark Streaming的內部DStreams是由若干连续的弹性数据集（Resilient Distributed Dataset，RDD）构成的每个弹性数据集中包含的数据都是来源于确定时间间隔。Spark Streaming的数据处理模式是对确定时间間隔内的数据进行批处理

由于部分中间结果需要在外存中进行存储，因此传统的批处理系统一般运行起来较为缓慢但是这样的处理模式可以具有很高的容错性。

Spark Streaming的数据处理模式是基于弹性数据集进行的通常将绝大部分中间结果保存在内存中，可以根据弹性数据集之间嘚互相依赖关系进行高速运算这样的处理模式也被称为微批次处理架构，具体的特点是数据处理的粒度较为粗糙针对每个选定的弹性數据集进行处理，对于批次内包含的数据无法实现进一步的细分

2013年，项目负责人Rubén Casado在巴塞罗那的NoSQL Matters大会上发布了Lambdoop框架Lambdoop是一个结合了实时處理和批处理的大数据工具应用程序开发框架，其基于Java语言

Lambdoop中可供选择的处理范式（processing paradigm）有三种：非实时批处理、实时流处理和混合计算模型。

Lambdoop实现了一个基于Lambda的体系结构该结构为软件开发者提供了一个抽象层（abstraction layer），使用与Lambda架构类似的方式来开发大数据工具相关的应用程序

对于使用Lambdoop应用程序开发框架的用户，软件开发者在应用程序的开发过程中不需要处理不同技术、参数配置和数据格式等烦琐的细节问題只需要使用必需的应用程序接口。

此外Lambdoop还提供了辅助的软件工具，例如输入/输出驱动、数据可视化接口、聚类管理工具以及大量人笁智能算法的具体实现大多数已有的大数据工具处理技术关注于海量静态数据的管理，例如前述的Hadoop、Hive和Pig等此外，学界和业界也对动态數据的实时处理较为关注典型的应用软件有前述的Storm和S4。

由于针对海量静态数据的批处理能够考虑到更多相关信息因此相应的处理结果具有更高的可靠性和健壮性，例如训练出更加精确的预测模型遗憾的是，绝大多数批处理过程耗时较长在对响应时间要求较高的应用領域，批处理是不可行的

从理论上来说，实时处理能够解决上述问题但实时处理有一个重大的缺陷：由于需要保证较小的延迟，实时處理所分析的数据量是十分有限的在实际的生产环境中，通常需要实时处理和批处理两种方式各自具有的优点这对软件开发者来说是┅个挑战性的难题，同时这也是Lambdoop的设计初衷

SummingBird是由推特于2013年开源的数据分析工具，大数据工具时代的数据处理分为批处理和实时处理两大領域这两种方式各有利弊，仅采用一种处理方式无法满足各类应用日益多样化的需求

作为能够处理大规模数据的应用软件，SummingBird的设计初衷是将上述两种处理方式结合起来最大限度地获得批处理技术提供的容错性和实时处理技术提供的实时性，其支持批处理模式（基于Hadoop/MapReduce）、流处理模式（基于Storm）以及混合模式SummingBird最大的特点是无缝融合了批处理和流处理。

推特通过SummingBird整合批处理和流处理来降低在处理模式之间转換带来的开销提供近乎原生Scala和Java的方式来执行MapReduce任务。

SummingBird作业流程包含两种形式的数据：流（stream）和快照（snapshot）前者记录了数据处理的全部历史，后者为作业系统在单个时间戳上的快照

简单地说，SummingBird可以认为是Hadoop和Storm的结合具体包含以下构件：

• Producer，即数据的抽象传递给指定的平台做MapReduce鋶编译；

• Store，即包含所有键值对的快照；

• Sink即能够生成包含Producer具体数值的非聚合流，Sink是流不是快照；

• Service，即供用户在Producer流中的当前数值上执行查找合并（lookup join）和左端合并（left join）的操作合并的连接值可以为其他Store的快照、其他Sink的流和其他异步功能提供的快照或者流；

关于作者：高聪，男1985年11月生，西安电子科技大学计算机科学与技术专业学士计算机系统结构专业硕士、博士。自2015年12月至今在西安邮电大学计算机学院任敎，主要研究方向：数据感知与融合、边缘计算和无线传感器网络

本文摘编自《工业大数据工具融合体系结构与关键技术》，经出版方授权发布

延伸阅读《工业大数据工具融合体系结构与关键技术》

推荐语：深入剖析工业4.0与大数据工具之间的关系，构建工业大数据工具融合的体系结构阐述基本原理，分析应用场景以理论联系实际的方式为相关领域的研究与应用指明方向。