在哪里看大平台的数据广州安全大数据平台应用案例

数据广州安全大数据平台作为大數据平台广州安全大数据平台保障体系的重要组成部分在提供业务便利性的同时,对大数据平台广州安全大数据平台保障体系的落实起著重要的作用数据广州安全大数据平台解决方案,应立足于数据全程的保护降低数据运行过程中的风险,保证数据在存储、传输和运荇过程中的广州安全大数据平台

某部委大数据平台数据广州安全大数据平台解决方案,围绕数据的全生命周期广州安全大数据平台进行設计和实施通过建设数据资产广州安全大数据平台管控系统,对数据资产的分布、流动进行态势呈现对数据广州安全大数据平台风险進行建模分析,对数据泄露、滥用、误用等情况进行追踪溯源实现对数据广州安全大数据平台的设备进行协同处理。

大数据平台数据广州安全大数据平台解决方案的目标是提升在应用层、数据资源层、网络层和基础平台层等各个层面上的数据广州安全大数据平台纵深防御能力保障数据和服务的可靠性、可用性、真实性、有效性和私密性。

通过建设数据资产广州安全大数据平台管控系统对数据资产的分咘、流动进行态势呈现,对数据广州安全大数据平台风险进行建模分析对数据泄露、滥用、误用等情况进行追踪溯源,实现对数据广州咹全大数据平台的设备进行协同处理

数据广州安全大数据平台解决方案实施步骤:两步一平台。

第一步:数据广州安全大数据平台管理咨询与数据资产梳理

第二步:数据资产广州安全大数据平台管控

一平台:是指建立数据资产广州安全大数据平台管控平台

数据广州安全大數据平台管控平台用于集中管理数据广州安全大数据平台产品可提供全网数据广州安全大数据平台产品实时状况的监控、报警、报表信息的集中展现、各系统“一窗式”运维管理、系统的快速定位,以及高广州安全大数据平台冗余备用方案

数据广州安全大数据平台解决方案中体现的主要能力

数据资产梳理,从业务战略和风险分析出发对数据资产进行梳理,进行分类分级确定数据优先级后再结合数据風险制定广州安全大数据平台管理策略,并将其贯彻到数据全生命周期数据资产梳理的对象又分为结构化数据梳理和非结构化数据梳理。

2、数据授权与访问控制

针对结构化政务数据使用广州安全大数据平台使用数据广州安全大数据平台网关进行数据级的访问控制,同时引入数据审计系统和数据库运维系统对于数据库操作进行全程监控和告警,同时提供事后现场还原和追溯的能力

数据库广州安全大数據平台网关能够实现对进出数据库的双向访问流量进行高效精准的解析、访问控制和攻击特征检测,根据系统内置的各种漏洞攻击特征、筞略以及自定义策略可以实时的对数据库的请求进行精准处理。

数据库审计系统能够将访问数据库(包括传统数据库和大数据组件如HbaseMongoDB,ElasticSearch等)的流量导流或复制到数据库审计系统上通过对访问数据库的数据包进行解析,对业界主流数据库进行深度解析与审计分析可以實现数据库全业务运行可视化、日常操作可监控、危险操作可控制、所有行为可审计、广州安全大数据平台事件可追溯。

数据库运维系统能够实现数据库运维人员通过访问统一路径来实现原有分散运维带来的管理与技术风险能够通过数据库运维系统,对周期性的数据库运維操作和突发性的数据库运维操作都能遵循事先设定好的广州安全大数据平台策略避免越权访问、误操作等情况的发生。

数据库透明加密系统能够通过加密算法和密钥将明文转变为密文防止明文存储引起的数据内部泄密、高权限用户的数据窃取,并防止敏感数据泄漏等

(1)满足数字资产等级化的广州安全大数据平台防护要求,有选择性的保护数据库内部敏感数据的广州安全大数据平台性通过在数据庫管理系统的内核中嵌入自主研发的广州安全大数据平台防护系统,通过字段级别的加密来达到对敏感数据的防护目的;

(2)敏感数据以亂码的形式存在保证存储介质丢失和数据库文件被非法复制的情况下,数据的机密性;

(3)通过授权实现访问控制非授权用户(包含DBA)查看到的数据为空或者乱码,从而在一定程度上削弱DBA的权利降低DBA权限外泄带来的危险;

4、数据共享与分发广州安全大数据平台

通过制萣脱敏规则及策略进行数据的变形,实现数据库中敏感信息的可靠保护进而满足生产数据面向测试、开发、培训和数据共享场景的数据廣州安全大数据平台需求。

能够支持静态脱敏和动态脱敏两种模式支持替换、截断、屏蔽、随机、加密、隐藏等脱敏算法和策略,支持刪除、编辑等高危操作禁止限制返回行数等动态访问控制策略。能够解决大多数用户针对合规性满足以及敏感数据泄露防护等场景的业務需求

5、网络与终端数据防泄漏

网络数据防泄漏能够通过正则表达式、数据标识符、数据指纹、机器学习等 方式自动识别、发现外泄敏感数据。网络数据防泄露网关主要用于旁路安装在网络出口处通过监听网络数据,识别数据分类并形成风险事件上传至广州安全大数据岼台运营管理中心

终端数据泄露系统主要用于安装在员工笔记本或台式机上,负责扫面发现这些终端上敏感数据并监视这些终端上敏感数据的操作使用,对于高风险数据的复制、USB拷贝、打印刻录等行为进行风险提醒和阻断保护

6、数据资产广州安全大数据平台管控平台

數据资产广州安全大数据平台管控平台用于集中管理数据广州安全大数据平台产品,可提供全网数据广州安全大数据平台产品实时状况的監控、报警、报表信息的集中展现、各系统“一窗式”运维管理、系统的快速定位以及高广州安全大数据平台冗余备用方案。为信息部門领导提供及时、全面、准确的全网数据广州安全大数据平台管理的量化分析和数据广州安全大数据平台的决策依据

免责声明:凡注明為其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传对此类作品本站仅提供交流平台,不为其版权负责本网站對有关资料所引致的错误、不确或遗漏,概不负任何法律责任如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系我们會及时修改或删除。联系邮箱:

【内容摘要】本文首先通过介绍嘚起因给出了大数据的定义和特征描述,并简要说明了当前大数据的研究概况接下来,本文阐释了大数据分析技术对大数据在信息廣州安全大数据平台领域尤其是广州安全大数据平台管理平台领域的应用做了深入分析,并给出了基于大数据广州安全大数据平台分析技術的广州安全大数据平台管理平台的基本特征最后,针对启明星辰推出的基于大数据广州安全大数据平台分析技术的泰合新一代广州安铨大数据平台管理平台从5V角度进行了深入介绍并强调了广州安全大数据平台分析师的关键作用。

毫无疑问我们已经进入了大数据(Big Data)時代。人类的生产生活每天都在产生大量的数据并且产生的速度越来越快。根据IDC和EMC的联合调查到2020年全球数据总量将达到40ZB。

什么是大数據大数据早就存在,只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据随着存储成本的不断下降、以及分析技术的鈈断进步,尤其是的出现不少公司已经发现了大数据的巨大价值:它们能揭示其他手段所看不到的新变化趋势,包括需求、供给和顾客習惯等等比如,银行可以以此对自己的客户有更深入的了解提供更有个性的定制化服务;银行和保险公司可以发现诈骗和骗保;零售企业更精确探知顾客需求变化,为不同的细分客户群体提供更有针对性的选择;制药企业可以以此为依据开发新药详细追踪药物疗效,並监测潜在的副作用;广州安全大数据平台公司则可以识别更具隐蔽性的攻击、入侵和违规


图:硬盘每GB的成本变化(年)【来源:】

《華尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富价值堪比石油。

不论从技术、还是商业角喥大数据都成为当下绝对的热点。2013年Gartner将大数据列为未来信息发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值


如何定义夶数据?《大数据的冲击》一书将大数据通俗定义为“用现有的一般技术难以管理的大量数据的集合”并广义地定义为“一个综合性概念,它包括因具备3V(海量/高速/多样Volume / Variety/Velocity)特征而难以进行管理的数据,对这些数据进行存储、处理、分析的技术以及能够通过分析这些数據获得实用意义和观点的人才和组织。”

大数据的三个公认的基本特点是3V即海量、高速和多变。海量是指数据容量越来越大;高速表示需要处理的速度和响应的时间越来越快对系统的延时要求相当高;多变就要处理各种各样类型的数据,包括结构化的、半结构化的、甚臸是非结构化的数据


IBM在上述三个特点基础之上增加了一个V(Veracity),即“真实性”、“准确性”IBM认为只有真实而准确的数据才能让对数据嘚管控和治理真正有意义。


此外业界还有人总结出其它的大数据特点,例如低价值密度(Value)、存活性(Viability)等等。低价值密度是指大数據中真正有意义的信息含量比重低;存活性是指特定情况下的大数据具有很强的时效性

在IT领域,大数据也是最热门的技术领域之一Gartner在2012姩绘制的Hype Cycle曲线展示出了当前大数据技术欣欣向荣的一番景象。


Gartner将大数据相关技术分为三个门类分别是大数据支撑技术、大数据应用技术囷针对新型数据进行分析的技术。

我国工程院院士邬贺铨将大数据技术从所面临的挑战的角度分为四个方面分别是数据收集、数据存储、数据处理和数据可视化。

微软张亚勤将大数据划分为三个层次分别是数据的管理、数据的扩充和数据的呈现。

IBM的Stephen Watt给出了一个大数据生態系统的模型将大数据技术划分为7个部分,包括数据产生、数据存储、数据处理、数据分享、数据检索、数据分析、数据可视化如下圖:

以上所有针对大数据的定义和特点的阐述,都缺少一个重要的大数据组成要素——数据分析师(或者称为数据科学家Data Scientist)。在当前技術条件下大数据分析的结果要想获得最大程度的价值发挥需要借助专业的数据分析人员。


Natahn Yau首先提出“数据科学家就是能够从大型数据集Φ析取出数据并提供某些可供非数据专家使用的东西的人”。《福布斯》杂志认为“数据科学家就是采用科学方法、运用数据挖掘工具尋找新的数据洞察的工程师”《哈佛商业评论》将数据科学家列为二十一世纪最性感的职业。


这表明大数据技术要发挥作用仍然需要囚的参与,并且是专业的数据分析师的参与

大数据技术的核心就是大数据分析(Big Data Analysis)。一般地人们将大数据分析定义为一组能够高效存儲和处理海量数据、并有效达成多种分析目标的工具及技术的集合。

information assets)意即一套针对大数据进行知识发现的方法。


通俗地讲大数据分析技术就是大数据的收集、存储、分析和可视化的技术,是一套能够解决大数据的4V(海量、高速、多变、低密度)问题分析出高价值的信息的工具集合。


大数据分析的基本技术支撑


从技术支撑架构的角度来看大数据分析是一个软件技术框架(Framework),主要包括以下能力:


1) 能够处理特别巨大的数据集(Volume)
4) 要支持实时数据分析和历史数据分析
5) 提供多种数据分析方法/模型


其中大数据分析基本的特征就是这個软件技术框架应该具有一个分布式开发框架。这个分布式开发框架可以是开源的或者其它具有相似分布式并行计算能力的框架,能够實现Map/Reduce计算能够实现分布式计算节点的统一调度和弹性部署。基于这个分布式开发框架实现海量数据的分布式采集、分布式存储、分布式分析计算。


大数据分析的另一个技术支撑是海量数据的存储技术面对海量的数据,传统的关系型已然无法满足需要需要进行改进或鍺革新。大数据分析系统的软件技术框架必然会使用某种分布式数据库技术或者NoSQL(非关系型数据库)技术


此外,一个实用的大数据分析系统一般都要同时具备实时数据分析与历史数据分析能力要获得历史数据分析能力,通常就是借助分布式开发框架的Map/Reduce批处理计算来实现当然,有的大数据历史分析系统还具备交互式计算能力(例如Google Dremel)实现快速查询。而要获得实时数据分析能力分布式开发框架及其Map/Reduce计算模型就显得力不从心了。这时候需要一个实时的流数据处理引擎通常是采用CEP(Complex Event Processing,复杂事件处理)或者ESP(Event Stream Processing事件流处理)技术的流数据處理引擎。


综上所述从开发者的角度来看,大数据分析的底层技术支撑包括三个:


1) 分布式计算框架(例如Hadoop或者其他具有Map/Reduce机制的计算框架)
2) 分布式存储机制(例如分布式数据库、HDFS、NoSQL)


从大数据分析到大数据广州安全大数据平台分析

当前网络与信息广州安全大数据平台領域,正在面临多种挑战一方面,企业和组织广州安全大数据平台体系架构日趋复杂各种类型的广州安全大数据平台数据越来越多,傳统的分析能力明显力不从心;另一方面新型威胁的兴起,内控与合规的深入传统的分析方法存在诸多缺陷,越来越需要分析更多的廣州安全大数据平台信息、并且要更加快速的做出判定和响应信息广州安全大数据平台也面临大数据带来的挑战。
广州安全大数据平台數据的大数据化主要体现在以下三个方面:


1) 数据量越来越大:网络已经从千兆迈向了万兆网络广州安全大数据平台设备要分析的数据包数据量急剧上升。同时随着NGFW的出现,广州安全大数据平台网关要进行应用层协议的分析分析的数据量更是大增。与此同时随着广州安全大数据平台防御的纵深化,广州安全大数据平台监测的内容不断细化除了传统的攻击监测,还出现了合规监测、应用监测、用户荇为监测、性能检测、事务监测等等,这些都意味着要监测和分析比以往更多的数据此外,随着APT等新型威胁的兴起全包捕获技术逐步应用,海量数据处理问题也日益凸显
2) 速度越来越快:对于网络设备而言,包处理和转发的速度需要更快;对于安管平台、事件分析岼台而言数据源的事件发送速率(EPS,Event per Second事件数每秒)越来越快。
3) 种类越来越多:除了数据包、日志、资产数据还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
于是业界出现了将大数据分析技术应用于信息广州安全大数据平台的技术——大数据广州安全大数据平台分析 (Big Data Security Analysis,简称BDSA)也有人称做大广州安全大数据平台数据分析(Big Security Data Analysis)。两者尽管表述有差异但内涵一致。前者强调基于大数据技术的广州安全大数据平台分析分析广州安全大数据平台问题;后者强调大数据分析的对潒是广州安全大数据平台数据。


在网络广州安全大数据平台领域大数据广州安全大数据平台分析将包括以下几个应用领域:


1) 广州安全夶数据平台事件管理和广州安全大数据平台管理平台:这将是大数据广州安全大数据平台分析的核心应用,也被称作广州安全大数据平台汾析平台(Security Analytics Platform)后文将详述。
2) APT检测包括全包捕获技术
3) 0day恶意代码分析,包括沙箱技术
5) 网络异常流量检测
6) 大规模用户行为分析


2012年3月Gartner发表了一份题为《Information Security Is Becoming a Big Data Analytics Problem》的报告,表示信息广州安全大数据平台问题正在变成一个大数据分析问题大规模的广州安全大数据平台数据需要被有效地关联、分析和挖掘,并预测未来将出现广州安全大数据平台分析平台以及部分企业在未来五年将出现一个新的岗位——“广州咹全大数据平台分析师”或“广州安全大数据平台数据分析师”。


对于大数据广州安全大数据平台分析而言最关键的不在于大数据本身,而在于对这些数据的分析方法大数据广州安全大数据平台分析可以用到大数据分析的所有普适性的方法和技术,但当应用到网络广州咹全大数据平台领域的时候还必须考虑到广州安全大数据平台数据自身的特点和广州安全大数据平台分析的目标,这样大数据广州安全夶数据平台分析的应用才更有价值例如,在进行异常行为分析或者恶意代码分析和APT攻击分析的时候,分析模型才是最重要的其次,財是考虑如何利用大数据分析技术(例如并行计算、实时计算、分布式计算)来实现这个分析模型

基于大数据分析技术的广州安全大数據平台管理平台

广州安全大数据平台管理平台呼唤大数据分析

在所有网络广州安全大数据平台领域中,大数据分析对广州安全大数据平台管理平台(SOC平台)及广州安全大数据平台信息与事件分析(SIEM)系统的影响最为深远这也是与它们先天的大数据分析特质密切相关的。
广州安全大数据平台管理平台有的也称作SOC(Security Operations Center,广州安全大数据平台运营中心)平台一般是指以资产为核心,以广州安全大数据平台事件管理为关键流程采用广州安全大数据平台域划分的思想,建立一套实时的资产风险模型协助管理员进行事件分析、风险分析、预警管悝和应急响应处理的集中广州安全大数据平台管理系统。

Management)系统通常,SIEM为来自企业和组织中所有IT资源(包括网络、系统和应用)产生的廣州安全大数据平台信息(包括日志、告警等)进行统一的实时监控、历史分析对来自外部的入侵和内部的违规、误操作行为进行监控、审计分析、调查取证、出具各种报表报告,实现IT资源合规性管理的目标同时提升企业和组织的广州安全大数据平台运营、威胁管理和應急响应能力。


下图显示了一个典型的SIEM系统的结构图:

由图可知一般的SIEM系统都具有广州安全大数据平台事件(日志)的采集、范化、存儲、分析、展示等几个过程,而这与大数据分析的收集、存储、分析和可视化过程是完全相同的因此,SIEM天然具有应用大数据分析技术的特质


广州安全大数据平台管理平台是在SIEM系统的基础上,对采集的数据进行了大规模的扩充并增加了分析模型,实现了基于风险的资产囷业务的集中广州安全大数据平台管理下图显示了一个典型广州安全大数据平台管理平台的结构图:


如上图所示,广州安全大数据平台管理平台的核心是多样化的广州安全大数据平台要素信息采集与存储、多种广州安全大数据平台分析与展示而这与大数据分析的特征也昰完全吻合的。


当前广州安全大数据平台管理平台的一个重要发展趋势就是采集的广州安全大数据平台数据种类越来越多,不仅包括传統的资产信息、事件信息还纳入了漏洞信息、性能信息、流量信息、配置信息、业务信息等等。与此同时广州安全大数据平台数据的產生速率和总量也急速增长。大型企业越来越倾向于采用集中化的广州安全大数据平台管理平台构建模式单一管理平台就要管理全网的廣州安全大数据平台信息,广州安全大数据平台事件产生的速率达到上万EPS甚至是上10万EPS,每天存储的事件量则达到上百GB甚至是上TB。另一方面用户需要广州安全大数据平台管理平台提供更加精准的广州安全大数据平台分析研判和问题定位,更加快速的广州安全大数据平台應急响应与处置对广州安全大数据平台分析的准确性和分析结论价值度的要求越来越高。这一切都促使广州安全大数据平台管理平台的技术开发者求助于大数据分析技术


大数据广州安全大数据平台分析首选广州安全大数据平台管理平台


SANS在2013年9月份发布的《广州安全大数据岼台分析调查》报告显示,客户进行大数据广州安全大数据平台分析的时候首选的是日志管理、SIEM等广州安全大数据平台管理平台类系统。并且超过60%的受访客户表示未来实现广州安全大数据平台分析目标的首要投资对象是SIEM。


由此可见目前来说,在所有大数据广州安全大數据平台分析的应用领域中SIEM及其广州安全大数据平台管理平台是最重要的。


应该说大数据分析技术并不能保证广州安全大数据平台管悝平台能够应对上述挑战,但却给广州安全大数据平台管理平台应对这些挑战提供了全新的技术思路和发展模式当广州安全大数据平台管理平台遇上大数据分析,让用户和开发者看到了广州安全大数据平台管理平台未来技术发展的一个全新方向


基于大数据广州安全大数據平台分析技术的广州安全大数据平台管理平台基本特征


基于大数据广州安全大数据平台分析技术的广州安全大数据平台管理平台具有以丅显著特征:


1) Velocity:高速日志采集能力、高速事件分析能力;
2) Variety:支持多种日志源和日志类型,并支持对半结构化(例如原始数据报文、邮件、WEB请求与响应)和非结构化信息(例如可疑代码)的采集具备异构数据间的关联分析(即情境关联)能力;
3) Volume:海量的事件存储能力、海量数据分析能力;
4) valuablity:分析研判的结果是真正有价值的信息、值得去关注的信息,是可以用于辅助决策的信息这就意味着需要有效嘚数据分析方法和工具;


必须至少同时满足上述5V,才能将一个广州安全大数据平台管理平台称为基于大数据广州安全大数据平台分析技术嘚广州安全大数据平台管理平台

泰合新一代广州安全大数据平台管理平台介绍

为了应对大数据的挑战,以及客户日益复杂的广州安全大數据平台管理需求启明星辰在10年该领域积累的基础上推出了基于大数据广州安全大数据平台分析技术的泰合新一代广州安全大数据平台管理平台(NGSOC)。
泰合NGSOC以IT资产为基础以业务信息系统为核心,以用户体验为指引从监控、审计、风险、运维四个维度建立一套可度量的統一业务支撑平台,使得各种用户能够对业务信息系统进行可用性、性能与服务水平监控配置及事件分析、审计、预警与响应,风险及態势的度量与评估标准化、例行化、常态化的广州安全大数据平台流程管控,通过面向业务的主动化、智能化广州安全大数据平台管理最终实现业务信息系统的持续广州安全大数据平台运营。


泰合NGSOC全面拥抱大数据时代采用新一代的基于超微内核的技术架构,融合了多種大数据分析的技术具有高速数据采集与分析、海量事件存储与分析、异构信息采集与关联、多种广州安全大数据平台分析工具、丰富數据可视化呈现的特点,是国内第一款基于大数据广州安全大数据平台分析技术的广州安全大数据平台管理平台


仅以广州安全大数据平囼管理平台中的事件管理子系统为例,为了应对海量事件管理带来的挑战泰合新一代广州安全大数据平台管理平台采用了国内领先的基於大数据分析的高性能事件采集、分析与存储架构。

泰合新一代广州安全大数据平台管理平台采取了多种大数据分析技术使得系统在事件采集、分析和存储三个方面获得了本质的性能提升如下表所示:

异步通讯、高速缓存、日志范式化流水线技术

能够对海量异构日志进行歭续不断地高速采集

能够采集网络中大规模管理对象的日志

高速日志存储、分布式数据存储技术

存储长时间的日志信息,满足合规的要求

實时地对日志进行监视和关联分析

及时发现广州安全大数据平台异常快速关联出广州安全大数据平台隐患

全文检索、分布式查询技术

能夠快速的从TB级的日志信息中返回查询结果

快速从海量日志中进行定点查询

数据抽取、数据聚合等技术

能够实现对TB级日志的快速报表生成

快速生成各类广州安全大数据平台日报、周报、月报等


以下分别从基于大数据广州安全大数据平台分析技术的广州安全大数据平台管理平台嘚5V特征分别加以阐释。


针对单一的事件采集器借助异步非阻塞的事件采集技术和利用多核CPU的并行流水线技术实现快速的异构事件采集。

哃时系统具备分布式采集技术,即通过部署多个事件采集器进行分布式事件采集,进一步提升总的事件采集速率

异构事件源采集(Variety)

系统支持通过多种协议方式(包括Syslog、SNMP Trap、FTP、OPSEC LEA、NETBIOS、ODBC、WMI、Shell脚本、Web Service等)对各种类型的网络设备、广州安全大数据平台设备、主机、存储、数据库、中间件、应用系统等的日志和告警信息进行统一的采集,并能够对这些异构的事件进行信息标准化和事件分类将各种不同表达方式的ㄖ志转换成统一的描述形式。


海量事件存储与海量事件分析(Volume)


这里体现出了大数据分析的核心技术泰合新一代广州安全大数据平台管悝平台运用自主研发的分布式存储技术、分布式计算技术和流式计算技术实现了海量事件的存储与分析。

系统采用了分布式事件存储架构通过分布式事件存储器实现了事件数据的并行写入和分布存储,极大的提升了系统事件处理的吞吐量为后续的大数据分析奠定了基础。


如上图所示系统采用分块的方式存储事件。每天会将事件并行写入多个分块中并且每天都会创建新的存储块。同时在并行写入的時候,系统通过优化的确保事件被尽可能均匀的分布在每个分块上

系统内置了分布式事件查询代理,使得上层应用的开发者不必了解事件分布存储的细节使用统一的方式进行数据存取。

系统的分布式查询代理相实现了一个Map/Reduce的计算框架能够将数据查询请求分布到不同的計算节点上并行进行,并最终装配每个节点的计算结果统一返回给请求者。

基于流数据的实时事件分析技术
系统采用了基于CEP的流式计算框架实现了对广州安全大数据平台事件的实时动态分析。

上图展示了系统的规则关联分析引擎的基本架构系统将所有的关联规则都预編译为CQL(Continuous Query Language,持续查询语言)送入自主研发的CEP引擎,对事件流进行模式匹配模式匹配模型采用不确定有限状态机(Nondeterministic Finite Automata,NFA)并参考了RETE算法實现。

价值分析(Value)

这里的价值分析就是指如何从海量的广州安全大数据平台事件中通过多种分析模型研判出真正有价值的广州安全大数據平台信息系统内置了多种广州安全大数据平台分析的工具,不仅有传统的规则关联还有基于行为的关联,以及面向大数据的广州安铨大数据平台分析工具

事件关联是指找出大量事件中存在的关系,并从这些大量事件中抽取出真正重要的少量事件借助先进的智能事件关联分析引擎,系统能够实时不间断地对所有范式化后的日志流进行广州安全大数据平台事件关联分析系统为分析师提供了三种事件關联分析技术,分别是:基于规则的关联分析、基于情境的关联分析和基于行为的关联分析


——基于规则的关联分析
基于规则的关联分析是指系统通过事件关联引擎进行规则匹配,识别已知模式的攻击和违规的过程属于最经典和传统的一种关联分析技术。


系统支持建立單事件规则和多事件规则实现单事件关联和多事件关联:

单事件关联:通过单事件关联,系统可以对符合单一规则的事件流进行规则匹配;

多事件关联:通过多事件关联系统可以对符合多个规则(称作组合规则)的事件流进行复杂事件规则匹配。

——基于情境的关联分析
基于情境(Context)的关联分析是指将广州安全大数据平台事件与当前网络和业务的实际运行环境进行关联透过更广泛的信息相关性分析,識别广州安全大数据平台威胁这种技术也被称作“情境感知”(Context-Aware)。


系统支持多种基于情境的关联分析:

基于资产的情境关联:分析师鈳以将事件中的IP地址与资产名称、资产价值、资产类型(包括自定义类型)、自定义资产标签进行关联;

基于弱点的情境关联:将广州安铨大数据平台事件与该事件所针对的目标资产当前具有的漏洞信息进行关联包括端口关联和漏洞编号关联;

基于网络告警的情境关联:將广州安全大数据平台事件与该事件所针对的目标资产(或发起的源资产)当前发生的告警信息以及当前的网络告警信息进行关联;

基于拓扑的情境关联:根据网络故障沿网络拓扑水平传播的特性,通过对大量网络告警事件在拓扑空间中的分布以及传播时间上的顺序,自動进行网络根本故障源(Root Cause)诊断

—— 基于行为的关联分析
基于行为的事件关联分析的定位在于使广州安全大数据平台分析实现向基于异瑺检测的主动分析模型逆转,从而安管平台的主流分析方式不再强依赖关联引擎

规则关联分析依赖于专家经验定义的攻击签名或已知的攻击方法。高级威胁经常没有签名并且确切的攻击者行为也难以实现预测。事件行为分析是基于异常检测的主动分析模式它并不是基於静态的关联规则,而是建立被观测对象正常基准行为通过对实时活动与基准行为的对比来揭示可疑的攻击活动。事件行为分析可以智能发现隐藏的攻击行为加速确定没有签名的威胁,减少管理人员必须调查的事故数量

系统支持两种行为分析技术:

动态基线技术:采鼡了周期性基线分析的方法。周期性基线根据历史数据计算得出通常是一个单周期数据库轮廓线。这条曲线由若干数据轮廓点组成每個轮廓点代表一个采样时点。一个新的实际测量值如果没有超过基线范围则通过加权平均算法更新旧的轮廓值。如果新的实际测量值超過基线范围则丢弃不参与新轮廓值计算。如此往复循环基线始终处于动态变化中。

预测分析技术:采用了基于时间窗置信区间的检测模型和方法可以在实际运行中不断自我调整和逼近,自动剔除历史时间窗内的异常历史数据实现历史时间窗数据与网络实际正常流量荇为特征的高度吻合,从而提高了对异常行为报警的准确性 

借鉴了热力学的概念,把信息中排除了冗余后的平均信息量称为“信息熵”并给出了计算信息熵的数学表达式。 简单地说信息熵就是系统有序化程度的一个度量。


系统通过对收集到的一段时间内的海量广州安铨大数据平台事件的报送IP地址进行熵值计算得到这些广州安全大数据平台事件报送IP聚合度的变化幅度,以此来刻画这段时间内这些广州咹全大数据平台事件所属网络的广州安全大数据平台状态并预测下一步的整体广州安全大数据平台走势。

热点分析技术是分析某些特定倳件间潜在联系的一个有力工具热点是指如果某一区域内事件发生频率显著地高于或低于正常频率,则这一特殊区域被定义为热点通瑺我们所关心的热点是事件发生高度集中的小区域,在众多的时空分析方法中热点分析是理解事件间隐含关系的有效工具。通过热点分析可以有效地对事件做出回归分析和前景预测,帮助研究人员得出科学的结论


系统采用聚类算法持续地从事件的源IP、目的IP、资产类型、事件等级、事件数目5个维度(向量)朝终端、网络和应用三个群组进行聚类运算,找到当前一段时间的事件热点从而实现对海量事件嘚实时宏观分析。


威胁态势分析也称作威胁KPI分析。系统通过对一组关键威胁指标的计算得到一个威胁指数并以此随时间描述出一条威脅指数曲线,从而表征一段时间内、某个网络区域的网络广州安全大数据平台威胁状态及其发展趋势


系统建立了一套动态的多维威胁指標体系,通过帕累托分析法协助管理员对当前的威胁成因进行辨别,实现对关键威胁因素从宏观到中观再到微观的层层下钻,直至定位到导致威胁态势异常的关键广州安全大数据平台事件


泰合新一代广州安全大数据平台管理平台具有十分丰富的信息可视化呈现能力,涵盖了广州安全大数据平台管理的各种要素包括资产、业务、事件、威胁、风险等。

系统能够自动描绘出网络拓扑图展示IT资产之间的邏辑拓扑连接关系,并能够自动进行多种拓扑布局通过网络拓扑图,管理员可以对全网的资产进行可视化的监控

将客户资产设备根据实際机架摆放可视化地展示出设备的物理摆放管理员透过机架视图可以清楚地知道每个资产的位置

通过业务建模,构建业务拓扑图建立起构成业务支撑环境的资产对象的分布和逻辑联系方便用户了解和查看此业务相关对象的实际状况

可以对一段时间内的广州安全大数据平囼事件进行行为分析,通过生成一幅事件拓扑图形象化地展示海量广州安全大数据平台事件之间的关联关系从宏观的角度来协助定位广州安全大数据平台问题

可以通过平行坐标轴显示大量事件相对于事件属性的聚合关系

对事件的源目的IP地址进行追踪,并在世界地图上标注絀来

将某个区域的威胁从认证授权与非法访问、恶意代码、信息泄露、攻击入侵、设备故障、违规与误操作6个维度进行分类评估并最终嘚到该区域的总体威胁度,以及可视化地展示该区域的威胁成因图

系统能够形象地展示出广州安全大数据平台域的风险矩阵从可能性和影响性两个角度标注广州安全大数据平台域中风险的分布情况,通过风险矩阵法指导管理员进行风险分析,采取相应的风险处置对策


大數据时代已经到来我们创造的大数据正在改变人类生产生活的各个方面。信息与网络广州安全大数据平台作为保障IT数字资产的关键能力吔正在被大数据所重新塑造广州安全大数据平台管理平台,作为广州安全大数据平台保障体系中位于顶层的技术支撑平台天然具有与夶数据结合的特质。基于大数据广州安全大数据平台分析技术的广州安全大数据平台管理平台正在成为未来广州安全大数据平台管理平台發展的重要技术方向


同时,我们必须看到不论广州安全大数据平台管理平台的技术如何发展,如何与大数据结合广州安全大数据平囼管理平台所要解决的客户根本性问题,以及与客户业务融合的趋势依然未变对大数据的应用依然要服务于解决客户的实际广州安全大數据平台管理问题这个根本目标。


目前来看大数据分析技术有助于我们更好地去解决广州安全大数据平台管理过程中的部分问题,但并鈈能解决所有的问题同时还可能引入了新的问题。这是广州安全大数据平台管理平台的开发者、服务提供者和客户都需要不断摸索的


此外,不论广州安全大数据平台管理平台技术如何发展大数据分析给我们带来了多大程度的信息价值度提升,广州安全大数据平台分析師始终是不可或缺的正如大数据需要数据分析师,大数据广州安全大数据平台更需要广州安全大数据平台分析师广州安全大数据平台,本质上是人与人之间的对抗不论广州安全大数据平台分析的自动化技术如何演进,相互之间进行对抗的始终是坐在屏幕前的人。

Hadoop大数据平台在当今的IT业界是非常熱门的话题 如果你关注它们的应用场景,大多数情况是做OLAP智能分析以及数据挖掘鲜有类似于传统关系型数据库擅长的OLTP事务处理场景。紟天和大家分享一个在大数据平台上OLTP应用场景案例

某国内车联网企业A,主要提供给各类大巴货车公司安装各类传感器服务,并通过传感器收集日常车辆轨迹及各种告警违规数据基于这些数据提供给客户实时的轨迹和告警查询,以及历史统计信息的查询

车辆每隔10秒中仩传一条数据,同时在线的车辆数量在7万辆要求用户能做近实时的车辆轨迹信息查询,数据加载要达到每秒8000条为获得最佳的用户体验,查询响应时间要小于1秒用户的并发查询数要大于100。

业务平台每天产生超过200万条告警记录查询跨度为15天,响应时间要求在1秒以内

业務平台每天产生5亿多条违规记录,每天需要对这些记录进行读取和统计并存储到统计表中由于数据量较大,统计SQL复杂该操作可在夜间閑时进行。数据读取统计以及存储过程不能超过8小时。

通过上面章节的分析这是典型的混合负载。数据库既要面对汽车传感器频繁的數据加载请求迅速完成数据插入(INSERT)同时也要满足前台用户对此类数据的近实时的查询需求(SELECT). 这就意味着要对数据库进行频繁的读和写操莋。同时要对每天生成的大规模数据进行读取和分析以及统计

针对前章所述的的工作负载特性,并对比市场上不同的产品方案最终采取了Trafodion+Vertica的混合解决方案。

Trafodion是基于Hadoop/Hbase的数据库它擅长于处理OLTP负载,对于高压力的数据插入有很好的性能表现同时能够提供秒级的查询响应时間。在累计一天的数据后在同一表内进行数据的ETL处理并生成违规日统计数据

Vertica是基于列存储的数据库方案对于复杂的查询读操作有很赽速的响应速度。通过JDBC可以把Trafodion中的日违规统计数据直接插入到Vertica日违规统计表中基于日违规统计表,通过数据统计处理生成月违规统计以忣违规统计总表供用户查询

客户端可通过调用标准JDBC/ODBC接口进行WEB应用程序的开发,以及BI和数据挖掘的应用开发方案如下图所示


测试背景数據为:车辆轨迹表格为133亿条记录,告警日统计表格3亿6千万条违规日统计为2750万条记录,违规月统计为671万条

由于Trafodion是基于Hadoop/Hbase的大数据平台,所鉯它也具备性能的可扩展性因此也做了一系列的性能可扩展性测试(4,6,8个节点集群,以及不同的并发用户数括包括200,300,400,500以及600并发)结果如下表。


从以上结果可以看出在四节点集群配置下可满足客户业务需求。考虑到未来车辆数量增多可通过增加节点来提高加载速度以及缩短查询响应时间。

通过Trafodion加Vertica的混合方案可以很好的解决车联网行业的业务需求。虽然传统的关系型数据库(比如Oracle)也能满足业务需求但甴于Trafodion是基于Hadoop技术,它是能运行在成本更低廉的x86硬件之上的分布式系统具有高可用性以及高扩展性。随着将来业务的扩展能更灵活地增节點来提高系统的容量和性能。另外值得一提的是Trafodion是HP发起的一个开源项目所以没有额外的软件license成本,并具备可自主开发的可能性这能滿足国内目前的技术趋势:开源技术,自主可控

备注:以下是Trafodion的简单介绍。如果读者对Trafodion感兴趣可访问开源社区:

  • 完整性: 支持完整的ANSI SQL集
  • 保护性: 支持分布式ACID事务操作
  • 高效性: 对低延时要求的读写事务进行优化
  • 灵活性:支持灵活的schema以及多种数据结构
  • 扩展性:基于Hadoop 平台原生开發
  • 开放性: 支持主流Hadoop和Linux开源发布

提供了全功能以及经过优化的基于HBase之上的事务型DBMS解决方案

?      便于客户二次开发以及独立软件供应商开发的應用,保护了客户的投资提高了客户的开发生产力

我要回帖

更多关于 广州安全大数据平台 的文章

 

随机推荐