基于Ceph对象存储的云网盘设计与实现--《电子科技》2015年10期
基于Ceph对象存储的云网盘设计与实现
【摘要】：针对基于传统NAS存储实现云网盘存在扩展性差,响应性能低、数据不可靠性、安全性低等问题,提出一种基于Ceph分布式对象存储系统构建高性能、高可靠、可扩展的云网盘设计与实现方案,底层基于X86服务器作为Ceph存储集群池,通过设计多对象网关发布对象存储服务,采用软负载均衡,提升云网盘请求响应吞吐能力,并集成基于Token认证系统实现对象数据的隔离与安全。经实验测试表明,该设计实现方案可满足现实应用需求。
【作者单位】：
【关键词】：
【分类号】：TP333【正文快照】：
随着云计算和大数据应用的快速增长,网络数据呈海量的增长方式,人们对数据存储能力、计算能力的需求呈爆炸式增长,这对存储系统的容量、可扩展性、数据可靠性以及安全性提出更高的要求,这种需求正在影响着数据存储基础设施的发展。传统的NAS存储系统,存在着存储性能的局限性、
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【参考文献】
中国期刊全文数据库
王芳;陈亮;;[J];华中科技大学学报(自然科学版);2007年10期
覃灵军;冯丹;曾令仿;刘群;;[J];计算机科学;2006年05期
段剑弓;[J];计算机应用研究;2004年12期
中国硕士学位论文全文数据库
肖培棕;[D];中国科学技术大学;2009年
蔡官明;[D];华南理工大学;2013年
李翔;[D];西安电子科技大学;2014年
【共引文献】
中国期刊全文数据库
黄金国;;[J];重庆科技学院学报(社会科学版);2011年15期
马林山;;[J];大学图书情报学刊;2006年05期
朱宏涛;;[J];黑龙江科技信息;2009年17期
杨光;周敬利;;[J];华中科技大学学报(自然科学版);2010年10期
肖骁;余佳;;[J];中国舰船研究;2008年06期
邹强;冯丹;曹炬;田磊;曾令仿;;[J];计算机科学;2008年12期
郑奇英;叶猛;;[J];计算机与现代化;2011年01期
张敬;;[J];科技传播;2012年11期
邓凡星;;[J];科技信息;2012年25期
庞慧;陈艳君;;[J];河北建筑工程学院学报;2012年03期
中国重要会议论文全文数据库
Liang CJing QXueping Gu;;[A];2013教育技术与信息系统国际会议论文集[C];2013年
中国博士学位论文全文数据库
陈涛;[D];国防科学技术大学;2011年
岳利群;[D];解放军信息工程大学;2011年
中国硕士学位论文全文数据库
郑奇英;[D];武汉邮电科学研究院;2011年
程延锋;[D];西安电子科技大学;2009年
李宽;[D];华南理工大学;2011年
崔力升;[D];成都理工大学;2011年
薛伟;[D];中国科学技术大学;2011年
刘群峰;[D];大连交通大学;2011年
石夫乾;[D];浙江工业大学;2006年
封仲淹;[D];华中科技大学;2006年
周正娟;[D];电子科技大学;2008年
陈亮;[D];华中科技大学;2007年
【二级参考文献】
中国期刊全文数据库
陆小铭;曹维华;余勇昌;;[J];电信科学;2010年06期
赵华茗;李春旺;周强;;[J];电信科学;2010年S1期
王征;刘心松;李美安;;[J];电子学报;2006年08期
吴松,李玉福,金海;[J];华中科技大学学报(自然科学版);2003年04期
宋平,孙建伶,何志均;[J];计算机研究与发展;2004年04期
黄华,张建刚,许鲁;[J];计算机研究与发展;2005年06期
胡进锋;洪春辉;郑纬民;;[J];计算机研究与发展;2007年06期
王晓川,叶超群,金士尧;[J];计算机工程;2002年08期
田颖,许鲁;[J];计算机工程;2003年19期
杨德志;许鲁;张建刚;;[J];计算机工程;2008年07期
中国博士学位论文全文数据库
赵铁柱;[D];华南理工大学;2011年
辜寄蓉;[D];成都理工大学;2003年
中国硕士学位论文全文数据库
李鑫;[D];西安电子科技大学;2010年
张莹光;[D];北京邮电大学;2011年
艾明;[D];南京理工大学;2012年
张炎华;[D];北京邮电大学;2012年
李登;[D];中南大学;2002年
邵强;[D];国防科学技术大学;2005年
【相似文献】
中国期刊全文数据库
鸣沙;;[J];电脑爱好者;2008年18期
;[J];电脑迷;2009年03期
平淡;;[J];电脑爱好者;2009年24期
王志军;;[J];电脑爱好者;2011年11期
鞠华英;;[J];电脑爱好者;2012年02期
飞雪散花;;[J];电脑迷;2012年06期
;[J];电脑爱好者;2012年10期
王志军;;[J];电脑迷;2012年12期
言草三心;;[J];电脑迷;2014年04期
铺盖侠;;[J];电脑迷;2014年04期
中国重要报纸全文数据库
亚文辉;[N];中国高新技术产业导报;2012年
电脑报 蔡薿;[N];电脑报;2012年
于长洹;[N];东莞日报;2013年
李静颖;[N];第一财经日报;2013年
新金融记者
曹晓龙;[N];新金融观察;2014年
岐;[N];电脑商报;2009年
李敬;[N];计算机世界;2011年
郭涛;[N];中国计算机报;2011年
刘一冰;[N];电脑商报;2011年
郭涛;[N];中国计算机报;2012年
中国硕士学位论文全文数据库
李心语;[D];吉林大学;2014年
苏丽裕;[D];北京邮电大学;2015年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 知识超市公司
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备74号ceph这款云存储技术怎么样_百度知道
ceph这款云存储技术怎么样
　　块存储(Block Storage)，向客户端发送最新的CRUSH map(含有当前网络的拓扑结构) 　　OSD，对象存储由LIBRADOS和RADOSGW提供，提供文件的Metadata，作为块设备像硬盘一样直接挂载。
　　Ceph的结构, CEPH FS均需要调用LIBRADOS的接口　　Ceph是一套高性能. Weil的论文开发。
　　Ceph集群的节点有三种角色, RBD，如果不使用CephFS可以不安装 &#8203，易扩展的，利用C。 　　文件系统(File System) ，维护节点上的对象，文件系统由CEPH FS提供，监控集群的健康状况，与其他OSD节点同步 　　MDS, C++： 　　对象存储(Object Storage)，而最终都是以对象的形式存储于RADOS里，主要提供以下三个存储服务，兼容亚马逊的S3和OpenStack的Swift，基于Sage A，也可以通过Restful网关以对象的形式访问或存储数据，而RADOSGW，块存储由RBD提供，如同网络文件系统一样挂载，兼容POSIX接口，无单点的分布式文件存储系统，响应客户端请求, Python, Java： 　　Monitor, PHP代码，既可以通过使用Ceph的库
知道智能回答机器人
我是知道站内的人工智能，可高效智能地为您解答问题。很高兴为您服务。
其他类似问题
为您推荐：
云存储的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁ceph这款云存储技术怎么样？和swift、hdfs相比如何
按投票排序
Ceph是一套高性能，易扩展的，无单点的分布式文件存储系统，基于Sage A. Weil的论文开发，主要提供以下三个存储服务：对象存储(Object Storage)，既可以通过使用Ceph的库，利用C, C++, Java, Python, PHP代码，也可以通过Restful网关以对象的形式访问或存储数据，兼容亚马逊的S3和OpenStack的Swift。块存储(Block Storage)，作为块设备像硬盘一样直接挂载。文件系统(File System) ，如同网络文件系统一样挂载，兼容POSIX接口。Ceph的结构，对象存储由LIBRADOS和RADOSGW提供，块存储由RBD提供，文件系统由CEPH FS提供，而RADOSGW, RBD, CEPH FS均需要调用LIBRADOS的接口，而最终都是以对象的形式存储于RADOS里。Ceph集群的节点有三种角色：Monitor，监控集群的健康状况，向客户端发送最新的CRUSH map(含有当前网络的拓扑结构)OSD，维护节点上的对象，响应客户端请求，与其他OSD节点同步MDS，提供文件的Metadata，如果不使用CephFS可以不安装Ceph是分布式的存储，它将文件分割后均匀随机地分散在各个节点上，Ceph采用了CRUSH算法来确定对象的存储位置，只要有当前集群的拓扑结构，Ceph客户端就能直接计算出文件的存储位置，直接跟OSD节点通信获取文件而不需要询问中心节点获得文件位置，这样就避免了单点风险。更多Ceph架构方面的内容可以参看官方介绍：Ceph目前已经是一套比较成熟的存储系统了，是OpenStack比较理想的存储后端，也可以作为Hadoop的存储后端，这就涉及到与Swift和HDFS的比较。Ceph与SwiftCeph用C++编写而Swift用Python编写，性能上应当是Ceph占优。但是与Ceph不同，Swift专注于对象存储，作为OpenStack组件之一经过大量生产实践的验证，与OpenStack结合很好，目前不少人使用Ceph为OpenStack提供块存储，但仍旧使用Swift提供对象存储。Swift的开发者曾写过文章对比Ceph和Swift: Ceph与HDFSCeph对比HDFS优势在于易扩展，无单点。HDFS是专门为Hadoop这样的云计算而生，在离线批量处理大数据上有先天的优势，而Ceph是一个通用的实时存储系统。虽然Hadoop可以利用Ceph作为存储后端（根据Ceph官方的教程死活整合不了，自己写了个简洁的步骤:），但执行计算任务上性能还是略逊于HDFS（时间上慢30%左右 ）。
没有教材讨论不是白费劲
已有帐号？
社交帐号登录
无法登录？
社交帐号登录如何基于Ceph构建高性能块存储服务？ | UnitedStack有云
深度博文的激烈碰撞
有云博客沉淀了有云工程师们的智慧，碰撞着相互学习进步，感受不一样的有云文化，展示不一样的有云风采。
作为开源的分布式存储系统，Ceph这两年的发展飞速，正在成为软件存储的明星。你可以在大多数的OpenStack云服务、发行版、云解决方案、软硬一体机中都能看到Ceph的身影，各种调查也显示Ceph成为开源云存储的第一选择。
有一种说法认为Ceph的数据是分散的，会造成租户IO的隔离和稳定问题。
没有实践就没有发言权。UnitedStack存储团队在Ceph项目的性能优化方向做出了卓越贡献，也是Ceph社区主力贡献者之一，UnitedStack也是国内第一家大规模在生产环境使用Ceph的云服务公司，关于这一质疑，就在前几天的ArchSummit《真实的云计算服务》专场，UnitedStack存储开发负责工程师王豪迈现场真人回应是“Ceph完全不存在这个问题”。对刻意追求极高突发性能的技术行为，他说：Technologyis not magic，软件技术不能脱离物理设备的限制，在复杂的生产系统中不存在任何可能的特定实现能超过物理设备所提供的能力，刻意追求一个极端往往是以牺牲其他方面为代价。
来完整听听王豪迈童鞋对于UnitedStack云服务的特性、关于Ceph的特性和优化等问题的大起底。
【UnitedStack云服务中的存储背景】
UnitedStack云服务中的存储这一块是基于Ceph的整合和优化，提供的是一个企业级存储服务,即稳定、性能高、可靠的存储服务。
UnitedStack云服务提供了一个UOS中心化的集群，能够同时提供管理来自多个公有云和托管云的客户解决方案，统一的服务管理，统一的平台，统一的team，统一的SLA。
【UnitedStack的块存储和其他厂商的存储相比有哪些不一样的地方呢？】
随卷容量变化的性能保证
即是UnitedStack的SLA保证，我们所说的存储性能,并不是指在某段时间内测到的存储性能就是一个合理的性能指数和提供能力，而是，我们需要根据一个长时间的存储性能的压测来得到一个存储性能指数，随卷容量变化得到的性能保证。
多副本高数据可用性
我们会将数据和其他存储盘一样存成几个落盘的副本，来达到高性能和高持久性。
所有块设备管理操作一秒内完成
包括对任意大小存储卷打快照，扩容等操作。
UnitedStack的快照能力能达到在你调出API的同时完成一个快照的创建，对于生产环境来说，快照的实施功能是非常有用的。
支持性能盘和容量盘
可以根据不同的客户业务的需要选用的同的盘。
支持单卷多虚拟机挂载
这是区别于其他存储厂商的一个很大的特性，也是基于Ceph提供的一个特性，即多虚拟机单项挂载，有点类似于传统的SAN，SAN能提供唯一个入口来实现多虚拟机的访问，保证IOPS是有序写入的，同时控制并发。
Ceph其实是一个分布式的存储集群，它没有单控多控的概念，它起的所有虚拟机都可以通过本地客户端去访问Ceph集群，我们实现了多虚拟机对多后端OSD的并发访问，这区别于传统的多对一的关系。
在此基础上，我们还可以实现很多东西，如一个数据盘写了很多数据后把它设为只读，挂到很多虚拟机上面，实现一个只读挂载,因此一个数据盘可以被多个虚拟机使用；或者是我们可以把它设为读写，我们可以基于读写盘创建一个集群文件系统，比如OCFS,GFS，这样我们就能提供一个类似共享磁盘的概念并提供使用（如ORACLERAC）。
【从产品追溯到技术层面，UnitedStack对OpenStack和Ceph的整合和优化做了哪些工作？】
UnitedStack的云平台是基于OpenStack，存储是基于Ceph,OpenStack是一个开源云平台管理系统，除了只读卷和共享卷外，我们主要做了以下两个方面的工作。
随容量变化性能提供
这是通过Nova和Qemu的整合，利用Qemu的瓶颈控制来实现的一个根据容量变化的性能提供。
镜像，根分区和数据分区的统一存储
这是很多存储解决方案里都没有做到的一点：就是我们所有的数据都在同一个资源池里面，当然根据整个盘提供的不同我们会提供不同的资源池给用户，最后再简单介绍一个镜像和数据在同一个资源池的优势：所有的数据都在Ceph的资源池里，所有的操作包括创建虚拟机，迁移，扩容，缩绒等都可以避免数据的传输。
【Ceph实现云计算统一存储】
Ceph是一个分布式存储系统，支持对象文件快接口，设计目标是:
o 所有组件横向扩展
o 没有单点故障
o 可以在普通厂商硬件使用
o 所有机制都能自我管理
分布式存储的应用场景相对于其存储接口，现在流行分为三种:
1.对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3等。
2.块存储: 这种接口通常以QEMUDriver或者KernelModule的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)。
3、文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
提到存储的种类就不得不提到另外一个话题：存储不能做统一化吗？因为必须要有多个不同的软件栈去管理不同的存储设备：SSD，SATA等。
Ceph就此提出了不同观点，RADOS提供了基础的存储设备的管理、数据控制流访问的管理，提供的是一个可靠持久的数据存储平台，基于其上，我们可以实现多个不同的接口户来实现面向不同需求的对接，比如对象存储我们有一个单独的库实现去满足不同的存储需要，比如我们块存储是通过RDP来实现。
统一存储并不意味着所有存储都的同一个接口，同一个实现，同一个软件栈，它其实只是使用了同一个设备管理的生命周期和数据访问的有效控制，它提供了一个相对合理，非常适合运维的，利于成本，利于软件可靠性控制的的机制去保证我们的存储的可靠。
举一个例子，大部分存储厂商甚至网络厂商都有一个自己的核心软件栈，如文件系内核。基于其上演化出各种不同的产品线。如果厂商要追求各个产品线的极致是不是就应该每个产品完全独立来追求极致，但事实上一个核心的底层技术栈需要高质量的代码、完备的测试和长期的使用。在Ceph这里，一个分布式系统的并发IO、分布式恢复、数据端到端校验等等关键实现是唯一实现，成熟的系统系统在这些实现上需要经过一定量级和时间的考验，这才是Ceph所谓的统一存储，而不是其他的接口堆叠式开发。
【Ceph和其他开源分布式存储、其他商用存储的区别之处在哪？】
众所周知，很多传统厂商如日立、富士通等存储大厂也采用了Ceph作为它们存储硬件的载体，Ceph能提供企业级的存储服务一定有它的优势，才能让传统的存储厂商弃而采用开源的存储方案。
1、中心化系统我们认为它在数据控制系统方面做的较好，在迁移运维方面提供较好的实现，但却有元数据的瓶颈。在访问数据时需要经过元数据服务器的查询再去寻找相应的数据服务器会在大规模扩展时遇到性能瓶颈问题。
2、全分布式系统虽然提供较好的数据访问能力，能高效处理客户端的LO请求，但是却没有提供一个非常好的数据控制的实现，比如故障处理能力不足，数据恢复的困难，如果跳出中心化的元数据存储系统它没办法做到强一致性的数据恢复。
弹性的数据分布策略和物理拓扑输入实现了高可用性和高持久性，Ceph的高性能重构还体现在利用CRush算法对数进行约束，避免数据分布到所有的集群的一个节点上，利用Ceph设计并提供的一个由CRush算法来支持一个高自由化的存储集群的设计，实现高可靠性，高持久性，高性能。
【社区版Ceph性能遇到的瓶颈，UnitedStack如何实现Ceph高性能上面的规划?】
这是基于Ceph0.67.5的对比
从上图可以看到，运行在SSD上，采用社区原版Ceph，只能获得1200左右的IOPS，经过我们优化之后，性能提升了接近10倍！如何做到的？UnitedStack存储团队主要从以下方面做了一些优化：
首先，Ceph采用Pipeline的形式来处理IO，每个IO会经过多个不同的队列得到相应的功能线程处理。比如新的网络消息会进入消息队列进行校验和分发，然后进入OSD队列校验OSDMap信息等等。多个不同队列的处理与转发设计能有效的提高IO的并发，但是也会显著提高单个IO的延迟。
其次，在存储栈中数据结构缓存是提高 IO 处理能力的重要部分，Ceph 目前采用使用标准库数据结构构造的 LRU 算法来进行，其在大缓存数据结构下会造成明显的性能瓶颈。
同时，基于块存储的业务特性，每个块都可能产生大量的空洞块，因此在做 COW 操作时我们可以利用Fiemap 来主动发现数据空洞情况。
从UnitedStack近一年来基于OpenStack和Ceph作为统一存储的云服务运维来看，Ceph不论在性能、稳定性，还有运维友好性上，均取得了大幅长进，具备大规模生产的能力。UnitedStack也将不遗余力地通过公有云和托管云等方式，将整合了Ceph统一存储的OpenStack云服务带到更多的企业。
我们将及时回复您
400-898-5401
北京市海淀区东北旺西路8号中关村软件广场4号楼C座302
Copyright (C) 2016
优思得云计算科技（北京）有限公司
Copyright (C)2016 优思得云计算科技（北京）有限公司 UnitedStack Inc. All Rights Reserved.您的位置： &
基于Ceph的云存储容错机制研究与实现
优质期刊推荐