您所在的位置： &
2.2.5 大规模并行GPU集群
2.2.5 大规模并行GPU集群
武永卫等译
机械工业出版社
《云计算与分布式系统：从并行处理到物联网》第2章可扩展并行计算集群，本章主要学习建立集群结构的大规模并行处理机。我们专注于硬件、软件、中间件、操作系统支持的设计原则和评估，这些用于实现集群的可扩展性、可用性、可编程性、单系统镜像和容错能力。我们将检测Tianhe-1A、Gray XT5 Jaguar和IBM Roadrunner的集群体系结构，同时还将介绍LSF中间件和MOSIX/OS，它们在构建网格和云的Linux集群、GPU集群，以及集群扩展中用于作业和资源管理。本节为大家介绍大规模并行GPU集群。
2.2.5 大规模并行GPU集群
商用GPU成为数据并行计算的高性能加速器。现代GPU芯片的每个芯片包含上百个处理器。基于2010年报告[19]，83每个CPU芯片可以进行1Tflops单精度（Single-Precision，SP）计算和超过80Gflops双精度（Double-Precision,DP）计算。目前，优化高性能计算的GPU包括4GB的板上内存，并有持续100GB/s以上内存带宽的能力。GPU集群的构建采用了大量的GPU芯片。在一些Top500系统中，GPU集群已经证实能够达到Pflops级别的性能。大多数GPU集群由同构GPU构建，这些GPU具有相同的硬件类型、制造和模型。GPU集群的软件包括操作系统、GPU驱动和集群化API，如MPI。
GPU集群的高性能主要归功于其大规模并行多核结构、多线程浮点算术中的高吞吐量，以及使用大型片上缓存显著减少了大量数据移动的时间。换句话说，GPU集群比传统的CPU集群具有更好的成本效益。GPU集群不仅在速度性能上有巨大飞跃，而且显著降低了对空间、能源和冷却的要求。GPU集群相较于CPU集群，能够在使用较少操作系统镜像的情况下正常工作。在电力、环境和管理复杂性方面的降低使得GPU集群在未来高性能计算应用中非常有吸引力。【责任编辑： TEL：（010）】&&&&&&
关于&&&&的更多文章
这是一本系统、全面、务实的云计算安全指南，从架构到运营（所有
网友评论TOP5
本书描述了黑客用默默无闻的行动为数字世界照亮了一条道路的故事。
本书深入浅出地介绍了时下流行的开源移动开发平台Phon
全书共分18章，分别讲解初识Flash CS6、Flash CS6的基
全书采用了理论与实践相结合的方式，将基础知识与实例
本书依据最新版《软件设计师考试大纲》的考核要求，深入研究了历年软件设计师考试试题的命题风格和试题结构，对考查的知识点进行
51CTO旗下网站揭秘语音识别背后的技术，GPU集群+DNN算法
发表于 11:19|
作者刘亚琼
摘要：智能语音主要依靠深度学习的技术实现，深度学习在于建立、模拟人脑进行分析学习的神经网络，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测，以达到具有人类一样的思考能力。
日，浪潮在北京召开2014高性能计算用户大会。从天河一A问鼎世界冠军，到天河2号连续三次位列TPO500的第一名。这几年一路走来，可以看到高性能计算在中国的发展势不可挡，除了在科研领域之外，高性能计算正展现出强大的延展性，与金融、互联网、工业设计、文化创意等各行各业之间的交叉关联变得前所未有的紧密。同时，高性能计算与云计算、大数据之间的交叉融合趋势越发明显，成为推动全球信息产业发展的三大动力之一。目前智能和连接成为了互联网发展的核心词语，语音控制也逐渐火热。目前，Facebook、Google、IBM、苹果、微软、百度、科大讯飞等均在此方面做了多种尝试。智能语音目前主要依靠深度学习的技术实现，作为机器学习的一个重要分支，深度学习在于建立、模拟人脑进行分析学习的神经网络，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测，以达到具有人类一样的思考能力。在本届HPC大会上CSDN采访了科大讯飞高级副总裁胡郁与浪潮Inspur-Intel中国并行计算联合实验室首席工程师张清，和他们深入探讨了如何通过深度学习模拟人类大脑以及如何通过GPU集群来进行算法效率的提升等问题。胡郁表示超算是人工智能项目中的关键要素。首先，深度学习技术的再度崛起，正在颠覆统计模式识别、机器学习和人工智能领域，相关专家成为“香饽饽”；其次，大数据目前已经和深度学习融合，在语音识别和图像识别等感知人工智能方面发挥了巨大的作用；最后，超算平台是人工智能的基础，提供海量数据处理、存储以及高性能运算解决方案。科大讯飞是一家专业从事智能语音及语音技术研究、软件及芯片产品开发、语音信息服务的国家级骨干软件企业，他们的语音技术实现了人机语音交互，使人与机器之间沟通变得像人与人沟通一样简单。他们认为语音作为交互的手段，距离能够实现人与人之间的交流的自然鱼眼效果，还有很多多问题没有解决，比如噪音、口音、个性化等等，这还有很打的市场空间，这远不是一些简单的模型与海量数据就能够解决的。那么在科大讯飞语音识别背后隐藏着哪些故事呢？我们慢慢来看！要深入了解一个深度学习计算平台，必须从它的算法和架构谈起。深度学习技术有很多支撑的计算机算法，而目前最常用的是DNN算法，它能比较好地模拟人脑神经元多层深度传递的过程，解决智能语音中的复杂问题。然而，要模拟人脑绝非易事，人脑的计算能耗比是世界上最快的超级计算机天河2号的200万倍，众所周知，人类大脑大致有1000亿神经元，每个神经元有大约5000个神经突触。要使机器无限接近人类的思考能力意味着要模拟出更多的神经元和神经突触，这就会带来巨大的计算挑战。此时的科大讯飞面临着数千倍训练数据及数千倍模型参数的巨大挑战，迫切的需求更大规模、更多存储的超算平台集群建设；更优的深度学习并行化及集群调度算法；深度定制的人工神经网络专属芯片系统。面对这些问题，该如何解决呢？首先是算法上优化，科大讯飞将整个DNN环节进行优化压缩，取缔了MFCC、HLDA、VTLN、FMPE等环节，只保留Filter Bank、FFT、Wave、Seq.Train、FMPE等流程，整个架构循环由优化了40%，大幅度的增加了运算速度与效率。在算法调整完以后面临的就是基础设施的建设，如何设计一套占地面积小、计算性能高、又绿色节能的高性能计算集群成为科大讯飞面临的问题。此时浪潮针对这一问题，利用GPU加速技术为该公司设计构建了一套GPU集群，双方联合设计了针对DNN算法特点的GPU集群并行计算框架，采用了每个计算节点配置双路CPU和4块NVIDIA Tesla K20m GPU，以及一块HCA卡的方案，通过GPU提高计算能力、通过IB网络提速节点之间的通信速度，最终完成GPU集群版的DNN并行算法，大幅减低了DNN的计算时间。特别在软件方面，浪潮与科大讯飞户算法专家团队共同成立专门联合项目组，节点内使用CPU+GPU协同计算，大幅降低了计算时间。双方联合针对GPU架构进行了算法层面的优化，重写了计算部分代码，将整体速度大幅提升。经过优化后的软件，在单GPU上运行的速度与串行程序相比，加速比达到41倍，1块GPU相当于4.4个8核CPU并行的性能，同时由于浪潮GPU版本K-means具有很好的性能可扩展性，这使得GPU服务器具有很好的性价比非常适合于此类应用大规模部署。目前科大讯飞的整个基础架构分为：业务、调度、计算、存储四个层次，内含2000颗CPU、300片GPU、4PB的存储、40TB的内存。在介绍架构建设过程的时候，张清说道：“浪潮已经分别与英特尔和英伟达成立联合并行计算实验室，合作开发优化基于MIC和GPU的并行应用。目前已经建立了一套非常完善的高性能计算集群解决方案，将不仅为用户提供好用的高性能计算集群，还会针对每一个用户的应用特点量身定制集群解决方案，这也就说明未来浪潮将跟用户在应用测试、集群搭建、加速优化等各方面展开合作，把用户的需求看作是浪潮设计构建集群的根本要求。”解决了算法和平台的问题，科大讯飞成功将语音的识别的正确率提升到95%。谈及以后的发展，胡郁表示目前他们正在做“讯飞超脑”计划，他认为人工智能分为三个阶段：计算智能，能存会算；感知智能，能听会说、能看会议；认知智能，能思考会理解。他表示人工智能目前面临的问题主要有三点：第一点就是如何让人工神经网络能够像人的大脑神经网络链接一样，人脑神经元的连接还是比较复杂的；第二个大的挑战就是能够将神经元的数量建立到和人的大脑比较接近的程度，虽然还不能够完全达到人的大脑的水平；第三个就是实现机器学习的另外一种模式，不仅仅让人教给机器怎么做，而是让机器能够具有自动学习的功能。同时胡郁表示目前他们正在探索让机器自动学习，能够让机器理解自然语言，同时将自然语言与我们人类的概念连接在一起。对于讯飞超脑未来的研究方向胡郁总结为一下三点：更加贴近人脑认知机理的人工神经网络设计，更好的支撑认知智能的实现实现与人脑神经元复杂度可比的超大人工神经网络（相当于目前感知智能网络规模的1000倍）构建基于连续语义空间分布式表示的知识推理以及学习智能引擎讯飞超脑未来的应用场景
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章世界上某些最快的是集群组成的。集群是有多个计算机通过高速起来的一个计算系统。集群计算机比单台计算机可以达到更高的可用性，可靠性和伸缩性。随着对基于GPU的高性能计算采用越来越广，英伟达GPU逐渐成为世界上最厉害的超级计算集群的一部分。世界前500的超级计算机中，包括差不多50个采用了英伟达的的GPU，并且目前世界上最快的计算机泰坦，使用了大约18000个英伟达开普勒GPU。
在这个帖子中，我将会一步一步的介绍设计、部署和管理一个小型的GPU集群整个过程。我会介绍GPU集群的组成部分以及管理的堆栈。目标是使用一个最少的代价建立一个GPU集群。
构建一个小型研究的GPU计算集群的动机是多种多样的：
1.对生产系统的性能有一个感觉和预估。
2.将你的应用移植到GPU分布式计算上去。
3.调整GPU和CPU的平衡。
4.将集群作为一个开发平台
5.对一个小型的GPU集群是相对小的。
下图展示了建立一个小型GPU集群的步骤。
选择硬件-》确保和电源功率还有冷却-》组装-》管理节点安装-》计算节点安装-》管理监控-》运行
我们现在了解下这个过程的细节：
1. 选择硬件
选择正确的硬件共有两个步骤：
a).节点硬件配置。这是集群节点的详细规格：每个节点包含下面的组件。
2.主板，该主板拥有两个PCIe x16 Gen2/3 。主要是为了teslaGPU.另外要有一个PCIex8的插槽，主要是为了其他的显卡的用的。
b).两个网卡插口
c).最少最少16-24G DDR3 RAM
d).电源。应该能够扛得住CPU和GPU的消耗。
e).二级，固态硬盘或者是SATA。
GPU板子应该能够允许两个PCI插槽插入，所以确保这些插槽能够分开插下。
步骤二：选择正确的GPU。一旦你决定好了机器的配置，你应该也决定好了用哪个芯片的GPU。GPU的品牌是非常重要的。基于开普勒的英伟达GPU有两个主要的品牌。
a). 特斯拉工作站（C系列) 是主动的GPU板子，你只用将他们插入到桌面计算机中就行了。它需要两个6针的电源或者一个8针的电源。
b).产品（M系列）是被动降温的GPU板子，安装在单独的服务器上。
2.分配空间，电力和降温。
这一部分不再细说，主要是合理安排机箱和机架的空间。
3.组装物理硬件
未完待续…当前位置 & &
& 硬知识：手机GPU各指标参数揭秘
硬知识：手机GPU各指标参数揭秘
11:28:54&&出处：&&作者：
编辑：朝晖 &&)
让小伙伴们也看看：
文章观点支持
当前平均分：0(0 次打分)
[04-11][04-11][04-11][04-11][04-11][04-11][04-11][04-10][04-10][04-10]
登录驱动之家
没有帐号？
用合作网站帐户直接登录在笔记本上实现Spark-GPU集群开发教程 - 解道Jdon
& & & &&& & &
　　速度、质量、开发时间…… 只能选择其中两个。 这是软件开发中一个古老的权衡。 这篇博客的目标是使用Apache Spark创建一个本地开发环境特别GPU集群计算，笔记本是Macbook Pro。
　　使其工作…… 然后让它快… 然后让它美丽——马修·罗素
　　我们将首先让每个部分单独&工作&。 然后进入第二阶段(速度提升)，幸运的是速度下降大概是由于GPU集群。 最后，我们将这些部件集成到美丽的东西…… 一个可伸缩的、特别的环境。
第1部分:Spark-Notebook
　　Apache Spark在笔记本电脑中能被几种语言控制。 选择Scala有几个原因。 首先,它让我获得完整的Spark API， 其次，GPU库允许我无需编写编译C代码而直接使用Java(这样从scala调用Java)。 下面是几个选项:
-& 导入依赖很头疼
-& 就选择这个了，杀手级应用
　　 下面是从Sparknotebook 仓储Clone下载一份，按照其指引操作，比如下载IScala.jar等等。
第2部分:在JVM上GPU
　　灵感来自于一个令人印象深刻的库包 。 他们声称有一个解析器，可以在一台计算机上每分钟解析一百万字。
　　ScalaNLP利用java opencl库, 。 使用OpenCL而不是CUDA意味着可以在non-NVIDIA显卡上运行代码。 所有苹果电脑都可以使用OpenCL。
　　另外不希望编写C代码，因为移植性不强，我们需要企业级的开发，这就是 出现的原因。 它编译Java代码到OpenCL，如果不能获得一个GPU则使用Java线程池运行。
　　下载AparaPi Mac OS压缩包：
　　解压后创建一个目录称为Aparapi__MacOSX_zip。执行：
cd Aparapi__MacOSX_zip/samples/squares/
sh squares.sh
　　输出：
Execution mode=GPU
　　出现这个结果表示这个java代码可以运行在Macbook的GPU。
第3部分:整合Spark和笔记本中Aparapi
　　真正的挑战是让这些工具相互调用。 集成的第一步，我们需要做的就是aparapi jar导入iscala笔记本。 这可以通过使用下面的命令。
mvn install:install-file -Dfile=aparapi.jar -DgroupId=com.amd.aparapi -DartifactId=aparapi -Dversion=1.0 -Dpackaging=jar
　　在~/.ipython/profile_scala/ipython_config.py底部有一行：
c = get_config()
c.KernelManager.kernel_cmd = [&java&,&-Djava.library.path=/Users/.. .../Aparapi__MacOSX_zip&,&-XX:MaxPermSize=2048m&,&-Xmx8g&,
&-jar&, &/Users/myname/.ipython/profile_scala/lib/IScala.jar&,&/Users/... .../Aparapi__MacOSX_zip/aparapi.jar&,
&--profile&,
&{connection_file}&,
&--parent&]
　　这让aparapi.jar置于Spark集群的classpath上。
　　注意设置环境变量：
SPARK_DAEMON_JAVA_OPTS=-Xmx8128m SPARK_WORKER_MEMORY=-Xmx2048m SPARK_DAEMON_MEMORY=-Xmx2048m SPARK_REPL_OPTS=-XX:MaxPermSize=2048m SBT_OPTS=-Xmx8128m SPARK_JAVA_OPTS=&-Djava.library.path=/Users/... ..../Aparapi__MacOSX_zip -Xms512m -Xmx8128m& ipython notebook --profile scala
　　当我们本地部署aparapi jar 时，需要像下面导入aprapi:
　　假设在upload命令中没有错误，滚动到列表底部会出现任何导入失败，那就表示一切正常，可以继续下一步。下面的演示scala notebook 是来自sparknotebook
第4部分:在笔记本(仅使用Scala)构建案例
　　请注意,如果试图设置内核运行在GPU，但因为GPU无法使用，所以会出现切换版本运行在CPU上了。我们需要下一步：
第5部分:在Spark 集群执行GPU内核
　　当前面将aparapi jar安装到maven时，实际上是安装编译示例代码&squares&，如果我们像黑客一样打开之前运行的&squares.sh&，如下：
squares.sh
-Djava.library.path=../.. \
-Dcom.amd.aparapi.executionMode=%1 \
-classpath ../../aparapi.jar:squares.jar \
com.amd.aparapi.sample.squares.Main
　　这意味着编译后的代码已经在我们的类路径… 我们可以从Spark 方法中调用，如下：
下面是Spark运行在笔记本上的内核上示意图：
程序日志记录出现GPU…显示它确实是被运行在GPU。
| 网站地图 | 设为首页