执行mapreduce适用于处理什么任务程序的shell命令是什么？

来源：蜘蛛抓取(WebSpider) 时间：2022-12-05 10:57 标签： mapreduce适用于处理什么任务
shell系统是什么意思？相信很多人都听说过shell，但是可能都不知道shell是什么意思，下面php中文网就带你认识一下shell是什么意思。

大前端零基础入门到就业：

一：shell是什么意思

shell是一种命令语言，是为使用者提供操作界面的一种软件，软件可以接收用户的命令，并且执行用户输入的命令，然后对相应的程序进行调用。

二：shell可以分为两大类

前端(VUE)零基础到就业课程：

第1讲大数据概述章节单元测验

3、以下关于云计算、大数据和物联网之间的关系，论述错误的是：

大数据概述 补充单元测验

3、以下关于云计算、大数据和物联网之间的关系，论述错误的是：

第2讲 大数据处理架构Hadoop

大数据处理架构Hadoop单元测验

第3讲 分布式文件系统HDFS

分布式文件系统HDFS单元作业

1、请简述第二名称节点的作用

2、HDFS的设计目标是什么？

3、HDFS包含哪些角色？

第4讲 分布式数据库HBase

分布式数据库HBase单元测验

分布式数据库HBase单元作业

1、已知HBase数据库中已经存在一个学生表student(id,name,sex,age)，表中的数据如下所示，其中id是行键。请按要求写出下列操作的HBase Shell命令。

4、下列关于传统并行计算框架（比如MPI）和MapReduce并行计算框架比较正确的是
    A、前者是共享式(共享内存/共享存储)，容错性差，后者是非共享式的，容错性好
    B、前者所需硬件价格贵，可扩展性差，后者硬件便宜，扩展性好
    D、前者适用于实时、细粒度计算、计算密集型，后者适用于批处理、非实时、数据密集型

6、MapReduce设计的一个理念就是“计算向数据靠拢”，而不是“数据向计算靠拢”，因为，移动数据需要大量的网络传输开销。

8、MapReduce采用 策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片，这些分片可以被多个Map任务并行处理。

9、所谓 过程，是指对Map输出结果进行分区、排序、合并等处理，并交给Reduce的过程。

1、Map函数和Reduce函数的输入、输出分别是什么

1、Map函数和Reduce函数的输入、输出分别是什么

10、RDD，中文全称是 ，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。

以下为《《大数据技术原理与应用》实验指导书 (1)》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

实验一：Hadoop的安装与配置

理解Hadoop的项目结构；

掌握Hadoop的安装与使用；

（一）创建Hadoop用户

如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。

（1）首先按?ctrl+alt+t?打开终端窗口，输入如下命令创建新用户 :

接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次*** passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

（4）最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

（1）用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：

若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。在学习Hadoop过程中，即使出现“Hash校验和不符”的提示，也不会影响Hadoop的安装。

后续需要更改一些配置文件，安装 vim：

安装软件时若需要确认，在提示处输入 y 即可。

（三）安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

安装后，可以使用如下命令登陆本机：

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入***，这样就登陆到本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

此时再用?ssh localhost?命令，无需输入密码就可以直接登陆了，如下图所示。

在Linux命令行界面中，执行如下Shell命令（注意：当前登录用户名是hadoop）：

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_162目录。下面继续执行如下命令，设置环境变量：

上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：

然后，按ESC键，再输入“：wq”保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

这时，可以使用如下命令查看是否安装成功：

如果能够在屏幕上返回如下信息，则说明安装成功：

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

（1）Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词 dfsadmin 出现了1次

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将?./output?删除。

（2）Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop配置文件说明：

Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和

配置完成后，执行 NameNode 的格式化:

若出现如下SSH提示，输入yes即可。

这个并不是 ssh 的问题，可通过设置 Hadoop 环境变量来解决。首先按键盘的?ctrl + c?中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）：

，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

运行Hadoop伪分布式实例

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

复制完成后，可以通过如下命令查看文件列表：

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

我们也可以将运行结果取回到本地：

若要关闭 Hadoop，则运行：

实验二： HDFS操作方法和基础编程

理解HDFS在Hadoop体系结构中的角色；

熟练使用HDFS操作常用的Shell命令；

JDK版本：1.7或以上版本；

（一）熟悉HDFS操作常用的Shell命令

（2）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表。

（二）编程实现以下功能：

（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来

指定是追加到原有文件末尾还是覆盖原有的文件；

（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

（3）将HDFS中指定文件的内容输出到终端中；

根据输入文件A和B合并得到的输出文件C的样例如下：

（二）编写程序实现对输入文件的排序

现在有多个输入文件，每个文件中的每行内容均为一个整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。下面是输入文件和输出文件的一个样例供参考。

输入文件1的样例如下：

输入文件2的样例如下：

输入文件3的样例如下：

根据输入文件1、2和3得到的输出文件如下：

[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

以上为《《大数据技术原理与应用》实验指导书 (1)》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

我要回帖

更多关于 mapreduce适用于处理什么任务 的文章

 

随机推荐