1120人阅读
spark（6）
一.安装前说明
1.台式机系统为windows7
2.此系统已安装和配置java
3.所有软件均为64位
二.安装配置所需的安装包
1.scala2.10.4（）
2.Intellij
3.spark 1.4.0 （）
三. windows7 安装 scala
scala 安装比较容易，直接下载相应的安装包即可，因为Scala 2.10.3 版本比较稳定，我们推荐用它。
1.安装过程比较简单（如下图）：只需 一路 next 即可。（安装位置自定义）
四.Intellij IDE 安装
Intellij IDE 是常用的 java 编辑器，也可以作为 spark 单机版的调试器。Intellij IDE 有社区版和免费版，我们只需使用免费版即可。我们使用的是 2016.3 版本
1.安装过程很简单，如下图，一路 next 即可。（安装位置自定义）
五. Intellij IDE 中 scala 插件安装
1.启动 Intellij IDE， 界面很炫酷
2.选择新建工程
Create New Project
这时（如下图）我们会发现没有 scala 插件
3.安装 scala 插件
1.打开 File 中的 setting
2.点击 plugins 在搜索框里搜索 scala ，然后会看到 scala，点击 Install 安装，安装好之后重启即可。
六.运行wordcount
1.新建工程，选择 scala。
2.新建 project name，sdk 选择 jdk 中的 java 1.8，scala jdk 选择 scala-sdk-2.10.4.
3.选择 This windows
此处要等待一些时间。
4.导入 spark jar 包
在file 中 选择 project structure： 点击 + ，选择 java，然后找到spark 包的存放路径，将lib 加入。
此时可以在工程中看到lib包
5.src 新建 包
6.在包中新建 scala 类（选择 object）
7.写入 wordcount 代码
package com.bigdata.zhaolei
import org.apache.spark.{SparkConf, SparkContext}
* Created by Administrator on .
class countword {
def main(args: Array[String]): Unit ={
val conf = new SparkConf().setMaster("local").setAppName("Wordcount")
val sc = new SparkContext(conf)
val data = sc.textFile("C://Users//Administrator//Desktop//word//wd.txt")
data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)
8.测试代码运行结果
右键，点击 run wordcount（代码中设定的名字）
OK,安装成功。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：25792次
排名：千里之外
原创：52篇
转载：11篇
(3)(3)(3)(1)(11)(13)(1)(1)(4)(1)(10)(18)(2)[ 大数据 hadoop&spark ]（1）
以下是在Windows 10 64位系统下面进行的操作。
使用的语言以及版本是Python 2.7。
JDK版本是 JDK1.8。
Spark的下载地址为：
在这个里面可以选择你自己想要的版本。
我下载的是spark-1.6.0-bin-hadoop2.6.tgz
注：在Spark1.4起增加了对R语言和Python3的支持！
将压缩包解压，我解压的路径是F:\spark。
注意：路径中不能含有空格
环境变量配置
新建 SPARK_HOME，设置值为解压目录，如：F:\spark\spark-1.6.0-bin-hadoop2.6
添加PATH：%SPARK_HOME%\bin
下载Hadoop
Hadoop下载地址为：
我这里下载的是hadoop 2.6的。
Hadoop环境变量的配置
将Hadoop解压在spark的同一路径(可以自定义目录)。
新建 HADOOP_HOME，设置值为解压路径，如：F:\spark\hadoop-2.6.0
添加PATH：%HADOOP_HOME%\bin
安装Python
将安装路径添加到系统变量path中：C:\Python27和C:\Python27\Scripts
将spark目录下的pyspark文件夹（F:\spark\spark-1.6.0-bin-hadoop2.6\python\pyspark）复制到python安装目录C:\Python27\Lib\site-packages里
然后运行pip install py4j安装相关库。
安装完成以上的所有之后，在控制台输入 ：pyspark
如果输出如下，则说明运行成功：
最后，我们找找控制台输出的信息，应该会看到类似于 http://172.50.165.173:4040/的输出信息，在浏览器打开看一看能否访问！当然172.50.165.173是你电脑的IP，使用localhost也是可以的！
运行python的第一个程序
这个是用python进行文件内容行数的统计
首先创建如下文件以及文件内容如下：
对应的Python程序如下：
&&& lines = sc.textFile("E:\pythonProject\pysparktest.txt")
&&& lines.count()
&&& lines.first()
我们看一下对应的输出：
第二条语句统计行数，输出 ：6
第三条一句输出文件第一行：this is first line
注：如果是中文，则输出对应的unicode编码。类似于：’\u8fd9\u662f\u7b2c\u4e00\u884c’
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：50712次
积分：1425
积分：1425
排名：千里之外
原创：103篇
评论：49条
阅读：7320
(8)(11)(1)(6)(29)(4)(13)(6)(2)(2)(1)(4)(10)(6)spark单机部署问题 - studyforir的专栏 - CSDN博客
spark单机部署问题
spark单机部署问题
1.端口不能绑定
15/02/27 16:14:36 INFO Remoting: Starting remoting
15/02/27 16:14:36 ERROR NettyTransport: failed to bind to bt-199-037./202.106.199.37:0, shutting down Netty
15/02/27 16:14:36 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
15/02/27 16:14:36 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
15/02/27 16:14:36 INFO RemoteActorRefProvider$RemotingTerminator: Rem proceeding with flushing
remote transports.
15/02/27 16:14:36 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down.
15/02/27 16:14:36 INFO Slf4jLogger: Slf4jLogger started
15/02/27 16:14:36 INFO Remoting: Starting remoting
15/02/27 16:14:36 ERROR NettyTransport: failed to bind to bt-199-037./202.106.199.37:0, shutting down Netty
Exception in thread &main& java.net.BindException: Failed to bind to: bt-199-037./202.106.199.37:0: Service
'sparkDriver' failed after 16 retries!
&&&&&&&&at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
&&&&&&&&at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393)
从现象来看应该akka不能绑定到ip或者端口，从http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/&9AA9B846FACA8&中找到方法。
spark-env.sh中添加配置:
export &SPARK_MASTER_IP=127.0.0.1
export &SPARK_LOCAL_IP=127.0.0.1
我的热门文章
即使是一小步也想与你分享Spark单机模式部署_j-10cc_新浪博客
Spark单机模式部署
Spark是继Hadoop之后的新一代大数据分布式处理框架，由UC Berkeley的Matei
Zaharia主导开发。
&操作在Ubuntu
15.04进行，JDK版本1.8，Hadoop版本2.6，Scala版本2.11.7
&1、Scala的安装
Spark基于Scala语言编写，在安装Spark前应先安装Scala语言。当前版本为2.11.7。
Ubuntu软件中心中已经包括Scala，可以直接从软件中心安装，或直接输入命令
sudo apt-get install scala
此处仍采用从官网下载压缩包后手动安装。
&安装包下载完毕后解压到安装文件夹。
tar -zxvf scala-2.11.7.tgz -C /usr/scala
&解压完毕后需配置环境变量。通过gedit或vi编辑器进行。
sudo gedit /etc/profile
在结尾输入
export SCALA_HOME=/usr/scala/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
./etc/profile，以立即启动配置
&验证Scala
输入命令scala
-version，应显示版本信息
Scala版本
输入Scala启动Scala，可进行验证
验证，程序为1*2=?
&2.安装Spark
Scala安装完毕后可以开始安装Spark。
Spark可以从官网或Github获取。得到压缩包后解压至安装目录。
tar -zxvf spark.1.5.0-bin-hadoop2.6.tgz -C /usr/spark
&配置Spark环境变量
单机运行此步骤可省略。打开/etc/profile文件，结尾添加
export SPARK_HOME=/usr/spark/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
（注：在集群配置时此步骤至关重要，需要指定Master节点的IP等信息）
&为方便访问此处可为当前用户赋予Spark目录权限
/usr/spark （绿色部分为安装的当前用户的用户名）。
&配置完毕后可启动Spark。
将当前目录定位到Spark目录下的sbin目录中。
输入./start-all.sh启动Spark。
可在浏览器中输入http://localhost:8080浏览当前节点运行情况。
Spark节点运行情况
输入./stop-all.sh结束Spark。
博客等级：
博客积分：0
博客访问：1,109
关注人气：0
荣誉徽章：