Ubuntu 14.10 下安装Spark

Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤.

1 安装scala

  1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/

  1.2 解压到文件夹

tar -xzvf scala-2.11.4.tgz 

  1.3 设置环境变量

sudo nano /etc/profile
export SCALA_HOME=/home/liucc/software/spark/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin

  1.4 检查是否安装成功

scala -version

2 安装Spark 

  2.1 下载编译好的spark,我是看了这个博主写的http://www.aboutyun.com/thread-8160-1-1.html,我选的是hadoop2.2.0

下载预编译好的Spark, (32位、64都可以)
hadoop1安装包
密码:d4om
hadoop2安装
密码:elpg
2.2 解压到相应目录
tar -xzvf spark-1.0.0-bin-hadoop2.tgz

  2.3 设置SPARK_HOME

export SPARK_EXAMPLES_JAR=/home/liucc/software/spark/spark-1.0.0/examples/target/scala-2.11.4/spar$
export SPARK_HOME=/home/liucc/software/spark/spark-1.0.0

  备注:SPARK_EXAMPLES_JAR的设置是摘抄自pig2:这一步其实最关键,很不幸的是,官方文档和网上的博客,都没有提及这一点。我是偶然看到了这两篇帖子,Running SparkPi, Null pointer exception when running ./run spark.examples.SparkPi local,才补上了这一步,之前死活都无法运行SparkPi。

  2.4 配置Spark,进入到conf目录下面,配置spark-env.sh文件

cp spark-env.sh.template spark-env.sh
nano spark-env.sh
export JAVA_HOME=/usr/dev/jdk1.7.0_51
export SCALA_HOME=/home/liucc/software/spark/scala-2.11.4

  2.5 至此配置完毕,可以启动试试,进入sprk目录,可以通过 http://centos.host1:8080/ 看到对应界面

sbin/start-master.sh

3 测试,下面在spark上运行第一个例子:与Hadoop交互的WordCount

  3.1 将文件上传到hadoop中

  3.2 进入spark-shell,进入spark根目录

bin/spark-shell

  3.3 输入scala语句,不熟悉的话,可以去学习一下,有个公开课https://class.coursera.org/progfun-005,很不错

val file=sc.textFile("要统计的文件")
val count=file.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)
count.collect()

  如果没错的话会看到结果

  3.4 可以将结果上传到hadoop

count.saveAsTextFile("要保存的目录")

---------------------------------------------------------------------------------------

  完毕,当然,也可以在Eclipse   中用java测试,网上很多了

 

 

 

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。