Apache 安装Spark
Spark是Hadoop的子项目。因此,最好是Spark安装到基于Linux系统。下列步骤显示了如何安装Apache的Spark。
第1步:验证安装的Java
安装Java是在安装Spark强制性的事情之一。试试下面的命令来验证Java版本。
$java -version
如果Java已经,安装在系统上,你能看到以下响应 -
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果你没有在系统上安装了Java,那么在进行下一步之前,安装Java。
第2步:验证安装Scala
你应该Scala语言来实现的Spark。因此,让我们用下面的命令验证Scala安装。
$scala -version
如果Scala是已经安装在系统中,你能看到以下响应 -
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
如果你没有在系统上安装Scala,然后进行Scala安装下一个步骤。
第3步:下载Scala
通过访问下载最新版本的Scala下面的链接下载Scala 。在本教程中,我们将使用Scala-2.11.6版本。下载后,您会发现在下载文件夹Scalatar文件。
第4步:安装Scala
按照安装Scala下面给出的步骤。
提取Scalatar文件
用于提取Scalatar文件键入以下命令。
$ tar xvf scala-2.11.6.tgz
Scala移动软件文件
使用以下命令为Scala软件文件,移动到相应目录(在/ usr /本地/Scala)。
$ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit
Scala设置PATH
为Scala设置PATH使用下面的命令。
$ export PATH = $PATH:/usr/local/scala/bin
验证安装Scala
安装完毕后,最好是进行验证。验证Scala安装使用下面的命令。
$scala -version
如果Scala是已经安装在系统中,你能看到以下响应 -
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
第5步:下载Apache的Spark
通过访问以下链接下载最新版本的Spark下载Spark 。在本教程中,我们使用的是Spark1.3.1彬hadoop2.6版本。下载后,你会发现在下载文件夹Sparktar文件。
第6步:安装Spark
按照安装Spark下面给出的步骤。
Spark提取焦油
提取Sparktar文件下面的命令。
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz
移动Spark软件文件
对于Spark软件文件移动到相应目录(在/ usr /本地/Spark)以下命令。
$ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit
设置为Spark环境
以下行添加到〜/.bashrc文件。这意味着添加的位置,那里的Spark软件文件的位置到PATH变量。
export PATH = $PATH:/usr/local/spark/bin
对采购的〜/ .bashrc文件使用以下命令。
$ source ~/.bashrc
第7步:验证安装Spark
写打开外壳Spark以下命令。
$spark-shell
如果Spark塞安装成功,那么你会发现下面的输出。
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
____ __
/ __/__ ___ _____/ /__
_ / _ / _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_ version 1.4.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>