codecamp

Apache 安装Spark

Spark是Hadoop的子项目。因此,最好是Spark安装到基于Linux系统。下列步骤显示了如何安装Apache的Spark。

第1步:验证安装的Java

安装Java是在安装Spark强制性的事情之一。试试下面的命令来验证Java版本。

$java -version 

如果Java已经,安装在系统上,你能看到以下响应 -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果你没有在系统上安装了Java,那么在进行下一步之前,安装Java。

第2步:验证安装Scala

你应该Scala语言来实现的Spark。因此,让我们用下面的命令验证Scala安装。

$scala -version

如果Scala是已经安装在系统中,你能看到以下响应 -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果你没有在系统上安装Scala,然后进行Scala安装下一个步骤。

第3步:下载Scala

通过访问下载最新版本的Scala下面的链接下载Scala 。在本教程中,我们将使用Scala-2.11.6版本。下载后,您会发现在下载文件夹Scalatar文件。

第4步:安装Scala

按照安装Scala下面给出的步骤。

提取Scalatar文件

用于提取Scalatar文件键入以下命令。

$ tar xvf scala-2.11.6.tgz

Scala移动软件文件

使用以下命令为Scala软件文件,移动到相应目录(在/ usr /本地/Scala)。

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit 

Scala设置PATH

为Scala设置PATH使用下面的命令。

$ export PATH = $PATH:/usr/local/scala/bin

验证安装Scala

安装完毕后,最好是进行验证。验证Scala安装使用下面的命令。

$scala -version

如果Scala是已经安装在系统中,你能看到以下响应 -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

第5步:下载Apache的Spark

通过访问以下链接下载最新版本的Spark下载Spark 。在本教程中,我们使用的是Spark1.3.1彬hadoop2.6版本。下载后,你会发现在下载文件夹Sparktar文件。

第6步:安装Spark

按照安装Spark下面给出的步骤。

Spark提取焦油

提取Sparktar文件下面的命令。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz 

移动Spark软件文件

对于Spark软件文件移动到相应目录(在/ usr /本地/Spark)以下命令。

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit 

设置为Spark环境

以下行添加到〜/.bashrc文件。这意味着添加的位置,那里的Spark软件文件的位置到PATH变量。

export PATH = $PATH:/usr/local/spark/bin

对采购的〜/ .bashrc文件使用以下命令。

$ source ~/.bashrc

第7步:验证安装Spark

写打开外壳Spark以下命令。

$spark-shell

如果Spark塞安装成功,那么你会发现下面的输出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _ / _ / _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala> 

Apache Spark RDD
Apache Spark 核心编程
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

Apache Spark Useful Resources

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }