开发手册 欢迎您!
软件开发者资料库

Spark - 安装

Spark安装 - 从Spark简介,Spark RDD,Spark安装,Spark SQL简介,Spark SQL DataFrames,Spark SQL数据源开始学习Spark SQL。

Spark是Hadoop的子项目.因此,最好将Spark安装到基于Linux的系统中.以下步骤说明如何安装Apache Spark.

步骤1:验证Java安装

Java安装是安装Spark的必备条件之一.请尝试以下命令来验证JAVA版本.

$java -version

如果您的系统已经安装了Java,您将看到以下响应 :

java version "1.7.0_71"Java(TM) SE Runtime Environment (build 1.7.0_71-b13)Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统上没有安装Java,请在继续下一步之前安装Java.

步骤2:验证Scala安装

您应该使用Scala语言来实现Spark.因此,让我们使用以下命令验证Scala安装.

$scala -version

如果您的系统上已经安装了Scala,您将看到以下响应 :

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您的系统上没有安装Scala,请继续执行Scala安装的下一步./p>

第3步:下载Scala

通过访问以下链接下载最新版本的Scala .在本教程中,我们使用的是scala-2.11.6版本.下载后,您将在下载文件夹中找到Scala tar文件.

Step4:安装Scala

按照以下给出的步骤安装Scala.

提取Scala tar文件

输入以下命令以解压缩Scala tar文件.

$ tar xvf scala-2.11.6.tgz

移动Scala软件文件

使用以下命令将Scala软件文件移动到相应目录(/usr/local/scala).

$ su –Password:# cd /home/Hadoop/Downloads/# mv scala-2.11.6 /usr/local/scala# exit

为Scala设置PATH

使用以下命令为Scala设置PATH.

$ export PATH = $PATH:/usr/local/scala/bin

验证Scala安装

安装后,最好是ver如果它.使用以下命令验证Scala安装.

$scala -version

如果您的系统上已经安装了Scala,您将看到以下响应 :

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

第5步:下载Apache Spark

通过访问下载最新版本的Spark以下链接.在本教程中,我们使用 spark-1.3.1-bin-hadoop2.6 版本.下载后,您将在下载文件夹中找到Spark tar文件.

步骤6:安装Spark

按照以下步骤安装Spark .

提取Spark tar

以下用于提取spark tar文件的命令.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移动Spark软件文件

以下命令用于将Spark软件文件移动到相应的目录(/usr/local/spark).

$ su –Password:# cd /home/Hadoop/Downloads/# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark# exit

为Spark设置环境

将以下行添加到〜/.bashrc 文件.这意味着将spark软件文件所在的位置添加到PATH变量.

export PATH = $PATH:/usr/local/spark/bin

使用以下命令获取〜/.bashrc文件.

$ source ~/.bashrc

步骤7:验证Spark安装

编写以下命令用于打开Spark shell.

$spark-shell

如果spark安装成功然后您将找到以下输出.

Spark assembly has been built with Hive, including Datanucleus jars on classpathUsing Spark's default log4j profile: org/apache/spark/log4j-defaults.properties15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoopdisabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.Welcome to    ____             __   / __/__ ___ _____/ /__   _\ \/ _ \/ _ `/ __/ '_/   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0      /_/Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)Type in expressions to have them evaluated.Spark context available as scscala>