一、 配置开发环境

1）要在本地安装好java和scala

由于spark1.6需要scala 2.10.X版本的。推荐 2.10.6，java版本最好是1.8。所以提前我们要需要安装好java和scala 并在环境变量中配置好。

2）打开ide 新建scala project

点击 file -> new ->Scala Project ,在弹出的对话框中弹性projectname 为“WordCount”，默认点击next，点击finish的。

3）修改scala版本

项目创建完成后 默认使用的是scala 的2.11.7 版本。要手动将版本换成2.10.X。在项目名称右击选择 properties，在弹出窗口 点击，scala Compiler，在右侧窗口，选中 UseProject settings, 将 scala Installation 修改为Latest 2.10 bundle(dynamic).点击apply，点击ok。scala版本变成2.10.6。

4）找到依赖的spark jar文件并导入到eclipse中

所依赖的jar文件是spark-1.6.0-bin-hadoop2.6\lib\spark-assembly-1.6.0-hadoop2.6.0.jar，在项目名称上右击，选择build path ->configure build path。 在弹出框中点击library， 点击右侧的addExternalJARs，然后选择spark-assembly-1.6.0-hadoop2.6.0.jar 点击打开，然后点击ok。

二、spark程序开发步骤

1）在src 下建立spark程序工程包

在src上右击new ->package 填入package 的name为com.dt.spark。

2）创建scala的入口类

在包的名字上右击选择 new ->scala class 。在弹出框中Name 中，在增加WordCount。点击finish。如下图所示，

在方法内部 讲关键字class 改成object ，然后创建main 方法。

local模式代码，方法如下

在运行过程中会出现WARNNativeCodeLoader: Unable to load native-hadoop library for your platform...using builtin-java classes where applicable。java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 这个错误。 但是在local模式下，这个是正常的。因为spark是和hadoop编译在一起的， 我们在window 下开发，缺少hadoop的配置。这不是程序错误，也不影响我们的任何功能。

编写Cluster 模式代码

将程序达成jar 包：

在项目名称上右击点击export 选择java 下的jar file，点击next，选择输出目录，输入文件名，点击next，点击next，

然后点击完成，导出jar 包。

在Linux中执行wordcount 方法：

将jar 放到linux 系统某个目录中，执行

./spark-submit

--class  com.dt.spark.WordCount_Cluster

--master spark://master:7077

/root/documents/sparkapps/wordcount.jar

也可以将以上命令保存到.sh文件中，直接执行sh文件即可。

注：本学习笔记来自DT大数据梦工厂