一、环境搭建
1)安装jdk并配置环境变量
网上有很多参考资料,此处省略。
2)Maven的安装和配置
解压apache-maven-3.1.1-bin.zip,并把解压后的文件夹下的apache-maven-3.1.1文件夹移动到D:\Java下,如果没有Java这个文件夹的话,请自行创建新建系统变量 MAVEN_HOME 变量值:D:\Java\apache-maven-3.1.1。编辑系统变量 Path 添加变量值:;%MAVEN_HOME%\bin。在mave 的目录中修改conf/settings.xml, 在 localRepository属性后添加<localRepository>D:/repository</localRepository>修改maven下载jar 的位置。
3)eclipse 中java 和maven 的配置
点击 window ->java ->Installed JREs ->add ->standard vm ,点击next ,然后选择jdk 的安装路径点击finish即可。点击window ->Maven ->Installations ->add 在弹出页面选择mave 的安装路径,然后点击finish。然后在列表中选择我们自己刚添加的那个maven信息。然后点击window ->Maven ->User Setings 在 右侧的User Settings 点击browse 现在maven conf目录下的setttings.xml(主要是修改maven下载依赖包存放的位置)。
二、创建maven项目
1)创建maven项目
点击file -->new->others ->maven project 点击next,选择maven-archetype-quickstart,点击next,group id 为 com.dt.spark,artifact id 为 sparkApps,然后点击finish。
2)修改jdk 和pom文件
创建maven项目后,默认的jdk 是1.5要改成我们前面安装好的jdk1.8 。在项目上右击build path ->configure build path 。在弹出页面点击Libraries,选中jre systemlibrary 。点击edit,在弹出框选择workspace default jre ,然后点击finish。 然后在点击ok。将pom文件修改为如下内容,然后等待eclipse 下载好maven依赖的jar包,并编译工程。编译好工程后有个错误提示,在此错误列上,右击选择quick fix ,在弹出页面点击finish即可。
3)创建包路径以及java代码
在包路径com.dt.spark.SparkApps 上 右击 new ->package 在弹出页面name中填写com.dt.spark.SparkApps.cores,点击finish的。在包路径下com.dt.spark.SparkApps.cores上 右击 new ->class ,在弹出窗口中name 中填写 WordCount,点击finish。然后在WordCount 中编写如下代码。
在代码区右击run as -> java application 。来运行此程序并查看运行结果。如果要开发cluster的代码,请参考前面第8课或者第9课。
注:本学习笔记来自DT大数据梦工厂