全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 spark高速集群计算平台
1586 3
2016-04-22

一、环境搭建


1)安装jdk并配置环境变量

网上有很多参考资料,此处省略。

2)Maven的安装和配置

解压apache-maven-3.1.1-bin.zip,并把解压后的文件夹下的apache-maven-3.1.1文件夹移动到D:\Java下,如果没有Java这个文件夹的话,请自行创建新建系统变量   MAVEN_HOME 变量值:D:\Java\apache-maven-3.1.1。编辑系统变量 Path 添加变量值:;%MAVEN_HOME%\bin。在mave 的目录中修改conf/settings.xml, 在 localRepository属性后添加<localRepository>D:/repository</localRepository>修改maven下载jar 的位置。

3)eclipse 中java 和maven 的配置

点击 window ->java ->Installed JREs ->add ->standard vm  ,点击next ,然后选择jdk 的安装路径点击finish即可。点击window ->Maven ->Installations ->add 在弹出页面选择mave 的安装路径,然后点击finish。然后在列表中选择我们自己刚添加的那个maven信息。然后点击window ->Maven ->User Setings   在 右侧的User Settings 点击browse 现在maven  conf目录下的setttings.xml(主要是修改maven下载依赖包存放的位置)。


二、创建maven项目


1)创建maven项目

点击file -->new->others ->maven project  点击next,选择maven-archetype-quickstart,点击next,group id 为 com.dt.spark,artifact id 为 sparkApps,然后点击finish。

2)修改jdk 和pom文件

创建maven项目后,默认的jdk 是1.5要改成我们前面安装好的jdk1.8 。在项目上右击build path ->configure build path 。在弹出页面点击Libraries,选中jre systemlibrary 。点击edit,在弹出框选择workspace default jre ,然后点击finish。 然后在点击ok。将pom文件修改为如下内容,然后等待eclipse 下载好maven依赖的jar包,并编译工程。编译好工程后有个错误提示,在此错误列上,右击选择quick fix ,在弹出页面点击finish即可。

复制代码

3)创建包路径以及java代码

在包路径com.dt.spark.SparkApps 上 右击 new ->package 在弹出页面name中填写com.dt.spark.SparkApps.cores,点击finish的。在包路径下com.dt.spark.SparkApps.cores上 右击 new ->class ,在弹出窗口中name 中填写 WordCount,点击finish。然后在WordCount 中编写如下代码。

复制代码

在代码区右击run as -> java application 。来运行此程序并查看运行结果。如果要开发cluster的代码,请参考前面第8课或者第9课。



注:本学习笔记来自DT大数据梦工厂

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-4-26 22:43:15
正在学习中,感谢楼主!!!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-4-27 17:34:29
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-4-27 17:38:54
lzjsltt 发表于 2016-4-26 22:43
正在学习中,感谢楼主!!!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群