一、spark on hive 配置

切换到spar的conf目录下使用vi  hive-site.xml创建hive-site.xml.并填写如下内容

因为用sparksql操作hive实际上是把hive 当做数据仓库。数据仓库肯定有元数据和数据本身。要访问真正的数据就要访问他的元数据。所以只需要配置hive.metastore.uris 即可。（不需在每台机器上配置）

二、启动集群

1）启动dfs 服务start-dfs.sh

2）启动hive 数据仓库服务 hive  --service metastore >metastore.log2>& 1&

3）启动spark服务start-all.sh

4）启动sparkshell  ./spark-shell –masterspark://master:7077

三、案例实战

1）Spark on hive 实战 在spark-shell 模式下

2)不基于hive 的实战代码，在spark-shell 模式下

注：本学习笔记来自DT大数据梦工厂        微信公众号：DT_Spark        每晚8点YY永久直播频道：68917580