全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 Hadoop论坛
1058 1
2015-03-09
各位大神,以下是代码,求帮忙啊!看看哪里出错了。。。。


Sys.setenv("HADOOP_CMD"="/usr/bin/hadoop")
Sys.setenv("HADOOP_STREAMING"="/usr/hdp/2.2.0.0-2041/hadoop-mapreduce/hadoop-streaming-2.6.0.2.2.0.0-2041.jar")

##
## packages
##
require(rmr2)


## hadoop specific definitions
rmr.options(backend.parameters = list(
hadoop = list(D = "mapreduce.map.memory.mb=1024")
))

small.ints <- to.dfs(1:100)

myMapper <- function(k,v){
S=sum(v)
L=length(v)
return (keyval(key=c("S","L"), c=c(S,L)))
}

myReducer <- function(k, vv) {

return(keyval(key = k, val = sum(vv)))

}
newOut <- mapreduce(

input = small.ints,
map = myMapper,
reduce = myReducer)

localNewOut <- from.dfs(newOut)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2015-3-9 10:34:14
帮顶~~
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群