全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 Hadoop论坛
902 0
2015-01-22
我运行任务成功了以后,通过查看日志,发现shuffle的过程特别长,一开始我以为是内存小的问题,将计算机的内存从2G提到了4G,再进行测试的时候,速度的确提高了,多机由原来的240s提到220s左右,但是单机运算由140s到75s,快了一倍左右。再次查看任务日志,map和reduce的用时减少了。但是shuffle的过程基本没变,请问有什么办法多机下能将shuffle的时间缩短呢?是哪里需要修改设置吗?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群