经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
大数据分析
›
Hadoop论坛
关于mapreduce中shuffle的问题
楼主
暂时糖
902
0
收藏
2015-01-22
我运行任务成功了以后,通过查看日志,发现shuffle的过程特别长,一开始我以为是内存小的问题,将计算机的内存从2G提到了4G,再进行测试的时候,速度的确提高了,多机由原来的240s提到220s左右,但是单机运算由140s到75s,快了一倍左右。再次查看任务日志,map和reduce的用时减少了。但是shuffle的过程基本没变,请问有什么办法多机下能将shuffle的时间缩短呢?是哪里需要修改设置吗?
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
[PDF]基于MapReduce的量子蚁群算法
如何写mapreduce程序?
用MapReduce+HDFS为数据去重
晒晒你见过最好“mapreduce编程思想”资源!诺大的资源盛宴,你!不可缺席!榜单强更
一种基于MapReduce模型的高效频繁项集挖掘算法
文本处理中的MapReduce技术
MRI:面向并行迭代的MapReduce模型
MapReduce原理及操作
MapReduce代码8个例子
【学习笔记】今天小倪老师讲的MAPREDUCE原理和数据清洗,美好的学习经历。
栏目导航
Hadoop论坛
学术道德监督
python论坛
经管文库(原现金交易版)
Excel
学道会
热门文章
CDA 数据分析师:统计制图实战指南 —— 让 ...
CDA数据分析脱产就业班于2025年08月02日开班 ...
这简单的几句话,完成了对传统和现代经济学 ...
2025年度国产AI芯片产业白皮书
数生万物,转型之本:数据资产运营白皮书-毕 ...
Machine-Learning-Tom-M.-Mitchell中文版.p ...
2025年中国城市可信数据空间行业研究报告
十四五能源发展成就报告
2025 生成式人工智能应用发展报告
生成式人工智能应用发展报告(2025)
推荐文章
AI狂潮席卷学术圈,不会编程也能打造专属智 ...
10月重磅来袭|《打造Coze/Dify专属学术智能 ...
最快1年拿证,学费不足5W!热门美国人工智能 ...
关于如何利用文献的若干建议
关于学术研究和论文发表的一些建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
关于文献求助的一些建议
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群