经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
大数据分析
›
Hadoop论坛
关于mapreduce中shuffle的问题
楼主
暂时糖
976
0
收藏
2015-01-22
我运行任务成功了以后,通过查看日志,发现shuffle的过程特别长,一开始我以为是内存小的问题,将计算机的内存从2G提到了4G,再进行测试的时候,速度的确提高了,多机由原来的240s提到220s左右,但是单机运算由140s到75s,快了一倍左右。再次查看任务日志,map和reduce的用时减少了。但是shuffle的过程基本没变,请问有什么办法多机下能将shuffle的时间缩短呢?是哪里需要修改设置吗?
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
[PDF]基于MapReduce的量子蚁群算法
如何写mapreduce程序?
用MapReduce+HDFS为数据去重
晒晒你见过最好“mapreduce编程思想”资源!诺大的资源盛宴,你!不可缺席!榜单强更
一种基于MapReduce模型的高效频繁项集挖掘算法
文本处理中的MapReduce技术
MRI:面向并行迭代的MapReduce模型
MapReduce原理及操作
MapReduce代码8个例子
【学习笔记】今天小倪老师讲的MAPREDUCE原理和数据清洗,美好的学习经历。
栏目导航
Hadoop论坛
人力资源管理
真实世界经济学(含财经时事)
论文版
经管高考
新手入门区
热门文章
CDA数据分析脱产就业班在2026年3月7日开班了 ...
AI Hermes agent安装操作步骤附原生态Herme ...
2026首席经济学家展望洞察报告
2026年一季度宏观经济回顾及展望
CDA数据科学研究院发布《2026 全球数智化人 ...
ChatGPT Images 2.0震撼发布:AI不再只画画 ...
CAIE LEVEL Ⅰ考试更新说明(2026年4月)
从“数字”到“数据”:CDA数据分析师视角下 ...
CDA 认证考试大纲 2025 重磅更新:一二级考 ...
2025-2026年度国际金融形势分析与趋势展望
推荐文章
五一充电,学术突围!四大AI赋能王牌课程, ...
关于学术研究和论文发表的一些建议
几种免费下载文献的方法----我的文献应助经
【必看】【本版版规,欢迎发悬赏贴求助】
【新课】26年3月|Gemini辅助论文写作与数据 ...
关于如何利用文献的若干建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群