经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
大数据分析
›
Hadoop论坛
关于mapreduce中shuffle的问题
楼主
暂时糖
945
0
收藏
2015-01-22
我运行任务成功了以后,通过查看日志,发现shuffle的过程特别长,一开始我以为是内存小的问题,将计算机的内存从2G提到了4G,再进行测试的时候,速度的确提高了,多机由原来的240s提到220s左右,但是单机运算由140s到75s,快了一倍左右。再次查看任务日志,map和reduce的用时减少了。但是shuffle的过程基本没变,请问有什么办法多机下能将shuffle的时间缩短呢?是哪里需要修改设置吗?
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
[PDF]基于MapReduce的量子蚁群算法
如何写mapreduce程序?
用MapReduce+HDFS为数据去重
晒晒你见过最好“mapreduce编程思想”资源!诺大的资源盛宴,你!不可缺席!榜单强更
一种基于MapReduce模型的高效频繁项集挖掘算法
文本处理中的MapReduce技术
MRI:面向并行迭代的MapReduce模型
MapReduce原理及操作
MapReduce代码8个例子
【学习笔记】今天小倪老师讲的MAPREDUCE原理和数据清洗,美好的学习经历。
栏目导航
Hadoop论坛
爱问频道
金融学(理论版)
学术道德监督
真实世界经济学(含财经时事)
金融实务版
热门文章
我该如何记住你?智能体记忆系统的演化之路
CDA数据分析脱产就业班于2026年3月7日开班! ...
新宏观丨中美经济总量差距拉大的根源
艾瑞咨询 - 2025年中国早教行业白皮书
第一太平戴维斯 - 2026年中国房地产市场展望 ...
2025中国居民退休准备指数调研报告-清华大学 ...
Measure Theory for Analysis and Probabil ...
现代数学基础19 偏微分方程 孔德兴
科研时间70%耗在“下载-复制-粘贴”?零代码 ...
精准匹配,菁英相伴--经管之家单身俱乐部, ...
推荐文章
2026JG学术冬训营:从Stata初高到Python机器 ...
【必看】【本版版规,欢迎发悬赏贴求助】
26年寒假天津站|Gemini论文写作&数据分析 ...
关于如何利用文献的若干建议
关于学术研究和论文发表的一些建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
关于文献求助的一些建议
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群