全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 Hadoop论坛
2141 1
2016-06-23
最近在跑资料的时候遇到了一些问题

在这边先付上软体资讯
https://github.com/jgurtowski/jnomics/wiki/Align-reads-with-bowtie2

我的Hadoop是0.20.203板的
用ESXI模拟出一台MASTER两台SLAVE
记忆体三台都为16G,实体主机记忆体为128G

我遇到的问题是跑Hadoop遇到大多有四种状况
1.卡在map0% reduce0%,网页也没有job
2.卡在map100% reduce100%,没反应,网页有Jobs,但也是100%没反应。
3.卡在map100% reduce100%,网页有Jobs,最后进入Failed Jobs。
4.Failed Jobs一次,之后成功,然后大概可以跑2个档案之后又挂掉进入2或3的状态。

现在测试到这边,发现的问题如下:
只要开始跑map0% reduce0%的时候,其中一台SLAVE的SSH会自动断掉
然后再次上去Jps会发现DataNode与TaskTracker都已经挂掉
最后可能都卡在上述123,三种状况
当23结束后,再跑一次就有机率可以达到4的状况

对于Hadoop还不是太熟悉,研究中,只是一直不能解决这些问题,想请各位帮帮忙。
如果需要任何资料我都可以提供,拜托各位了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-7-31 18:37:22
看日志
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群