[讨论] Bad connect ack with firstBadLink_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 423 | 回复: 0   主题: [讨论] Bad connect ack with firstBadLink        上一篇   下一篇 
wenxi
注册用户
等级:新兵
经验:72
发帖:3
精华:0
注册:2012-8-23
状态:离线
发送短消息息给wenxi 加好友    发送短消息息给wenxi 发消息
发表于: IP:您无权察看 2016-4-14 13:59:23 | [全部帖] [楼主帖] 楼主

 昨天hadoop集群中一个数据节点到期,导致关机,续费开机后,hadoop进程正常开启,但今天早上看到MR运算结果为空,查看运算日志和zabbix监控获取如下报错日志和监控画面:

1

2

3

15/03/17 03:30:27 INFO hdfs.DFSClient: Exception in createBlockOutputStream 119.*.*.*:50010 java.io.IOException: Bad connect ack with firstBadLink as 119.*.*.*:50010

15/03/17 03:30:27 INFO hdfs.DFSClient: Abandoning block blk_2667475728482771870_391130

15/03/17 03:30:27 INFO hdfs.DFSClient: Excluding datanode 119.*.*.*:50010

        从监控画面可以看出,MR job从第一个开始就卡死了。然后,根据日志信息排查,最后确定主要是由于Hadoop集群内某些节点的防火墙没有关闭,导致无法访问集群内节点。关机重启后的datanode  119.*.*.* ,开机自动启动了iptables,关闭iptables后,再次运行MR,成功。





赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论