[Hadoop] 运行Mapreduce时出现的错误记录_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2750 | 回复: 0   主题: [Hadoop] 运行Mapreduce时出现的错误记录        上一篇   下一篇 
要不要这么难啊
注册用户
等级:下士
经验:155
发帖:1
精华:0
注册:2015-6-8
状态:离线
发送短消息息给要不要这么难啊 加好友    发送短消息息给要不要这么难啊 发消息
发表于: IP:您无权察看 2015-12-2 17:30:52 | [全部帖] [楼主帖] 楼主

新搭建了个集群,搭建完了,运行

hadoop jar /opt/hadoop-2.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar pi 10 100

测试一下,却爆出下面的错误:

2014-08-24 02:24:02,456 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1408860487557_0002 failed 2 times due to AM Container for appattempt_1408860487557_0002_000002 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:  
org.apache.hadoop.util.Shell$ExitCodeException:  
at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)  
at org.apache.hadoop.util.Shell.run(Shell.java:418)  
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)  
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)   at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)  
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)  
at java.util.concurrent.FutureTask.run(FutureTask.java:262)  
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)  
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)  
at java.lang.Thread.run(Thread.java:745)  
Container exited with a non-zero exit code 1  
.Failing this attempt.. Failing the application.  
2014-08-24 02:24:02,457 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: application_1408860487557_0002 State change from FINAL_SAVING to FAILED  
2014-08-24 02:24:02,457 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=mapred   OPERATION=Application Finished - Failed TARGET=RMAppManager     RESULT=FAILURE  DESCRIPTION=App failed with state: FAILED       PERMISSIONS=Application application_1408860487557_0002 failed 2 times due to AM Container for appattempt_1408860487557_0002_000002 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:  
org.apache.hadoop.util.Shell$ExitCodeException:  
at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)  
at org.apache.hadoop.util.Shell.run(Shell.java:418)  
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)  
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)  
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)  
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)  
at java.util.concurrent.FutureTask.run(FutureTask.java:262)  
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

想到yarn-site.xml中使用了一个以前没配置过的参数:

<property>  
<name>yarn.application.classpath</name>  
<value>  
$HADOOP_CONF_DIR,  
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,  
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,  
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,  
$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*  
</value>  
</property>

 

注释掉这个配置,重新运行MR任务,不报错了,毋庸置疑就是路径的问题了。先记录下来,以后再找具体原因。




该贴被蜀山战纪编辑于2015-12-4 10:09:54



赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论