[转帖]运行Hadoop作业时一处常见错误以及解决方法_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
3
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4122 | 回复: 2   主题: [转帖]运行Hadoop作业时一处常见错误以及解决方法        上一篇   下一篇 
yihe
注册用户
等级:上士
经验:296
发帖:1
精华:0
注册:2015-1-29
状态:离线
发送短消息息给yihe 加好友    发送短消息息给yihe 发消息
发表于: IP:您无权察看 2016-4-14 14:59:17 | [全部帖] [楼主帖] 楼主

1. 问题描述

当用户编写完Hadoop程序时,准备运行时,经常会抛出以下异常:

[15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILED

Error: java.lang.ClassNotFoundException: com.sca.commons.ScaException

at java.net.URLClassLoader$1.run(URLClassLoader.java:202)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:190)

at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)

at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:247)

at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.getMapperClass(MultithreadedMapper.java:95)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.run(MultithreadedMapper.java:127)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083)

at org.apache.hadoop.mapred.Child.main(Child.java:249)

大家一看异常“java.lang.ClassNotFoundException”就会知道原因是找不到java类。

经个人总结,这通常是由于以下几种原因造成的:

(1)你编写了一个java lib,封装成了jar,然后再写了一个Hadoop程序,调用这个jar完成mapper和reducer的编写

(2)你编写了一个Hadoop程序,期间调用了一个第三方java lib。

之后,你将自己的jar包或者第三方java包分发到各个TaskTracker的HADOOP_HOME目录下,运行你的JAVA程序,报了以上错误。

解决方法

(1) 在运行脚本中添加classpath.

在$HADOOP_HOME/conf/hadoop_env.sh 或者$HADOOP_HOME/bin/hadoop-config.sh中添加:

export HADOOP_CLASSPATH=$HADOOP_HOME/my_jars

然后将你自己的jar包和第三方jar包分发到各个TaskTracker的HADOOP_CLASSPATH目录下(别忘了所有 TaskTracker上的hadoop_env.sh和hadoop-config.sh均按以上方法添加HADOOP_CLASSPATH环境变量)

【注】hadoop_env.sh和hadoop-config.sh是所有hadoop运行脚本(start-all.sh, start-dfs.sh等)一定会引用的配置脚本,可以将一些最基本的环境变量或者配置参数加到这两个文件中。

(2) 使用“-libjars“参数

这种方式是本人推荐的方法,但是支持这个功能,需要按照如下方式编写Hadoop程序:

public class MyHadoopJob extends Configured implements Tool {
 
   public static class  MapClass
 
      extends Mapper<LongWritable, Text, IntPair, IntWritable> {
 
      //your mapper
 
   }
 
   public static class  Reduce
 
      extends  Reducer<IntPair, IntWritable, Text, IntWritable> {
 
      //your reducer
 
   }
 
//设定并读取应用程序相关的,自己定义的一些参数
 
   public int run(String[] args)  throws Exception {
 
      if(args.length < 2) {
 
         printUsage();
 
        return 2;
 
    }
 
   Job job = new Job(getConf());
 
   …......
 
   }
 
   //真正的main函数
 
   public static void main(String[] args) throws  Exception{
 
      int  res = ToolRunner.run(new Configuration(), new SleepJob(), args);
 
      System.exit(res);
 
   }
 
}

运行作业:

#run_myjob.sh

bin/hadoop jar myjob.jar MyHadoopJob \

-D mapred.job.name=MyHadoopJob \
-D mapred.map.tasks=24 \
-D mapred.mreduce.tasks=12 \
-D mapred.input.dir=/test/input1,test/input2 \
-D mapred.output.dir=/test/output \
-libjars myjob.jar,third-party.jar
-my1 5 \
-my2 china

运行./run_myjob.sh

其中 “-libjars“指定本地两个jar文件,Hadoop自动会把这两个文件分发到各个TaskTracker的临时工作目录下,用完后自动删除。

解决方案比较

第一种方法过于笨拙,每次都要人工地将jar包分发到各个TaskTracker上,如果集群很大,非常耗时;第二种方法利用了Hadoop内部机 制进行jar包分发,非常方便。实际上,在Hadoop example中,除了WordCount例子外,其他所有例子均采用了方案2的设计方法。





赞(0)    操作        顶端 
Bobo226
注册用户
等级:上尉
经验:548
发帖:0
精华:0
注册:2020-1-7
状态:离线
发送短消息息给Bobo226 加好友    发送短消息息给Bobo226 发消息
发表于: IP:您无权察看 2022-9-5 11:59:42 | [全部帖] [楼主帖] 2  楼

福彩七乐彩预测投注  SG飞艇开奖直播 福彩3D稳赚方法

尖端非常接近,或月球与地球表面的距离和月本影的长度很接近的情形下。由于地球为球体之关系,而本影影锥接触地球时为日全食(常为在食带中间),在食带两端由于影锥未能接触地球,致只能有伪本影到达地球之下所看到的是日环食。所以,当全环食发生时,随着地月之间的相对运动,会先后出现环食→全食→环食,当然,对于某一个具体的地点来说,在一次日食过程中是不会同时看到全食和环食的。全环食发生概率甚小日食月食是光在同种均匀介质中沿直线传播的典型例证。月亮运行到太阳和地球中间并不是每次都发生日食,发生日食需要满足两个条件。其一,日食总是发生在朔日(农历初一)。也不是所有朔日必定发生日食



赞(0)    操作        顶端 
demo214
渠道商伙伴
等级:列兵
经验:90
发帖:1
精华:0
注册:2023-5-26
状态:离线
发送短消息息给demo214 加好友    发送短消息息给demo214 发消息
发表于: IP:您无权察看 2023-5-26 2:35:34 | [全部帖] [楼主帖] 3  楼

这是什么问题啊?


费永杰


赞(0)    操作        顶端 
总帖数
3
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论