运行一个Hadoop Job所需要指定的属性_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2674 | 回复: 0   主题: 运行一个Hadoop Job所需要指定的属性        上一篇   下一篇 
yaoer
注册用户
等级:列兵
经验:90
发帖:5
精华:0
注册:2014-6-9
状态:离线
发送短消息息给yaoer 加好友    发送短消息息给yaoer 发消息
发表于: IP:您无权察看 2015-12-15 15:30:48 | [全部帖] [楼主帖] 楼主

1、设置Job的基础属性 

Job job = new Job();
job.setJarByClass(***.class);
job.setJobName(“job name”);
job.setNumReduce(2);


2、设置Map与Reudce的类

job.setMappgerClass(*.class);
job.setReduceClass(*.class);


3、设置Job的输入输出格式

void setInputFormatClass(Class<? extends InputFormat> cls)
void setOutputFormatClass(Class<? extends OutputFormat> cls)


前者默认是TextInputFormat,后者是FileOutputFormat。

4、设置Job的输入输出路径

当输入输出是文件时,需要指定路径。

InputFormat:
static void addInputPath(JobConf conf, Path path)
FileOutputFormat:
static void setOutputPath(Job job, Path outputDir)


当输入格式是其它类型时,则需要指定相应的属性,如Gora的DataSource。

5、设置map与reduce的输出键值类型

主要有以下4个类

void setOutputKeyClass(Class<?> theClass)
void setOutputValueClass(Class<?> theClass)
void setMapOutputKeyClass(Class<?> theClass)
void setMapOutputValueClass(Class<?> theClass)


(1)前面2个方法设置整个job的输出,即reduce的输出。默认情况下,map的输出类型与reduce一致,若二者不一致,则需要通过后面2个方法来指定map的输出

类型。

(2)关于输入类型的说明:reduce的输入类型由output的输出类型决定。map的输入类型由输入格式决定,如输入格式是FileInputFormat,则输入KV类型为

LongWriterable与Text。

6、运行程序

job.waitForCompletion()。

见以下示例:

package org.jediael.hadoopdemo.maxtemperature;
import .Path;
import .IntWritable;
import .Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class MaxTemperature {
public static void main(String[] args) throws Exception {
if (args.length != 2) {
System.err
.println("Usage: MaxTemperature <input path> <output path>");
System.exit(-1);
//1、设置job的基础属性
Job job = new Job();
job.setJarByClass(MaxTemperature.class);
job.setJobName("Max temperature");
//2、设置Map与Reudce的类
job.setMapperClass(MaxTemperatureMapper.class);
job.setReducerClass(MaxTemperatureReducer.class);
//4、设置map与reduce的输出键值类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//5、设置输入输出路径
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
//6、运行程序
System.exit(job.waitForCompletion(true) ? 0 : 1);











赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论