配置hadoop 使用fair scheduler调度器 _Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
7
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3371 | 回复: 6   主题: 配置hadoop 使用fair scheduler调度器         上一篇   下一篇 
dwx8023
注册用户
等级:上尉
经验:612
发帖:114
精华:0
注册:2011-11-8
状态:离线
发送短消息息给dwx8023 加好友    发送短消息息给dwx8023 发消息
发表于: IP:您无权察看 2015-12-21 17:43:42 | [全部帖] [楼主帖] 楼主

 hadoop版本为cloudera hadoop cdh3u3

配置步骤为

1.  将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中

2.  修改$HADOOP_HOME/conf/mapred-site.xml配置文件

<property>  
  <name>mapred.jobtracker.taskScheduler</name>  
  <value>org.apache.hadoop.mapred.FairScheduler</value>  
</property>  
<property>  
   <name>mapred.fairscheduler.allocation.file</name>  
   <value>/home/hadoop/hadoop-0.20.2-cdh3u3/conf/fair-scheduler.xml</value>  
</property>  
      
<property>  
  <name>mapred.fairscheduler.preemption</name>  
  <value>true</value>  
</property>  
      
<property>  
  <name>mapred.fairscheduler.assignmultiple</name>  
  <value>true</value>  
</property>  
      
<property>  
  <name>mapred.fairscheduler.poolnameproperty</name>  
  <value>mapred.job.queue.name</value>  
  <description>job.set("mapred.job.queue.name",pool); </description>  
</property>  
      
<property>  
  <name>mapred.fairscheduler.preemption.only.log</name>  
  <value>true</value>  
</property>  
      
<property>  
  <name>mapred.fairscheduler.preemption.interval</name>  
  <value>15000</value>  
</property>  
        
<property>  
  <name>mapred.queue.names</name>  
  <value>default,hadoop,hive</value>  
</property>


3.  在$HADOOP_HOME/conf/新建配置文件fair-scheduler.xml

<?xml version="1.0"?>  
<allocations>  
<pool name="hive">  
  <minMaps>90</minMaps>  
  <minReduces>20</minReduces>  
  <maxRunningJobs>20</maxRunningJobs>  
  <weight>2.0</weight>  
  <minSharePreemptionTimeout>30</minSharePreemptionTimeout>  
</pool>  
      
<pool name="hadoop">  
  <minMaps>9</minMaps>  
  <minReduces>2</minReduces>  
  <maxRunningJobs>20</maxRunningJobs>  
  <weight>1.0</weight>  
  <minSharePreemptionTimeout>30</minSharePreemptionTimeout>  
</pool>  
      
<user name="hadoop">  
   <maxRunningJobs>6</maxRunningJobs>  
</user>  
<poolMaxJobsDefault>10</poolMaxJobsDefault>  
<userMaxJobsDefault>8</userMaxJobsDefault>  
<defaultMinSharePreemptionTimeout>600</defaultMinSharePreemptionTimeout>  
<fairSharePreemptionTimeout>600</fairSharePreemptionTimeout>  
</allocations>


 4.  在集群的各个节点执行以上步骤,然后重启集群,在http://namenode:50030/scheduler  即可查看到调度器运行状态,如果修改调度器配置的话,只需要修改文件fair-scheduler.xml ,不需重启配置即可生效。

5. 在执行hive任务时,设置hive属于的队列set mapred.job.queue.name=hive;

##########

另外,如果在执行MR JOB的时候出现XX用户访问不了YY队列的话,就需要在mapred-queue-acls.xml里配置相应的属性,来对访问权限进行控制,比如:


<property>  
 <name>mapred.queue.default.acl-submit-job</name>  
 <value>*</value>  
 <description> Comma separated list of user and group names that are allowed  
  to submit jobs to the 'default' queue. The user list and the group list  
  are separated by a blank. For e.g. user1,user2 group1,group2.  
  If set to the special value '*', it means all users are allowed to  
  submit jobs. If set to ' '(i.e. space), no user will be allowed to submit  
  jobs.  
      
  It is only used if authorization is enabled in Map/Reduce by setting the  
  configuration property mapred.acls.enabled to true.  
      
  Irrespective of this ACL configuration, the user who started the cluster and  
  cluster administrators configured via  
  mapreduce.cluster.administrators can submit jobs.  
 </description>  
</property>  
      
<property>  
 <name>mapred.queue.default.acl-administer-jobs</name>  
 <value>*</value>  
 <description> Comma separated list of user and group names that are allowed  
  to view job details, kill jobs or modify job's priority for all the jobs  
  in the 'default' queue. The user list and the group list  
  are separated by a blank. For e.g. user1,user2 group1,group2.  
  If set to the special value '*', it means all users are allowed to do  
  this operation. If set to ' '(i.e. space), no user will be allowed to do  
  this operation.  
      
  It is only used if authorization is enabled in Map/Reduce by setting the  
  configuration property mapred.acls.enabled to true.  
      
  Irrespective of this ACL configuration, the user who started the cluster and  
  cluster administrators configured via  
  mapreduce.cluster.administrators can do the above operations on all the jobs  
  in all the queues. The job owner can do all the above operations on his/her  
  job irrespective of this ACL configuration.  
 </description>  
</property>

 




--转自



赞(0)    操作        顶端 
云浅月93
注册用户
等级:少尉
经验:328
发帖:0
精华:0
注册:2015-12-4
状态:离线
发送短消息息给云浅月93 加好友    发送短消息息给云浅月93 发消息
发表于: IP:您无权察看 2015-12-23 10:38:16 | [全部帖] [楼主帖] 2  楼



赞(0)    操作        顶端 
斗破苍穹
注册用户
等级:中尉
经验:442
发帖:3
精华:0
注册:2016-1-8
状态:离线
发送短消息息给斗破苍穹 加好友    发送短消息息给斗破苍穹 发消息
发表于: IP:您无权察看 2016-2-1 17:41:35 | [全部帖] [楼主帖] 3  楼

好贴,给楼主顶一个



赞(0)    操作        顶端 
Mr_Captain
注册用户
等级:上士
经验:293
发帖:9
精华:0
注册:2016-2-2
状态:离线
发送短消息息给Mr_Captain 加好友    发送短消息息给Mr_Captain 发消息
发表于: IP:您无权察看 2016-2-2 10:45:35 | [全部帖] [楼主帖] 4  楼

高大上的赶脚。



赞(0)    操作        顶端 
微微一笑很倾城
注册用户
等级:上等兵
经验:121
发帖:0
精华:0
注册:2016-2-14
状态:离线
发送短消息息给微微一笑很倾城 加好友    发送短消息息给微微一笑很倾城 发消息
发表于: IP:您无权察看 2016-2-25 21:09:07 | [全部帖] [楼主帖] 5  楼

确实高大上的赶脚啊



赞(0)    操作        顶端 
美炸了的菇凉
注册用户
等级:上士
经验:315
发帖:0
精华:0
注册:2016-2-17
状态:离线
发送短消息息给美炸了的菇凉 加好友    发送短消息息给美炸了的菇凉 发消息
发表于: IP:您无权察看 2016-2-25 22:59:59 | [全部帖] [楼主帖] 6  楼

确实是实用的东西



赞(0)    操作        顶端 
你真的真的很好
注册用户
等级:下士
经验:164
发帖:0
精华:0
注册:2016-2-14
状态:离线
发送短消息息给你真的真的很好 加好友    发送短消息息给你真的真的很好 发消息
发表于: IP:您无权察看 2016-2-29 21:18:29 | [全部帖] [楼主帖] 7  楼



赞(0)    操作        顶端 
总帖数
7
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论