[分享] Hadoop集群管理之配置文件_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3164 | 回复: 0   主题: [分享] Hadoop集群管理之配置文件        上一篇   下一篇 
第五种族
注册用户
等级:列兵
经验:103
发帖:78
精华:0
注册:2011-11-3
状态:离线
发送短消息息给第五种族 加好友    发送短消息息给第五种族 发消息
发表于: IP:您无权察看 2016-4-14 14:25:12 | [全部帖] [楼主帖] 楼主

一、配置文件列表如下:

[hadoop@node1 conf]$ pwd
/app/hadoop/conf
[hadoop@node1 conf]$ echo $HADOOP_HOME
/app/hadoop
[hadoop@node1 conf]$ ll
总计 60
-rw-rw-r-- 1 hadoop hadoop 3936 2010-02-19 15:55 capacity-scheduler.xml
-rw-rw-r-- 1 hadoop hadoop  535 2010-02-19 15:55 configuration.xsl
-rw-rw-r-- 1 hadoop hadoop  435 2014-02-28 22:15 core-site.xml
-rw-rw-r-- 1 hadoop hadoop 2226 2014-02-28 10:16 hadoop-env.sh
-rw-rw-r-- 1 hadoop hadoop 1245 2010-02-19 15:55 hadoop-metrics.properties
-rw-rw-r-- 1 hadoop hadoop 4190 2010-02-19 15:55 hadoop-policy.xml
-rw-r--r-- 1 hadoop hadoop 1652 2014-02-28 21:55 hbase-site.xml
-rw-rw-r-- 1 hadoop hadoop  664 2014-02-28 15:12 hdfs-site.xml
-rw-rw-r-- 1 hadoop hadoop 2815 2010-02-19 15:55 log4j.properties
-rw-rw-r-- 1 hadoop hadoop  266 2014-02-28 10:15 mapred-site.xml
-rw-rw-r-- 1 hadoop hadoop   14 2014-02-28 15:16 masters
-rw-rw-r-- 1 hadoop hadoop   28 2014-02-28 10:15 slaves
-rw-rw-r-- 1 hadoop hadoop 1243 2010-02-19 15:55 ssl-client.xml.example
-rw-rw-r-- 1 hadoop hadoop 1195 2010-02-19 15:55 ssl-server.xml.example

二、常用配置文件
    2.1、hadoop-env.sh:记录脚本要用的环境变量;
    2.2、core-site.xml:Hadoop核心配置项;
    2.3、hdfs-site.xml:Hadoop守护进程配置项,例如:namenode,secondarynamenode和datanode等;
    2.4、mapred-site.xml:MapReduce守护进程配置项,包括jobtracker和tasktracker;
    2.5、master:运行secondarynamenode(而不是namenode)的机器列表(每行一个)。只在namenode或jobtracker节点上使用,无需同步到各节点;
    2.6、slave:运行datanode和tasktracker的机器列表(每行一个)。只在namenode或jobtracker节点上使用,无需同步到各节点。
    2.7、hadoop-metrics.properties:ganglia监控的配置文件

三、控制脚本

    3.1、start-dfs.sh:在本地节点启动namenode,在slave文件指定的每个节点启动datanode,在master文件指定的每个节点启动secondarynamenode
    3.2、start-mapred.sh:在本地节点启动jobtracker,在slave文件指定的每个节点启动tasktracker。
    3.3、start-all.sh:依次调用start-dfs.sh和start-mapred.sh
    3.4、stop-dfs.sh/stop-mapred.sh/stop-all.sh:前面的start脚本对应的关闭脚本。
    3.5、hadoop-daemon.sh:上述脚本调用它来执行启动和终止hadoop守护进程。如果用户需要从其他系统或自己编写脚本控制hadoop守护进程,可以调用它。
    3.6、hadoop-daemons.sh:用于在多个主机上启动同一hadoop守护进程。

四、守护进程管理

对于小型集群(几十个节点),可以将namenode、secondarynamenode、jobtracker放到单独一台机器上,但对于大型集群,最好分别放到不同的机器上。

    4.1、namenode:在内存中保存整个命名空间的所有文件和块元数据,它的内存需求很大。
    4.2、secondnamenode:保存一份最新的检查点,记录文件系统的元数据,有助于在数据丢失或系统崩溃时恢复namenode的元数据;它 在大多时候空闲,但它创建检查时的内存需求和namenode差不多。一旦文件系统包含大量文件,单台主机可能无法同时运行namenode和 secondarynamenode。
    4.3、jobtracker:在一个运行大量mapreduce作业的高负载集群上,jobtracker会使用大量内存和CPU资源,因此它最好运行在一个专用节点上。
HDFS控制脚本需要在namenode机器上运行;mapreduce控制脚本需要在jobtracker机器上运行。





赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论