设置主节点的Hadoop
设置JAVA_HOME
Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中设置，具体设置如下：
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"
Hadoop的核心配置
Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具体配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.default.name</name><!--<value>hdfs://localhost:8020</value>--><value>hdfs://hadoop-01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/var/lib/hadoop-0.20/cache/${user.name}</value></property></configuration>
设置Hadoop的分布式存储环境
Cloudera 实现Hadoop 过程中Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的，具体配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><!--<value>1</value>--><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property><property><!-- specify this so that running 'hadoop namenode -format' formats the right dir --><name>dfs.name.dir</name><value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value></property></configuration>
设置Hapoop的分布式计算环境
Cloudera 实现Hadoop 过程中Hadoop的分布式计算是采用了Map/Reduce算法，该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的，具体配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><!--<value>localhost:8021</value>--><value>hadoop-01:8021</value></property></configuration>
设置Hadoop的主从节点
首先设置主节点，编辑/etc/hadoop/conf/masters文件，如下所示：
hadoop-01然后是设置从节点，编辑/etc/hadoop/conf/slaves文件，如下所示：
hadoop-02hadoop-03hadoop-04firehare-303
设置从节点上的Hadoop
从节点上的Hadoop设置很简单，只需要将主节点上的Hadoop设置，复制一份到从节点上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 实现Hadoop过程中对Hadoop配置完以后需要启动Hadoop服务。
启动Hadoop
格式化分布式文件系统
在启动Hadoop之前还要做最后一个准备工作，那就是格式化分布式文件系统，这个只需要在主节点做就行了，具体如下：
/usr/lib/hadoop-0.20/bin/hadoop namenode -format
启动Hadoop服务
启动Hadoop可以通过以下命令来实现：
/usr/lib/hadoop-0.20/bin/start-all.sh注意：该命令是没有加sudo的，如果加了sudo就会提示出错信息的，因为root用户并没有做无验证ssh设置。以下是输出信息，注意hadoop-03是故意没接的，所以出现No route to host信息。 这样Hadoop就正常启动了！
当前位置：
论坛首页 »
自由讨论区 »
Hadoop，ERP及大数据讨论区
»
发起投票
技术讨论
加好友
发消息
2013-11-6 18:16:42 |
赞(
操作
