[转帖]centos安装hadoop注意_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3070 | 回复: 0   主题: [转帖]centos安装hadoop注意        下一篇 
jie.liang
注册用户
等级:少校
经验:1003
发帖:77
精华:0
注册:2013-10-11
状态:离线
发送短消息息给jie.liang 加好友    发送短消息息给jie.liang 发消息
发表于: IP:您无权察看 2013-10-17 17:06:02 | [全部帖] [楼主帖] 楼主

1. 添加用户:  useradd  hadoop     passwd  hadoop

     为hadoop用户添加root权限:

    修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
hadoop     ALL=(ALL)     ALL


修改完毕,现在可以用hadoop帐号登录,然后用命令 su - ,即可获得root权限进行操作。

2. ssh需要注意:

前提配置:使用root登录修改配置文件:/etc/ssh/sshd_config,将其中三行的注释去掉,如下:

北京联动北方科技有限公司

然后重启ssh服务:service sshd restart。最后退出root。接下来用hadoop用户操作。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>  ~/.ssh/authorized_keys


接下来修改authorized_keys权限:chmod 644 authorized_keys   不然还是需要输入密码连接自己

把authorized_keys文件scp到slave的相同用户上(有时候直接scp  。。。   hadoop@IP......   可能有问题,所以可以先scp  ...    root@IP......)

实现:master可以无密码连接slave,但slave不能无密码连接master

在slave上,如果是手动创建的.ssh文件夹,需要把.ssh文件权限修改  chmod 700 ~/.ssh

3.  配置所有机器的/etc/hosts文件,建立IP与hostname间的映射(修改一个scp过去就可以)

127.0.0.1 localhost
192.168.1.1 master
192.168.1.2 slaves1
192.168.1.3 slaves2


然后确保每台机器的hostname无误。

4. 配置hadoop(修改一个scp过去就可以)

     1、 修改conf/hadoop-env.sh文件

export JAVA_HOME=.......


     2、修改masters和slaves文件

     在masters文件中填写master的hostname,slaves中填写所有slave的hostname

     3、修改conf下的配置文件:

下面就可以修改配置文件了

conf/core-site.xml(相当于namenode):

  1. <configuration>  
  2.      <property>  
  3.          <name>fs.default.name</name>  
  4.          <value>hdfs://192.168.1.1:9000</value>  
  5.      </property>  
  6. </configuration>  

conf/hdfs-site.xml:

  1. <configuration>  
  2. <name>dfs.name.dir</name>  
  3. <value>/home/hadoop/hdfs/name</value>  
  4. </property>  
  5. <property>  
  6. <name>dfs.data.dir</name>  
  7. <value>/homel/hadoop/hdfs/data</value>  
  8. </property>  
  9. <property>  
  10. <name>dfs.replication</name>  
  11. <value>1</value>  
  12. </property>  
  13. </configuration>  

conf/mapred-site.xml:

  1. <configuration>  
  2.      <property>  
  3.          <name>mapred.job.tracker</name>  
  4.          <value>192.168.1.1:9001</value>  
  5.      </property>  
  6. </configuration> 


5.可以在每个机器的hadoop用户下建一个profile文件

 vi ~/.profile
export HADOOP_HOME=...
export PATH=$HADOOP_HOME/bin:$PATH




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论