[转帖]在Ubuntu上装Hadoop_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2920 | 回复: 0   主题: [转帖]在Ubuntu上装Hadoop        下一篇 
wei.wang
注册用户
等级:少校
经验:1001
发帖:87
精华:0
注册:2013-8-29
状态:离线
发送短消息息给wei.wang 加好友    发送短消息息给wei.wang 发消息
发表于: IP:您无权察看 2013-9-6 13:12:05 | [全部帖] [楼主帖] 楼主

在装Hadoop之前首先需要: 1.java1.6.x 最好是sun的,1.5.x也可以 2.ssh 安装ssh $ sudo apt-get install ssh $ sudo apt-get install rsync 下载Hadoop 从http://hadoop.apache.org/core/releases.html 下载最近发布的版本 最

在装Hadoop之前首先需要:

    1.java1.6.x 最好是sun的,1.5.x也可以

    2.ssh

    安装ssh

$ sudo apt-get install ssh
$ sudo apt-get install rsync


下载Hadoop

    从http://hadoop.apache.org/core/releases.html 下载最近发布的版本

    最好为hadoop创建一个用户:

    比如创建一个group为hadoop user为hadoop的用户以及组

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hadoop


解压下载的hadoop文件,放到/home/hadoop目录下 名字为hadoop

    配置JAVA_HOME:

gedit ~/hadoop/conf/hadoop-env.sh


将Java代码

1. # The java implementation to use.  Required. 

2. # export JAVA_HOME=/usr/lib/j2sdk1.5-sun 

# The java implementation to use.  Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun


修改成java的安装目录:

# The java implementation to use. Required.
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.15


现在可以使用单节点的方式运行:

$ cd hadoop
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*


 Pseudo-distributed方式跑:

    配置ssh

$ su - hadoop
$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
9d:47:ab:d7:22:54:f0:f9:b9:3b:64:93:12:75:81:27 hadoop@ubuntu


让其不输入密码就能登录:

hadoop@ubuntu:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


使用:

$ ssh localhost


看看是不是直接ok了。

hadoop配置文件:

conf/core-site.xml


Java代码

     1. <?xml version="1.0"?> 

     2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

     3.  

     4. <!-- Put site-specific property overrides in this file. --> 

     5.  

     6. <configuration> 

     7.    <property> 

     8.     <name>hadoop.tmp.dir</name> 

     9.         <value>/home/hadoop/hadoop-datastore/hadoop-${user.name}</value> 

10. </property>
11. <property>
12. <name>fs.default.name</name>
13. <value>hdfs://localhost:9000</value>
14. </property>
15. </configuration>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-datastore/hadoop-${user.name}</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


hadoop.tmp.dir配置为你想要的路径,${user.name}会自动扩展为运行hadoop的代码

1. <configuration> 

     2.   <property> 

     3.     <name>dfs.replication</name> 

     4.     <value>1</value> 

     5.   </property> 

     6. </configuration> 

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


 dfs.replication为默认block复制数量

conf/mapred-site.xml


 Xml代码

     1. <configuration> 

     2.   <property> 

     3.     <name>mapred.job.tracker</name> 

     4.     <value>localhost:9001</value> 

     5.   </property> 

     6. </configuration> 

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


  执行

    格式化分布式文件系统:

$ bin/hadoop namenode -format


  启动hadoop:

     Java代码

    1. $ bin/start-all.sh 

$ bin/start-all.sh


 可以从

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/


  查看NameNode和JobTracker

    运行例子:

$ bin/hadoop fs -put conf input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
look at the run result:
$ bin/hadoop fs -get output output
$ cat output/*




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论