[转帖]Hadoop性能分析工具Hitune的安装_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3156 | 回复: 0   主题: [转帖]Hadoop性能分析工具Hitune的安装        下一篇 
周逸涵
注册用户
等级:少校
经验:871
发帖:83
精华:0
注册:2013-7-8
状态:离线
发送短消息息给周逸涵 加好友    发送短消息息给周逸涵 发消息
发表于: IP:您无权察看 2013-7-9 9:10:33 | [全部帖] [楼主帖] 楼主

简介:

Hitune是建立在chukwa之上的对于hadoop的分析软件,不过hitune的呈现方式是通过excel来展示的,感觉上他对于hadoop的分析更为透彻和具体,下面给几个它分析得到的图片:

北京联动北方科技有限公司

北京联动北方科技有限公司

北京联动北方科技有限公司

北京联动北方科技有限公司

安装流程:

1.装备好hadoop,确保hadoop是正确的

我使用了三个节点,ip分别是10.10.104.115,10.10.104.116,10.10.104.116,其中10.10.104.115作为namenode,他们的映射名称为gd115,gd116,gd117

2.到官网上https://github.com/HiTune/HiTune将hitune下载下来,并且解压到各个节点上面

3.利用NTP调节时钟同步(centos系统)

参考文档http://blog.sina.com.cn/s/blog_5369bee10100aysx.html

(1)安装ntp:安装包可以到官网上下载

http://www.ntp.org/downloads.html


(2)在集群中选择一台作为的时间服务器节点,让其他节点的时间于该时间服务器同步,我用的是10.10.104.115,首先配置该节点设置:

sudo chmod +w /etc/ntp.conf

;

sudo vi /etc/ntp.conf 

;

(添加一行:

;

restrict 10.10.104.0 mask 255.255.255.0 nomodify notrap

;

;

sudo chmod –w /etc/ntp.conf

;

然后开启服务:

;

sudo service ntpd start

;

sudo chkconfig ntpd on

;

此时可以检测一下其状态:

;

ntpstat

;

(3)配置其他节点同步于该节点:

sudo ntpdate 10.10.104.115

;

上述指令只进行一次同步,为了每分钟同步一次,可以如下操作:

sudo chmod +w /etc/crontab

;

sudo vi /etc/crontab 

;

(添加一行:

;

       * * * * * root ntpdate 10.10.104.115  && hwclock -w

;

;

sudo –w /etc/crontab

;

sudo /etc/rc.d/init.d/crond restart

;

4.安装 sysstat,版本为:version 9.0.x,因为hitune并不支持7.0.x版本

(1)到官网上http://sebastien.godard.pagesperso-orange.fr/download.html

下载,我下的版本是v9.0.6

(2)安装:

./configure

;

sudo make

;

sudo make install

;


5.关闭hadoop jvm reuse

 配置hadoop的mapred-site.xml

<property>

;

       <name>mapred.job.reuse.jvm.num.tasks</name>

;

       <value>1</value>

;

</property>

;
6. enable Java instrumentation


配置hadoop的mapred-site.xml

<property>

;

       <name>mapred.child.java.opts</name>

;

   <value>-Xmx200m -javaagent:/home/zhangliuhang/hitune/chukwa-hitune-dist/hitune/HiTuneInstrumentAgent-0.9.jar=traceoutput=/home/zhangliuhang/hitune/chukwa-hitune-dist/hitune_output,taskid=@taskid@

;

       </value>

;

</property>

;


6.安装Hitune

(1)运行./configure,执行过程如下所示:

[zhangliuhang@gd115 hitune]$ ./configure

;

The role of the cluster - either "hadoop" or "chukwa"[chukwa]:chukwa

;

The folder to install HiTune[/home/zhangliuhang]:/home/zhangliuhang/hitune

;

The list of nodes in the Hadoop cluster - multiple nodes can be separated with comma, and can also be specified as hostname1-100 or 192.168.0.1-100[localhost]:gd115-117

;

The list of collector nodes in the Chukwa cluster - multiple nodes can be separated with comma, and can also be specified as hostname1-100 pattern or 192.168.0.1-100[localhost]:10.10.104.116

;

The HDFS URI of the Chukwa cluster[hdfs://127.0.0.1:9000]:hdfs://gd115:9989

;

Java home[/usr]:/usr/java/jdk1.7.0_01

;

Java platform[Linux-i386-32]:Linux-amd64-64

;

Hadoop home[/usr/lib/hadoop]:/home/zhangliuhang/hadoop

;

Hadoop configuration folder[/home/zhangliuhang/hadoop/conf]:

;

Hadoop core jar file[]:/home/zhangliuhang/hadoop/hadoop-0.20.2-core.jar

;

Chukwa's log dir - it is strongly recommended to put the Chukwa log folder under the hadoop_log_dir [/var/log/hadoop/chukwa]:/home/zhangliuhang/hadoop/logs

;

Hadoop history log folder - it is usually under /history/done[/var/log/hadoop/history/done]:/home/zhangliuhang/hadoop/logs/history

;

     (注)此时在hitune的安装目录下会生成一个名为chukwa-cluster.conf的文件,该文件中就包含了前面所配置的内容,其实可以在里面自行更改

(2)将文件chukwa-cluster.conf传送到各个节点上,然后执行

       ./configure  –f  chukwa-cluster.conf

;

(3)在各个节点上执行

       ./install  -f  chukwa-cluster.conf  –r chukwa

;
(注,安装好后,会在安装目录得到一个chukwa-hitune-dist/目录,我将$CHUKWA_HOME=安装目录/chukwa-hitune-dist/假如按照上面的配置,那么应该是$CHUKWA_HOME=/home/zhangliuhang/hitune/chukwa-hitune-dist/)


(4)在$CHUKWA_HOME目录下手动新建一个hitune_output目录,因为hitune似乎自己不会新建这个目录


(5)将$CHUKWA_HOME/chukwa-hadoop-0.4.0-client.jar拷贝到$HADOOP/lib/,

将$CHUKWA_HOME/chukwa-agent-0.4.0.jar拷贝到$HADOOP/lib/,

将$CHUKWA_HOME/tools-0.4.0.jar拷贝到$HADOOP/lib

(6)将$CHUKWA_HOME/conf/hadoop_log4j.properties 覆盖掉$HADOOP_HOME/conf/log4j.properties

将$CHUKWA_HOME/conf/hadoop_metries.properties覆盖掉$HADOOP_HOME/conf/hadoop_metries.properties

(注:装好后,如果用的不是root用户,最好改动几个地方,使得他们不要把数据写到/tmp目录下,因为可能没有权限,改动的地方有:

1.$HADOOP_HOME/conf/core-site.xml中的tmp目录属性

2.$HADOOP_HOME/conf/hadoop-env.sh中的pid目录

3.$CHUKWA_HOME/conf/chukwa_env.sh中的pid目录)

8.使用hitune

(1)启动hadoop,启动collectors,再启动agents和processor

(2)提交一个job给hadoop执行,此时记住运行该job时的代号:

例如:

[zhangliuhang@gd115 testbench]$ bash sort.sh

;

Running on 2 nodes to sort from hdfs://gd115:9989/user/zhangliuhang/randomdata into hdfs://gd115:9989/user/zhangliuhang/sortdata with 3 reduces.

;

Job started: Fri Dec 16 20:30:32 CST 2011

;

11/12/16 20:30:33 INFO mapred.FileInputFormat: Total input paths to process : 2

;

11/12/16 20:30:33 INFO mapred.JobClient: Running job: job_201112161958_0014

;

那么代号就是201112161958_0014

(3)当job结束的时候可以选择关闭各个节点上的agents

(4)执行脚本,对之前run的job各种性能进行分析

$INSTALL_DIR/chukwa-hitune-dist/hitune/bin/HiTuneAnalysis.sh -id 201112161958_0014

;

其中$INSTALL_DIR对应于6.(1)步进行配置时的安装hitune路径

(5)执行上述脚本后,默认会在hdfs的目录:/chukwa/report下生成对应的文件,以job id号命名,(例如/chukwa/report/201112161958_0014)我们需将该目录下载到本地(带有windows的操作系统,并且装有excel),事先最好将$INSTALL_DIR/chukwa-hitune-dist/hitune/visualreport/目录也下载到本地。

(6)将本地visualreport/TYPE文件拷贝到本地201112161958_0014目录中,然后运行本地visualreport/ AnalysisReport.xlsm,接着按照打开的内容就可以进行分析了,这个打开后是图形化界面,操作很方便,就不多说了。





赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论