[分享] hadoop1.0.3 中的hive0.9.0的安装 _Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
2
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 508 | 回复: 1   主题: [分享] hadoop1.0.3 中的hive0.9.0的安装         上一篇   下一篇 
zhangying
注册用户
等级:列兵
经验:96
发帖:4
精华:0
注册:2012-9-28
状态:离线
发送短消息息给zhangying 加好友    发送短消息息给zhangying 发消息
发表于: IP:您无权察看 2016-4-14 14:55:50 | [全部帖] [楼主帖] 楼主

1. rpm安装mysql


启动mysql:/etc/init.d/mysql start

添加系统启动:/sbin/chkconfig --add mysql

create database hive;

grant all on hive.* to hive@'%' identified by 'hive';

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION;

注意localhost 主机名

flush privileges;


Hive配置(只需要主机上配置)


etc/profile下的配置

JAVA_HOME=/usr/java/jdk1.6.0_30
HADOOP_HOME=/opt/hadoop13/hadoop-1.0.3
HIVE_HOME=/opt/hadoop13/hive-0.9.0   ****
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH:$HIVE_HOME/bin  ***
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME HADOOP_HOME
export HBASE_HEAPSIZE=128  
export HBASE_MANAGES_ZK=false
export PATH
export CLASSPATH


source /etc/profile

元数据迁移到mysql

主机上先安装mysql,用于存放hadoop元数据

Mysql驱动

下载一个数据包mysql-connector-java-5.1.18-bin.jar,放到hive的lib目录下,

 

创建用户

Mysql创建用户hive,密码为hive

Mysql下创建元数据库:hive

 

修改hive数据库连接

hiveconf目录下创建文件hive-site.xml配置文件(数据库连接等信息自定义):

<?xml version="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

 

<configuration>

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

</property>

 

<property>

<name>datanucleus.fixedDatastore</name>

<value>false</value>

</property>

</configuration>

 

Hive启动运行

Cd /app/hive

./hive

 

查看数据表:

Show tables;

 

Ok,配置完成!


可能会出现的错误


1 、FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'root'@'master' (using password: YES)
NestedThrowables:
java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这次坑爹了,从terminal运行mysql -uroot -p是可以进去的呀

看了一下hive-site.xml,配置mysql用户名密码的信息为:

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

没错呀我的用户名是hive,密码为hive

然后就是查是否是权限开放的有问题,

进去mysql:mysql -uhive-p

输入密码


于是GRANT 发现

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION; 由于本地主机名 是master

改为

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'master' IDENTIFIED BY 'hive' WITH GRANT OPTION;

再测试通过 OK


2 、 FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这个错误出现的原因是Hive自带的lib中没有mysql的jar,我用的是mysql-connector-java-5.1.18-bin.jar,拷贝到HIVE_HOME/lib中

3、

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: The connection property 'useUnicode' only accepts values of the form: 'true', 'false', 'yes' or 'no'. The value 'true;characterEncoding=UTF-8;createDatabaseIfNotExist=true' is not in this set.
NestedThrowables:
java.sql.SQLException: The connection property 'useUnicode' only accepts values of the form: 'true', 'false', 'yes' or 'no'. The value 'true;characterEncoding=UTF-8;createDatabaseIfNotExist=true' is not in this set.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这个提示还是很明确的,找到hive-site.xml中的

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?useUnicode=true;characterEncoding=UTF-8;createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

修改为

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://210.51.7.31:3306/hive?createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>
</property>


4 在安装过程中,第一次启动Hive没有成功,后来在网上查到原因如下,并成功解决:
错误如下:

  1. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf   

  2.         at java.lang.Class.forName0(Native Method)   

  3.         at java.lang.Class.forName(Class.java:247)   

  4.         at org.apache.hadoop.util.RunJar.main(RunJar.java:149)   

  5. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf   

  6.         at java.net.URLClassLoader$1.run(URLClassLoader.java:200)   

  7.         at java.security.AccessController.doPrivileged(Native Method)   

  8.         at java.net.URLClassLoader.findClass(URLClassLoader.java:188)   

  9.         at java.lang.ClassLoader.loadClass(ClassLoader.java:307)   

  10.         at java.lang.ClassLoader.loadClass(ClassLoader.java:252)   

  11.         at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320)  

解决方法是,安装Hadoop时,修改Hadoop目录下/conf/hadoop-env.sh时,添加HADOOP_CLASSPATH变量覆盖了原有的变量,改成如下的形式即可:
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:....
红色为添加部分。问题解决。





赞(0)    操作        顶端 
laofuzi
注册用户
等级:上士
经验:260
发帖:1
精华:0
注册:2016-8-29
状态:离线
发送短消息息给laofuzi 加好友    发送短消息息给laofuzi 发消息
发表于: IP:您无权察看 2016-8-29 20:35:02 | [全部帖] [楼主帖] 2  楼

正在弄这个,谢谢



赞(0)    操作        顶端 
总帖数
2
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论