[分享] hadoop1.0.3 中的hive0.9.0的安装 _Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
3
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4240 | 回复: 2   主题: [分享] hadoop1.0.3 中的hive0.9.0的安装         上一篇   下一篇 
zhangying
注册用户
等级:列兵
经验:96
发帖:4
精华:0
注册:2012-9-28
状态:离线
发送短消息息给zhangying 加好友    发送短消息息给zhangying 发消息
发表于: IP:您无权察看 2016-4-14 14:55:50 | [全部帖] [楼主帖] 楼主

1. rpm安装mysql


启动mysql:/etc/init.d/mysql start

添加系统启动:/sbin/chkconfig --add mysql

create database hive;

grant all on hive.* to hive@'%' identified by 'hive';

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION;

注意localhost 主机名

flush privileges;


Hive配置(只需要主机上配置)


etc/profile下的配置

JAVA_HOME=/usr/java/jdk1.6.0_30
HADOOP_HOME=/opt/hadoop13/hadoop-1.0.3
HIVE_HOME=/opt/hadoop13/hive-0.9.0   ****
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH:$HIVE_HOME/bin  ***
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME HADOOP_HOME
export HBASE_HEAPSIZE=128  
export HBASE_MANAGES_ZK=false
export PATH
export CLASSPATH


source /etc/profile

元数据迁移到mysql

主机上先安装mysql,用于存放hadoop元数据

Mysql驱动

下载一个数据包mysql-connector-java-5.1.18-bin.jar,放到hive的lib目录下,

 

创建用户

Mysql创建用户hive,密码为hive

Mysql下创建元数据库:hive

 

修改hive数据库连接

hiveconf目录下创建文件hive-site.xml配置文件(数据库连接等信息自定义):

<?xml version="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

 

<configuration>

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

</property>

 

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

</property>

 

<property>

<name>datanucleus.fixedDatastore</name>

<value>false</value>

</property>

</configuration>

 

Hive启动运行

Cd /app/hive

./hive

 

查看数据表:

Show tables;

 

Ok,配置完成!


可能会出现的错误


1 、FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'root'@'master' (using password: YES)
NestedThrowables:
java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这次坑爹了,从terminal运行mysql -uroot -p是可以进去的呀

看了一下hive-site.xml,配置mysql用户名密码的信息为:

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

没错呀我的用户名是hive,密码为hive

然后就是查是否是权限开放的有问题,

进去mysql:mysql -uhive-p

输入密码


于是GRANT 发现

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION; 由于本地主机名 是master

改为

GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'master' IDENTIFIED BY 'hive' WITH GRANT OPTION;

再测试通过 OK


2 、 FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这个错误出现的原因是Hive自带的lib中没有mysql的jar,我用的是mysql-connector-java-5.1.18-bin.jar,拷贝到HIVE_HOME/lib中

3、

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: The connection property 'useUnicode' only accepts values of the form: 'true', 'false', 'yes' or 'no'. The value 'true;characterEncoding=UTF-8;createDatabaseIfNotExist=true' is not in this set.
NestedThrowables:
java.sql.SQLException: The connection property 'useUnicode' only accepts values of the form: 'true', 'false', 'yes' or 'no'. The value 'true;characterEncoding=UTF-8;createDatabaseIfNotExist=true' is not in this set.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

这个提示还是很明确的,找到hive-site.xml中的

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?useUnicode=true;characterEncoding=UTF-8;createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

修改为

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://210.51.7.31:3306/hive?createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>
</property>


4 在安装过程中,第一次启动Hive没有成功,后来在网上查到原因如下,并成功解决:
错误如下:

  1. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf   

  2.         at java.lang.Class.forName0(Native Method)   

  3.         at java.lang.Class.forName(Class.java:247)   

  4.         at org.apache.hadoop.util.RunJar.main(RunJar.java:149)   

  5. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf   

  6.         at java.net.URLClassLoader$1.run(URLClassLoader.java:200)   

  7.         at java.security.AccessController.doPrivileged(Native Method)   

  8.         at java.net.URLClassLoader.findClass(URLClassLoader.java:188)   

  9.         at java.lang.ClassLoader.loadClass(ClassLoader.java:307)   

  10.         at java.lang.ClassLoader.loadClass(ClassLoader.java:252)   

  11.         at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320)  

解决方法是,安装Hadoop时,修改Hadoop目录下/conf/hadoop-env.sh时,添加HADOOP_CLASSPATH变量覆盖了原有的变量,改成如下的形式即可:
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:....
红色为添加部分。问题解决。





赞(0)    操作        顶端 
laofuzi
注册用户
等级:上士
经验:260
发帖:1
精华:0
注册:2016-8-29
状态:离线
发送短消息息给laofuzi 加好友    发送短消息息给laofuzi 发消息
发表于: IP:您无权察看 2016-8-29 20:35:02 | [全部帖] [楼主帖] 2  楼

正在弄这个,谢谢



赞(0)    操作        顶端 
Bobo226
注册用户
等级:上尉
经验:548
发帖:0
精华:0
注册:2020-1-7
状态:离线
发送短消息息给Bobo226 加好友    发送短消息息给Bobo226 发消息
发表于: IP:您无权察看 2022-9-5 11:59:14 | [全部帖] [楼主帖] 3  楼

开奖网结果结果   福彩七乐彩预测投注   英国乐透8预测开奖


尖端非常接近,或月球与地球表面的距离和月本影的长度很接近的情形下。由于地球为球体之关系,而本影影锥接触地球时为日全食(常为在食带中间),在食带两端由于影锥未能接触地球,致只能有伪本影到达地球之下所看到的是日环食。所以,当全环食发生时,随着地月之间的相对运动,会先后出现环食→全食→环食,当然,对于某一个具体的地点来说,在一次日食过程中是不会同时看到全食和环食的。全环食发生概率甚小日食月食是光在同种均匀介质中沿直线传播的典型例证。月亮运行到太阳和地球中间并不是每次都发生日食,发生日食需要满足两个条件。其一,日食总是发生在朔日(农历初一)。也不是所有朔日必定发生日食




赞(0)    操作        顶端 
总帖数
3
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论