hive的元数据存储在derby和mysql_桌面云必须部署的组件包括

??‍?博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家?
?擅长领域：Java、大数据、运维、电子
??如果本文章各位小伙伴们有帮助的话，?关注+??点赞+?评论+?收藏，相应的有空了我也会回访，互助！！！
?另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

文章目录

• • • • hive安装
      • hive启动并测试
• 搭建hive的环境需要hadoop的dfs和yarn可以正常运行的情况下。
• 准备好apache-hive-1.2.1-bin.tar.gz和mysql-libs.zip两个包

hive安装

解压apache-hive-1.2.1-bin.tar.gz 到/usr/local/src下，并且将其重命名为hive

<code style="margin-left:0">tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive</code>

Jetbrains全家桶1年46，售后保障稳定

复制/hive/conf下的hive-env.sh.template模板并重命名为hive-env.sh

<code style="margin-left:0">cp hive-env.sh.template hive-env.sh</code>

在重命名的hive-env.sh里配置参数

<code style="margin-left:0">export HADOOP_HOME=/usr/local/src/hadoop
export HIVE_HOME=/usr/local/src/hive/conf</code>

修改/usr/local/src/hive/bin下的hive脚本

<code style="margin-left:0"># add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
#如果装有spark需要指定Spark目录下的jars目录下的所有的jar包
  sparkAssemblyPath=`ls ${ 
      SPARK_HOME}/jars/*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi</code>

• 否则启动hive将报如下错误

提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录...

启动hadoop的hdfs和yarn

<code style="margin-left:0">start-dfs.sh
start-yarn.sh</code>

在hdfs上创建tmp和/user/hive/warehouse两个目录，修改为同组可读

<code style="margin-left:0">#创建文件夹
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
#赋予文件夹权限
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse</code>

将hive下的jline-2.12.jar 复制替换hadoop中的jline-2.12.jar

<code style="margin-left:0">cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/
rm jline-2.12.jar -rf</code>

• 否则启动hive会报如下错误

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Termina

hive启动并测试

启动hive并测试查询

<code style="margin-left:0">#在配了环境变量bin的情况下才能使用
hive</code>

查看数据库

<code style="margin-left:0">hive> show databases;</code>

选择默认数据库

<code style="margin-left:0">hive> use default;</code>

显示默认数据库中的表

<code style="margin-left:0">hive> show tables;</code>

• TIPS:hive在hdfs中的结构
  • 数据库：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
  • 表：在hdfs中表现所属db目录下一个文件夹，文件夹中存放该表中的具体数据
  • 如果使用Metastore自带的derby数据库，在已经有一个对话的时候再打开一个对话将报错
    Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate
    • 原因：推荐MySQL存储Metastore元数据，替换默认的Derby数据库

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/230736.html原文链接：https://javaforall.cn

未经允许不得转载：木盒主机 » hive的元数据存储在derby和mysql_桌面云必须部署的组件包括