配置hive元数据到Mysql中的全过程记录

Kersen ·
更新时间:2024-09-21
· 728 次阅读

在hive的安装目录下,进入conf目录,创建一个hive-site.xml文件 根据官方文档配置参数,拷贝数据到hive-site.xml文件中
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

注意:先创建一个metastore数据库,字符集要用latin1

将mysql驱动复制到hive的lib目录里。(这有关上一篇安装MySQL的内容)

解压驱动包

将mysql驱动复制到hive的lib目录里

启动hive(别忘了先启动hdfs和yarn~~)

start-dfs.sh start-yarn.sh hive

创建一张表,试试看元数据能否保存到MySQL里

查看一下metastore库

TBLS表


COLUMNS_V2表


DBS表

从上图中,可得知

元数据的结构

表的信息都存储在tbls表中,通过db_id和dbs表中的库进行外键约束! 库的信息都存储在dbs表中! 字段信息存在在column_v2表中,通过CD_ID和表的主键进行外键约束!

总结

到此这篇关于配置hive元数据到Mysql中的全过程的文章就介绍到这了,更多相关配置hive元数据到Mysql内容请搜索软件开发网以前的文章或继续浏览下面的相关文章希望大家以后多多支持软件开发网!

您可能感兴趣的文章:Mysql元数据如何生成Hive建表语句注释脚本详解



数据 hive Mysql

需要 登录 后方可回复, 如果你还没有账号请 注册新账号