Apache Hive元数据

什么是元数据

元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

Hive Metadata

• Hive Metadata即Hive的元数据。
• 包含用Hive创建的database、table、表的位置、类型、属性，字段顺序类型等元信息。
• 元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。

Hive Metastore

• Metastore即元数据服务。Metastore服务的作用是管理metadata元数据，对外暴露服务地址，让各种客户端通过连接metastore服务，由metastore再去连接MySQL数据库来存取元数据。
• 有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。某种程度上也保证了hive元数据的安全。

metastore配置方式

• metastore服务配置有3种模式：内嵌模式、本地模式、远程模式。
• 区分3种配置方式的关键是弄清楚两个问题：
  Metastore服务是否需要单独配置、单独启动？
  Metadata是存储在内置的derby中，还是第三方RDBMS,比如MySQL。

metastore远程模式

在生产环境中，建议用远程模式来配置Hive Metastore。在这种情况下，其他依赖hive的软件都可以通过，Metastore访问hive。由于还可以完全屏蔽数据库层，因此这也带来了更好的可管理性/安全性。

Apache Hive部署实战

安装前准备

• 由于Apache Hive是一款基于Hadoop的数据仓库软件，通常部署运行在Linux系统之上。因此不管使用何种方式配置Hive Metastore，必须要先保证服务器的基础环境正常，Hadoop集群健康可用。
• 服务器基础环境
  集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装。
• Hadoop集群健康可用
  启动Hive之前必须先启动Hadoop集群。特别要注意，需等待HDFS安全模式关闭之后再启动运行Hive。Hive不是分布式安装运行的软件，其分布式的特性主要借由Hadoop完成。包括分布式存储、分布式计算。

Hadoop与Hive整合

• 因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为执行引擎处理数据；
• 因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上运行。
• 修改Hadoop中core-site.xml，并且Hadoop集群同步配置文件，重启生效。

hadoop.proxyuser.root.hosts
*


hadoop.proxyuser.root.groups
*

Step1：MySQL安装

Step2：上传解压Hive安装包

tar zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin/ /export/server
# 解决Hive与Hadoop之间guava版本差异(删除原来的 将Hadoop的复制过来)
cd /export/server/apache-hive-3.1.2-bin/
rm -rf lib/guava-19.0.jar
cp /export/server/hadoop-3.3.1/share/hadoop/common/lib/guava-27.0-jre.jar \./lib/

Step3：修改hive-env.sh

cd /export/server/apache-hive-3.1.2-bin/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/export/server/hadoop-3.3.1
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

Step4：新增hive-site.xml

在conf目录下创建hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:mysql://10.180.109.164:3307/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8


javax.jdo.option.ConnectionDriverName
com.mysql.cj.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
123456



hive.server2.thrift.bind.host
node1



hive.metastore.uris
thrift://master:9083



hive.metastore.event.db.notification.api.auth
false

Step5：添加驱动、初始化

• 上传MySQL JDBC驱动到Hive安装包lib路径下mysql-connector-java-8.0.14.jar （和数据库版本一致）
• 初始化Hive的元数据。

cd /export/server/apache-hive-3.1.2-bin/
bin/schematool -initSchema -dbType mysql -verbose #初始化成功会在mysql中创建74张表

metastore服务启动方式

• （1）前台启动，进程会一直占据终端，ctrl + c结束进程，服务关闭。可以根据需求添加参数开启debug日志，获取详细日志信息，便于排错。

#前台启动
/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore
#前台启动开启debug日志
/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console 
#前台启动关闭方式ctrl+c结束进程

• （2）后台启动，输出日志信息在/root目录下nohup.out

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
#后台挂起启动结束进程
使用jps查看进程使用kill -9 杀死进程
#nohup 命令，在默认情况下（非重定向时），会输出一个名叫nohup.out 的文件到当前目录下

Apache Hive客户端使用

Hive自带客户端

• bin/hive、bin/beeline
• Hive发展至今，总共历经了两代客户端工具。
• 第一代客户端（deprecated不推荐使用）：$HIVE_HOME/bin/hive, 是一个shellUtil。主要功能：一是可用于以交互或批处理模式运行Hive查询；二是用于Hive相关服务的启动，比如metastore服务。
• 第二代客户端（recommended 推荐使用）：$HIVE_HOME/bin/beeline，是一个JDBC客户端，是官方强烈推荐使用的Hive命令行工具，和第一代客户端相比，性能加强安全性提高。
  
  

HiveServer2服务介绍

• 远程模式下beeline通过Thrift 连接到单独的HiveServer2服务上，这也是官方推荐在生产环境中使用的模式。
• HiveServer2支持多客户端的并发和身份认证，旨在为开放API客户端如JDBC、ODBC提供更好的支持。

关系梳理

• HiveServer2通过Metastore服务读写元数据。所以在远程模式下，启动HiveServer2之前必须先首先启动metastore服务。
• 特别注意：远程模式下，Beeline客户端只能通过HiveServer2服务访问Hive。而bin/hive是通过Metastore服务访问的。具体关系如下：

bin/beeline客户端使用

• 在hive安装的服务器上，首先启动metastore服务，然后启动hiveserver2服务。

#先启动metastore服务 然后启动hiveserver2服务
nohup /export/servers/hive/bin/hive --service metastore & （上面已经启动）
nohup /export/servers/hive/bin/hive --service hiveserver2 &

• 使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。
• Beeline是JDBC的客户端，通过JDBC协议和Hiveserver2服务进行通信，协议的地址是：jdbc:hive2://node1:10000

[root@node1 bin]# /export/server/apache-hive-3.1.2-bin/bin/beeline
Beeline version 3.1.2 by Apache Hive
beeline> ! connect jdbc:hive2://node1:10000
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: ****
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000> show databases;

beeline连接配置说明

Hive可视化客户端-DataGrip

1 打开IDEA,点击打开项目，创建文件目录。

2 DataGrip连接Hive

3 配置Hive JDBC连接驱动

4 导入jar包

将hive的lib目录下的全部包导出到本地文件夹中，然后在IDEA中引入

5 返回，配置Hiveserver2服务连接信息