Hive的安装部署

阅读量：473 次

发布时间：2019-03-06

本文共 3516 字，大约阅读时间需要 11 分钟。

Hive的安装部署

Hive的安装分为三种模式：内嵌模式、本地模式和远程模式。Hive会自动监测Hadoop的环境变量，因此在安装前需确保Hadoop已正确配置并运行。

1. 内嵌模式

1.1 安装步骤

解压Hive并配置环境变量

将apache-hive-3.1.2-bin.tar.gz上传至/root/software，解压并重命名为hive-3.1.2。修改/etc/profile，添加以下环境变量：

export HIVE_HOME=/usr/local/hive-3.1.2
export PATH=$HIVE_HOME/bin:$PATH

重新加载环境变量：

source /etc/profile

配置hive-env.sh

如果没有hive-env.sh，则将hive-env.sh.template复制过来并编辑，设置以下变量：

export HIVE_CONF_DIR=/usr/local/hive-3.1.2/conf
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export HIVE_AUX_JARS_PATH=/usr/local/hive-3.1.2/lib

配置hive-site.xml

将hive-default.xml.template复制至hive-site.xml，并修改内容：

cp hive-default.xml.template hive-site.xml
vi hive-site.xml

替换所有${system:java.io.tmpdir}为/usr/local/hive-3.1.2/iotmp，并将${system:user.name}替换为root。

创建存储目录并授权

创建以下目录并设置权限：

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -chmod 750 /user/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive

启动Hadoop

start-dfs.sh
start-yarn.sh

初始化Hive

schematool --initSchema -dbType derby

启动Hive

bin/hive

在Hive CLI中执行以下命令：

show databases;  # 查看数据库
show tables;    # 查看表
create table dog (id int, name string);  # 创建表
insert into dog values (1, "wangcai");  # 插入数据
desc dog;    # 查看表结构
quit;        # 退出

2. 本地模式

本地模式使用MySQL作为元数据存储，Hive的相关进程运行在同一台机器上。MySQL需要手动安装并配置。

2.1 安装MySQL

卸载Mariadb（若有）：

rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps

安装MySQL：

rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm
yum install -y net-tools perl
rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm

启动MySQL服务并设置密码：

systemctl start mysqld
systemctl status mysqld

登录MySQL：

mysql -u root -p

修改密码并授权root用户：

alter user root@localhost identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;
FLUSH PRIVILEGES;

配置Hive

复制并编辑hive-env.sh，并设置以下内容：

cp hive-env.sh.template hive-env.sh
vi hive-env.sh

修改hive-site.xml，添加以下配置：

cp hive-default.xml.template hive-site.xml
vi hive-site.xml

替换hive.metastore.warehouse.dir为/user/hive/warehouse，hive.exec.scratchdir为/tmp/hive。

上传MySQL驱动

将mysql-connector-java-8.0.26.jar上传至$HIVE_HOME/lib。

初始化数据库：

bin/schematool -initSchema -dbType mysql

启动Hive：

bin/hive

3. 远程模式

3.1 服务端配置

修改hive-site.xml

设置以下参数：


    
  
     
      hive.metastore.warehouse.dir
     
  
     
      /user/hive/warehouse
     
    
    
  
     
      hive.exec.scratchdir
     
  
     
      /tmp/hive
     
    
    
  
     
      javax.jdo.option.ConnectionURL
     
  
     
      jdbc:mysql://qf03:3306/hive?createDatabaseIfNotExist=true&characterEncoding=latin1
     
    
    
  
     
      javax.jdo.option.ConnectionDriverName
     
  
     
      com.mysql.cj.jdbc.Driver
     
    
    
  
     
      javax.jdo.option.ConnectionUserName
     
  
     
      root
     
    
    
  
     
      javax.jdo.option.ConnectionPassword
     
  
     
      123456

配置Hadoop核心-site.xml

添加以下属性：


    
  
     
      hadoop.proxyuser.root.hosts
     
  
     
      *
     
    
    
  
     
      hadoop.proxyuser.root.groups
     
  
     
      *

3.2 启动Hive服务

Hiveserver2

hive --service hiveserver2 &

Metastore

hive --service metastore &

3.3 客户端连接

连接Hiveserver2

使用Beeline客户端工具：

beeline -u jdbc:hive2://ip:10000 -n username

输入用户名和密码后即可操作。

连接Metastore

修改hive-site.xml，设置hive.metastore.uris为thrift://ip:9083，并启动Metastore服务。

通过以上步骤，可以轻松完成Hive的安装与配置。无论是内嵌模式、本地模式还是远程模式，Hive都能为用户提供强大的数据处理能力。

转载地址：http://gpqbz.baihongyu.com/

你可能感兴趣的文章

mysql CONCAT()函数拼接有NULL

查看>>

multiprocessing.Manager 嵌套共享对象不适用于队列

查看>>

multiprocessing.pool.map 和带有两个参数的函数

查看>>

MYSQL CONCAT函数

查看>>

multiprocessing.Pool:map_async 和 imap 有什么区别?

查看>>

MySQL Connector/Net 句柄泄露

查看>>

multiprocessor（中)

查看>>

mysql CPU使用率过高的一次处理经历

multisim变压器反馈式_穿过隔离栅供电：认识隔离式直流/ 直流偏置电源

查看>>

mysql csv import meets charset

查看>>

multivariate_normal TypeError: ufunc ‘add‘ output (typecode ‘O‘) could not be coerced to provided……

查看>>

MySQL DBA 数据库优化策略

查看>>

multi_index_container

查看>>

mutiplemap 总结

查看>>

MySQL Error Handling in Stored Procedures---转载

mysql generic安装_MySQL 5.6 Generic Binary安装与配置_MySQL

查看>>