本文共 3516 字,大约阅读时间需要 11 分钟。
Hive的安装分为三种模式:内嵌模式、本地模式和远程模式。Hive会自动监测Hadoop的环境变量,因此在安装前需确保Hadoop已正确配置并运行。
解压Hive并配置环境变量
将apache-hive-3.1.2-bin.tar.gz
上传至/root/software
,解压并重命名为hive-3.1.2
。修改/etc/profile
,添加以下环境变量: export HIVE_HOME=/usr/local/hive-3.1.2export PATH=$HIVE_HOME/bin:$PATH
重新加载环境变量:
source /etc/profile
配置hive-env.sh
如果没有hive-env.sh
,则将hive-env.sh.template
复制过来并编辑,设置以下变量: export HIVE_CONF_DIR=/usr/local/hive-3.1.2/confexport JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport HIVE_AUX_JARS_PATH=/usr/local/hive-3.1.2/lib
配置hive-site.xml
将hive-default.xml.template
复制至hive-site.xml
,并修改内容: cp hive-default.xml.template hive-site.xmlvi hive-site.xml
替换所有${system:java.io.tmpdir}
为/usr/local/hive-3.1.2/iotmp
,并将${system:user.name}
替换为root
。
创建存储目录并授权
创建以下目录并设置权限:hdfs dfs -mkdir -p /user/hive/warehousehdfs dfs -mkdir -p /tmp/hivehdfs dfs -chmod 750 /user/hive/warehousehdfs dfs -chmod 777 /tmp/hive
启动Hadoop
start-dfs.shstart-yarn.sh
初始化Hive
schematool --initSchema -dbType derby
启动Hive
bin/hive
在Hive CLI中执行以下命令:
show databases; # 查看数据库show tables; # 查看表create table dog (id int, name string); # 创建表insert into dog values (1, "wangcai"); # 插入数据desc dog; # 查看表结构quit; # 退出
本地模式使用MySQL作为元数据存储,Hive的相关进程运行在同一台机器上。MySQL需要手动安装并配置。
卸载Mariadb(若有):
rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps
安装MySQL:
rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpmrpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-compat-8.0.26-1.el7.x86_64.rpmrpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpmyum install -y net-tools perlrpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm
启动MySQL服务并设置密码:
systemctl start mysqldsystemctl status mysqld
登录MySQL:
mysql -u root -p
修改密码并授权root用户:
alter user root@localhost identified by '123456';grant all privileges on *.* to 'root'@'%' with grant option;FLUSH PRIVILEGES;
配置Hive
复制并编辑hive-env.sh
,并设置以下内容: cp hive-env.sh.template hive-env.shvi hive-env.sh
修改hive-site.xml
,添加以下配置:
cp hive-default.xml.template hive-site.xmlvi hive-site.xml
替换hive.metastore.warehouse.dir
为/user/hive/warehouse
,hive.exec.scratchdir
为/tmp/hive
。
上传MySQL驱动
将mysql-connector-java-8.0.26.jar
上传至$HIVE_HOME/lib
。 初始化数据库:
bin/schematool -initSchema -dbType mysql
启动Hive:
bin/hive
修改hive-site.xml
hive.metastore.warehouse.dir /user/hive/warehouse hive.exec.scratchdir /tmp/hive javax.jdo.option.ConnectionURL jdbc:mysql://qf03:3306/hive?createDatabaseIfNotExist=true&characterEncoding=latin1 javax.jdo.option.ConnectionDriverName com.mysql.cj.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456
配置Hadoop核心-site.xml
添加以下属性:hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
Hiveserver2
hive --service hiveserver2 &
Metastore
hive --service metastore &
连接Hiveserver2
使用Beeline客户端工具:beeline -u jdbc:hive2://ip:10000 -n username
输入用户名和密码后即可操作。
连接Metastore
修改hive-site.xml
,设置hive.metastore.uris
为thrift://ip:9083
,并启动Metastore服务。 通过以上步骤,可以轻松完成Hive的安装与配置。无论是内嵌模式、本地模式还是远程模式,Hive都能为用户提供强大的数据处理能力。
转载地址:http://gpqbz.baihongyu.com/