hive的安装与配置(hive的安装与配置实验报告)

本篇文章给大家谈谈hive的安装与配置,以及hive的安装与配置实验报告对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。

本文目录一览:

hadoop分布式系统中怎么安装hive

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理,获取最终的结果。元数据——如表模式——存储在名为metastore的数据库中。

系统环境

ip地址1 hadoop-master

ip地址2 hadoop-slave

MySQL安装在master机器上,hive服务器也安装在master上

Hive下载

下载源码包,最新版本可自行去官网下载

[hadoop@hadoop-master ~]$ wget hive的下载地址

[hadoop@hadoop-master ~]$ tar -zxf apache-hive-1.2.1-bin.tar.gz 

[hadoop@hadoop-master ~]$ ls

apache-hive-1.2.1-bin  apache-hive-1.2.1-bin.tar.gz  dfs  hadoop-2.7.1  Hsource  tmp12341234

配置环境变量

[root@hadoop-master hadoop]# vi /etc/profile

HIVE_HOME=/home/hadoop/apache-hive-1.2.1-bin

PATH=$PATH:$HIVE_HOME/bin

export HIVE_NAME PATH

Metastore

metastore是hive元数据集中存放地。它包括两部分:服务和后台数据存储。有稿斗厅三种方式配置metastore:内嵌metastore、本地metastore以及远程metastore。 

本次搭建中采用MySQL作为远程仓库,部署在hadoop-master节点上,hive服务端也安装在hive-master上,hive客户端即hadoop-slave访问hive服务器。

创建Hive用户

mysqlCREATE USER 'hive' IDENTIFIED BY 'hive';

mysqlGRANT ALL PRIVILEGES ON *.* TO 'hive'@'hadoop-master' WITH GRANT OPTION;

mysqlflush privileges;123123

Hive用户登录

[hadoop@hadoop-master ~]mysql -h hadoop-master -uhive

mysqlset password = password('hive');1212

创建Hive数据库

mysqlcreate database hive;

配置Hive

修改配置文件 

进入到hive的配置文件目录下,找到hive-default.xml.template,cp份为hive-default.xml 

另创建hive-site.xml并添销拿加参数

[hadoop@hadoop-master conf]$ pwd

/home/hadoop/apache-hive-1.2.1-bin/conf

[hadoop@hadoop-master conf]$ vi hive-site.xml

configuration

    property

        namejavax.jdo.option.ConnectionURL/name

        valuejdbc:mysql://hadoop-master:3306/hive?createDatabaseIfNotExist=true/value

        descriptionJDBC connect string for a JDBC metastore/description    

    /property   

    property 

        namejavax.jdo.option.ConnectionDriverName/name 

        valuecom.mysql.jdbc.Driver/value 

        descriptionDriver class name for a JDBC metastore/description     

    /property               

    property 

        键隐namejavax.jdo.option.ConnectionUserName/name

        valuehivevalue

        descriptionusername to use against metastore database/description

    /property

    property  

        namejavax.jdo.option.ConnectionPassword/name

        valuehive/value

        descriptionpassword to use against metastore database/description  

    /property          

/configuration

Hive客户端配置

[hadoop@hadoop-master ~]$ scp -r apache-hive-1.2.1-bin/ hadoop@hadoop-slave:/home/hadoop

[hadoop@hadoop-slave conf]$ vi hive-site.xml

configuration

    property  

        namehive.metastore.uris/name  

    valuethrift://hadoop-master:9083/value  

    /property

/configuration

Hive启动

要启动metastore服务

[hadoop@hadoop-master ~]$ hive --service metastore 

[hadoop@hadoop-master ~]$ jps

10288 RunJar  #多了一个进程

9365 NameNode

9670 SecondaryNameNode

11096 Jps

9944 NodeManager

9838 ResourceManager

9471 DataNode

Hive服务器端访问

[hadoop@hadoop-master ~]$ hive

Logging initialized using configuration in jar:file:/home/hadoop/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties

hive show databases;

OK

default

src

Time taken: 1.332 seconds, Fetched: 2 row(s)

hive use src;

OK

Time taken: 0.037 seconds

hive create table test1(id int);

OK

Time taken: 0.572 seconds

hive show tables;

OK

abc

test

test1

Time taken: 0.057 seconds, Fetched: 3 row(s)

hive

Hive客户端访问

[hadoop@hadoop-slave conf]$ hive

Logging initialized using configuration in jar:file:/home/hadoop/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties

hive show databases;

OK

default

src

Time taken: 1.022 seconds, Fetched: 2 row(s)

hive use src;

OK

Time taken: 0.057 seconds

hive show tables;

OK

abc

test

test1

Time taken: 0.218 seconds, Fetched: 3 row(s)

hive create table test2(id int ,name string);

OK

Time taken: 5.518 seconds

hive show tables;

OK

abc

test

test1

test2

Time taken: 0.102 seconds, Fetched: 4 row(s)

hive在启动过程中会去环境变量中找哪个hadoop的变量

一、hive配置

1.安装环境

在hadoop-1.2.1集群上安装hive-1.2.1

2.将hive-1.2.1环境变量添加到PATH路径下

使用如下命令打开配置文件

nano /etc/profile

在打开的配置文件里添加如下代码

export HIVE_HOME=/opt/hive-1.2.1PATH=$HIVE_HOME/bin:$PATH

3.配置hive-default.xml和hive-site.xml

在/opt/hive-1.2.1/conf目录下没有这两个文件夹,只有一个hive-default.xml.template,复制hive-default.xml.template,命名为hive-default.xml。

然后修改hive-default.xml文件里的内容,将默认的路径换成绝对路径,具体修改如下图:

然后复制hive-default.xml,命名为hive-site.xml。

在/opt/hive-1.2.1/conf只有hive-env.sh.template文件,复制hive-site.sh.template并命名为hive-site.sh,然后祥戚瞎修改hive-site.sh文件权限,使用如下命令

chmod u+x hive-env.sh

4.配置hive-log4j.properties

在/opt/hive-1.2.1/conf目录下只有hive-log4j.properties.template文件,复制hive-log4j.properties.template并命名为谨空hive-log4j.properties,命令如下

cp hive-log4j.properties.template  hive-log4j.properties

将log4j.appender.EventCounter=org.apache.hadoop.hive.shims.HiveEventCounter

修改仔乎为:log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

否则会出现警告:

WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

5.启动hive

使用命令hive启动

二、在启动过程中出现的问题

1./tmp/hive文件权限问题

解决方案:需要使用如下命令修改/tmp/hive文件权限

hadoop fs -chmod -R 777 /tmp/hive

2.找不到路径问题

解决方案:需要按照上述步骤3来配置hive-default.xml和hive-site.xml文件。

我想学习hive,请问安装hive之前,必须安装centos、hadoop、java这些吗?

安装需要

java 1.6,java 1.7或更高版本。

Hadoop 2.x或更高, 1.x. Hive 0.13 版本也支持 0.20.x, 0.23.x

Linux,mac,windows操作系统。以下内容适用于linux系统。

安装打包好的hive

需要先到apache下载已打包好的hive镜像,然后解压开该文闹渣件

$ tar -xzvf hive-x.y.z.tar.gz

设置hive环境变量

$ cd hive-x.y.z$ export HIVE_HOME={{pwd}}

设置hive运行路径

$ export PATH=$HIVE_HOME/bin:$PATH

编译Hive源码

下载hive源码

此处使用maven编译,需要下载安装maven。

以Hive 0.13版为例

编译hive 0.13源码基于hadoop 0.23或更高版本

$cdhive$mvncleaninstall-Phadoop-2,dist$cdpackaging/target/apache-hive-{version}-SNAPSHOT-bin/apache-hive-{version}-SNAPSHOT-bin$lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore)

编译hive 基于hadoop 0.20

$cdhive$antcleanpackage$cdbuild/dist#lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore)

运行hive

Hive运行依赖于hadoop,在运行hadoop之前必需先配置好hadoopHome。

export HADOOP_HOME=hadoop-install-dir

在hdfs上为hive创建\tmp目录和/user/hive/warehouse(akahive.metastore.warehouse.dir) 目录,然后你才可以运行hive。

在运行hive之前设置HiveHome。

$ export HIVE_HOME=hive-install-dir

在命令行悉模窗口启动hive

$ $HIVE_HOME/bin/hive

若执行成功,将看到睁弯缓类似内容如图所示

[img]

Hive应用实践-安装并配置mysql

(已安装则跳过)

yum -y install wget

安装这个包后,会获得两个mysql的yum repo源:嫌坦

修改配置文件/etc/my.cnf,添加

然后,重启服务:

MYSQL就可以无密码登录了

删除配置文件my.cnf中的skip-grant-tables

重启服务: systemctl restart mysqld

使用密埋敏码芹液桐登录: mysql -uroot -p

注:需要关闭centos防火墙

查看版本号:

mysql -V

启动mysql服务

systemcl start mysqld.service

停止mysql服务

systemctl stop mysqld.service

重启mysql服务

systemctl restart mysqld.service

查看mysql服务当前状态

systemctl status mysqld.service

设置mysql服务开机自启动

systemctl enable mysqld.service

停止mysql服务开机自启动

systemctl disable mysqld.service

rpm -qa|grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

输出内容最后root@localhost:XXXXXXXX中的XXXX为初始密码

编写后保存

关于hive的安装与配置和hive的安装与配置实验报告的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

相关阅读

  • 包含sqlservercharindex的词条

    包含sqlservercharindex的词条

    **简介**SQL Server 中有很多内置函数可以用来处理字符串数据,其中之一就是 `CHARINDEX` 函数。这个函数可以用来定位一个子字符串在另一个字符串中的位置。本文将详细介绍 `CHARINDEX` 函数的用法和示例。**什么...

    2024.04.15 21:00:13作者:intanet.cnTags:sqlservercharindex
  • pg数据仓库(iphone 数据库)

    pg数据仓库(iphone 数据库)

    【PG数据仓库】---### 简介PG数据仓库是一种基于PostgreSQL开发的数据仓库解决方案,旨在提供高性能、可扩展和稳定的数据存储和分析功能。通过PG数据仓库,用户可以将大量的数据进行存储、查询和分析,在实现数据驱动决策的同时提升企...

    2024.04.15 19:11:14作者:intanet.cnTags:pg数据仓库
  • sqlserver2016安装(sqlserver2016安装教程 简书)

    sqlserver2016安装(sqlserver2016安装教程 简书)

    标题:SQL Server 2016安装教程简介:SQL Server 2016是微软公司推出的一款全新的关系数据库管理系统,具有更强大的性能和更多的功能优化。本文将为大家介绍SQL Server 2016的安装过程,并提供详细的步骤指导。...

    2024.04.15 17:22:13作者:intanet.cnTags:sqlserver2016安装
  • 数据仓库数据中台(数据仓库详解)

    数据仓库数据中台(数据仓库详解)

    数据仓库数据中台---### 简介数据仓库数据中台是指将企业的数据仓库和数据中台进行整合,以实现数据的集中管理、统一分析和共享利用。数据仓库是企业存储历史数据的中心数据库,而数据中台则是对数据进行处理、分析和应用的平台。通过将两者整合,企业...

    2024.04.15 12:11:12作者:intanet.cnTags:数据仓库数据中台
  • 数据计算(数据计算及应用)

    数据计算(数据计算及应用)

    标题:数据计算简介:数据计算是指利用计算机和相关软件工具进行数据处理和分析的过程,已经成为现代社会中不可或缺的技术手段。本文将介绍数据计算的基本概念、重要性以及常见的数据计算方法。一、数据计算的基本概念数据计算是指在计算机系统上对大规模数据...

    2024.04.15 11:44:12作者:intanet.cnTags:数据计算
  • 数据库技术应用(数据库技术应用实验总结)

    数据库技术应用(数据库技术应用实验总结)

    数据库技术应用介绍:数据库技术是一种用于管理和存储数据的技术,已经被广泛应用于各个行业。它可以帮助组织有效地管理数据,提高工作效率,加强数据安全性。本文将详细介绍数据库技术的应用。一、数据结构数据库技术通过数据结构来存储和组织数据,常见的数...

    2024.04.15 07:11:12作者:intanet.cnTags:数据库技术应用
  • 安装mongodb(安装mongodb注意)

    安装mongodb(安装mongodb注意)

    简介:MongoDB是一种NoSQL数据库管理系统,使用文档存储模式,便于在应用程序内进行数据存储和检索。本文将介绍如何安装MongoDB。一、MongoDB下载首先,需要访问官方网站https://www.mongodb.com/下载Mo...

    2024.04.15 03:00:11作者:intanet.cnTags:安装mongodb
  • 存储过程sql注入(存储过程 sql注入)

    存储过程sql注入(存储过程 sql注入)

    简介:存储过程SQL注入是一种常见的安全漏洞,攻击者利用存储过程中的漏洞,通过恶意输入的SQL语句对数据库进行攻击。本文将详细介绍存储过程SQL注入的原理、危害以及防范措施。一级标题: 存储过程SQL注入原理存储过程是一系列SQL语句的集合...

    2024.04.15 01:22:12作者:intanet.cnTags:存储过程sql注入