Hadoop生态系统—数据仓库Hive的安装

一、数据仓库

数据仓库是一个面向主题的、集成的、随时间变化,但信息本身相对稳定的数据集合,相比于传统型数据库,它主要用于支持企业或组织的决策分析处理。主要有以下3个特点:

  • 数据仓库是面向主题的:

    数据仓库中的数据是按照一定的主题域进行组织,大概意思就是说存的数据是一类数据

  • 数据仓库是随时间变化的:

    其中存的数据是有时序的,会保存很长一段时间的数据

  • 数据仓库相对稳定:

    数据仓库主要是用来进行数据的查询,很少进行修改和删除

数据仓库的结构

Hadoop生态系统—数据仓库Hive的安装插图

二、Hive简介

2.1 Hive简介

Hive最初是Facebook开发的一款用来SQL分析的应用,它是建立在Hadoop文件系统上的数据仓库,能够对存储在HDFS中的数据进行数据提取、转换和加载(ETL),这是一种可以存储、查询、分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,简称HQL。但Hive并不是一个数据库,它只是提供了和数据库相类似的查询语言。其实他是用来执行简化MapReduce操作的,可以解决很多MapReduce解决起来比较麻烦的事。Hive把用户的HiveQL语句解释转换为MapReduce作业提交到Hadoop集群上,Hadoop监控作业执行过程,然后返回作业执行结果给用户。

2.2 Hive系统架构

Hadoop生态系统—数据仓库Hive的安装插图1

  • 用户接口:主要分为3个,分别是CLI(命令行)、JDBC/ODBC(由Java实现的用来连接数据库)、和WebUI(浏览器)。
  • 跨语言服务(Thrift Server):Thrift是Facebook开发的一个软件框架,用来进行可扩展且跨语言的服务,Hive集成该服务,可以让不同的编程语言调用Hive的接口
  • 底层的驱动引擎:主要包含编译器(Compile)/优化器(Optimizer)/执行器(Executor)
  • 元数据存储系统(Metastore):Hive的元数据包括表名、列、分区及其相关属性,表数据所在目录的位置信息,Metastore默认存在自带的Derby数据库中(这是一个嵌入式数据库,更多有关嵌入式数据库资料查看这里在Spring中使用嵌入式数据库-H2)。

三、Hive实践

3.1 Hive安装

由于Hive依赖于Hadoop,所以要提前安装Hadoop,参见手把手教你安装Hadoop集群

  • 下载并解压

    之前的Hadoop是分布式安装在3台机器上的,但Hive只需要安装在一台机子即可,我这里选择的是hadoop02

    下载地址:https://hive.apache.org/downloads.html,(在国内镜像网站上也是可以下载的)注意与Hadoop的版本对应,之前安装的Hadoop是2.x版本,这里下载安装Hive 2.3.9。 具体版本对应关系可在下载页面查看。

tar zxvf apache-hive-2.3.9-bin.tar.gz 
  # ---------Hive----------
  export HIVE_HOME=/home/apache-hive-2.3.9-bin
  export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
  • 修改配置文件

    这一步不是必须的,也就是不修改配置文件也是可以启动的。

    Hive默认的配置是使得Derby数据库进行存储的,是单用户的模式,也就是意味着同一时间只能有一个用户使用Hive。这里修改的配置主要是使用MySQL来存储元数据。在Hive配置中原本有hive-default.xml.template,对这个文件进行复制修改

    cd $HIVE_HOME/conf
    cp hive-default.xml.template hive-site.xml
    

    修改如下内容,可根据name属性进行搜索,可能并不连续

  
      javax.jdo.option.ConnectionURL
      jdbc:mysql://192.168.83.1:3307/hive?createDatabaseIfNotExist=true
      
          Mysql连接地址
      
  
  
      javax.jdo.option.ConnectionPassword
      123456
      mysql密码
  
  
      javax.jdo.option.ConnectionDriverName
      com.mysql.cj.jdbc.Driver
      JDBC驱动
  
  
      javax.jdo.option.ConnectionUserName
      root
      mysql用户名
  
  
  
      hive.querylog.location
      /data/hive/querylog
      Location of Hive run time structured log file
  
  
      hive.exec.local.scratchdir
      /data/hive/scratchdir
      Local scratch space for Hive jobs
  
  
      hive.downloaded.resources.dir
      /data/hive/resourcesdir
      Temporary local directory for added resources in the remote file system.
  
  
      hive.server2.logging.operation.log.location
      /data/hive/operation_logs
      Top level directory where operation logs are stored if logging functionality is enabled
  
  • 将Mysql的JDBC连接连接驱动放进hive的lib目录下,注意下载与Mysql对应的版本

  • 在Mysql中创建hive数据库,并在hive的bin下执行如下命令,初始化Mysql中元数据的存储schema

  ./schematool -initSchema -dbType mysql 
  • 启动Hive

    由于已经配置了环境变量,所以直接执行hive即可启动

文章来源于互联网:Hadoop生态系统—数据仓库Hive的安装

THE END
分享
二维码