淘先锋技术网

首页 1 2 3 4 5 6 7

数据仓库技术与Hive入门

文章目录

数据仓库

基本概念

在这里插入图片描述
数据仓库(Data Warehouse,简称数仓、DW)，是一个用于存储，分析，报告的数据系统

数据仓库的目的是构建面向分析的集成化数据环境，分析结构为企业提供决策支持

数据仓库与数据库不同，数据仓库专注分析

  • 数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统
  • 同时数据仓库自身不需要“消费”任何数据，其结果开放给各个外部应用使用

这也是为什么叫做数仓，而不是工厂的原因
在这里插入图片描述

场景案例

业务数据的存储问题

数据仓库是为了分析数据而来，分析结果给企业决策提供支持。以中国人寿保险公司发展为例，中国人寿保险公司有许多业务线：人寿险，财险、车险等。
联机事务处理系统(OLTP)

在这里插入图片描述
关系型数据库是OLPT典型应用，比如：Oracle、MySQL、SQL Server等

在这里插入图片描述

分析性决策的制定

但随着业务数据越来越多，产生了许多运营相关的困惑：理赔欺诈识别、险种恶化等，为了能够正确认识这些问题

为了能够正确认识这些问题，指定相关的解决措施，基于业务数据开展数据分析，基于分析的结果给决策提供支持，也就是所谓的数据驱动决策的指定
在这里插入图片描述
OLTP系统的核心是面向业务，支持业务，支持事务，所有的约为操作可以分为读、写两种操作，一般来说读的压力大于写的压力，利用OLTP环境进行分析，存在如下问题：

  1. 数据分析对数据进行读取操作，会让读取压力倍增
  2. OLTP仅存储数周或数月的数据
  3. 数据分布在不同系统不同表中，字段类型数据不同意

数据仓库构建
在这里插入图片描述

主要特征

在这里插入图片描述
数据仓库是分析数据的平台，而不是创造数据的平台

数据仓库的数据反映的是相当长的时间历史数据的内容

数据仓库中一般有大量的数据查询操作，但修改和删除操作很少

主流开发语言-SQL

数仓开发语言概述

在理论上，任何一款编程序言只要具备读写数据、处理数据的能力，都可以用于数仓的开发，例如：Python，JAVA、C等

关键在于编程语言是否易学、好用、功能是否强大，不论从学习成本还是开发效率，上述的编程语言不是很友好，在数据分析领域，不得不提的就是SQL，分析领域主流开发语言

SQL语言介绍

SQL：结构化查询语言(Structured Query Language)，是一种数据据库查询和程序设计语言，用于存储数据已经更新和管理数据
SQL语言功能强大，核心功能秩序用9个动词，语法接近英语口语，用户很容易学习和使用
在这里插入图片描述
虽然SQL本身是为了数据库软件设计的，但在数据仓库领域，尤其是大数据仓库领域，很多数仓软件都会去支持SQL语法，原因在于用户学习SQL成本低，并且SQL对数据分析友好
在这里插入图片描述

结构化数据

在这里插入图片描述

SQL语法分类

SQL主要语法分为两个部分：数据定义语言(DDL)和数据操作语言(DML)

DDL:创建和删除表，以及数据库、索引等各种对象，但不涉及标中具体数据操作

create database --创建新数据库
create  table   -- 创建新表

DML：对表中的数据进行插入、更新、删除、查询等操作

select -- 获取数据
update  -- 更新数据
delete --删除数据
insert -- 插入数据

Apache Hive入门

在这里插入图片描述

Hive是一款建立在Hadoop之上的开源 数据仓库系统，可以存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供一种类似SQL的查询模型，称为Hive查询语言(HQL)，用于访问和分析存储在Hadoop文件中的大型数据集

Hadoop核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行
Hadoop由Facebook实现并开源

使用Hive处理数据的好处：

  1. 操作接口类SQL语法，提供快速开发的能力
  2. 避免直接写MapReduce，减少开发人员的学习成本
  3. 支持自定义函数，功能扩展很方便
  4. 背靠Hadoop，擅长存储分析海量数据集

映射信息记录

映射在数学上称为一种对应关系，在Hive中能够写sql处理的前提是针对表，而不是针对文件，因此需要将数据和表之间的对应关系描述记录清楚。映射信息专业的叫法称为元数据信息(metadata)
在这里插入图片描述

SQL语法解析、编译

用户写完sql之后，hive需要针对sql进行语法校验，并且根据记录的元数据信息进行读取sql背后的含义，指定执行计划，并且把执行计划转换成MapReduce程序来具体执行，把执行的结果封装返回给用户

最终效果
在这里插入图片描述

Apache Hive 安装部署

元数据

元数据(Metadata),又称中介数据、中继数据，位描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置，历史数据，资源查找，文件记录等功能
在这里插入图片描述
Metastore即元数据服务，用来管理metadata元数据。就可以多个客户端同时连接，而且这些客户端不需要指导MySQL数据库的用户名和密码，只需要链接metastore服务即可，某种程度上保证了hive元数据的安全
在这里插入图片描述

启动Hive之前必须先启动Hadoop集群，特别需要注意，需要等待HDFS安全模式关闭之后再启动运行Hive，Hive不是分布式安装运行的软件，其分布式的特性主要由Hadoop完成，包括分布式存储、分布式计算。

Hive SQL语言

DDL建库建表
Hive数据模型总览
在这里插入图片描述
DDL(数据定义语言)语法核心由Create、alter和drop组成，DDL并不是恶疾表内部数据的操作
在这里插入图片描述

查看数据库、表结构

show databases; # 查看某个数据库
use 数据库;      # 进入某个数据库
show tables;    # 展示所有表
desc 表名;            # 显示表结构
show partitions 表名; # 显示表名的分区
show create table_name;   # 显示创建表的结构

建表

# 建表语句
# 内部表
use xxdb; create table xxx;
# 创建一个表，结构与其他一样
create table xxx like xxx;
# 外部表
use xxdb; create external table xxx;
# 分区表
use xxdb; create external table xxx (l int) partitoned by (d string)
# 内外部表转化
alter table table_name set TBLPROPROTIES ('EXTERNAL'='TRUE'); # 内部表转外部表
alter table table_name set TBLPROPROTIES ('EXTERNAL'='FALSE');# 外部表转内部表

表结构修改

# 表结构修改
# 重命名表
use xxxdb; alter table table_name rename to new_table_name;
# 增加字段
alter table table_name add columns (newcol1 int comment ‘新增’)；
# 修改字段
alter table table_name change col_name new_col_name new_type；
# 删除字段(COLUMNS中只放保留的字段)
alter table table_name replace columns (col1 int,col2 string,col3 string)；
# 删除表
use xxxdb; drop table table_name;
# 删除分区
# 注意：若是外部表，则还需要删除文件(hadoop fs -rm -r -f  hdfspath)
alter table table_name drop if exists partitions (d=‘2016-07-01');

# 字段类型
# tinyint, smallint, int, bigint, float, decimal, boolean, string
# 复合数据类型
# struct, array, map