set hive.exec.dynamic.partition = true;

set hive.exec.dynamic.partition.mode = nostrict;

insert into table stu partition(class) select sid, sname, sclass from stu_tmp distribute by sclass;
g. 分区的时候可以指定多个字段，在前的字段会自动包含在后的字段
3. 分桶表
a. 分桶表的作用是用于进行数据抽样的
b. 在Hive中，分桶机制默认是不开启的
set hive.enforce.bucketing = true;
create table stu_sam(id int, name string) clustered by(name) into 6 buckets row format delimited fields terminated by ’ ';
insert into table stu_sam select * from stu;
select * from stu_sam tablesample(bucket 2 out of 3 on name);

3. 分桶表在进行分桶的时候不能从本地文件加载数据，也不能是外部表，只能从其他表中查询然后插入分桶表中
4. 允许一个表既分区又分桶

五、其他

1. SerDe：
   a. 通过正则表达式来应对实际过程中不规则数据
   b. 在正则表达式中设置捕获组来应对不规则数据，在使用的时候，每一个捕获组对应表中的一个字段，意味着捕获组的个数和字段的个数是一致的 — 确定捕获组之间的间隔符号
   create table log(ip string, datetime string, timezone string, request string,resource string, protocol string, stateid int)
   row format serde ‘org.apache.hadoop.hive.serde2.RegexSerDe’ with serdeproperties(“input.regex” = “(.) – \[(.) (.)\] "(.) (.) (.)” ([0-9]*) -") stored as textfile;
2. 索引：
   a. 索引的作用是能够提高查询速率
   b. 数据库中的索引是针对主键自动建立索引，Hive没有主键，所以Hive中默认也不自动建立索引
   c. 在Hive中，数据可以建立索引，但是需要指定字段建立索引

create index s_index on table stu(id) as ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler’ with deferred rebuild in table stu_index;

alter index s_index on stu rebuild;

drop index s_index on stu
3. 视图 - view：
a. 视图概念：

2. 视图分类：
   a. 物化视图：视图是维系在磁盘上
   b. 虚拟视图：视图是维系在内存中
3. Hive中只支持虚拟视图
   create view score_view as select name, math from score;
4. 视图中要跟随一个查询语句，但是在Hive中，创建视图的时候，这个查询语句并没有被触发 - 即意味着，这个视图创建好之后，只要没有操作这个视图，那么这个视图中此时是没有数据的
5. 元数据：
   a. 库名、表名、字段名、索引、视图、分区字段、抽样字段等称之为Hive的元数据
   b. Hive的元数据是存储在关系型数据库中。关系型数据库目前只支持两种：Derby和MySQL。默认情况下，Hive的元数据是存储在Derby中
   c. Hive的元数据只支持西欧编码
   d. 如果切换完数据库之后，启动Hive的时候出现READ or UNREAD COMMITED：
   i. vim /usr/my.cnf
   ii. 文件末尾添加：binlog_format=mixed
   iii. 重启mysql：
6. service mysqld restart
7. service mysql restart
8. beeline:
   a. 远程连接方式：sh beeline -u jdbc:hive2://hadoop01:10000/hivedemo -n root
   其中，-u表示连接地址，-n表示用户名

一、数据类型

1. 将数据类型拆分为基本类型和复杂类型
2. 复杂类型：
   a. array：数组类型。对应Java中的数组和集合类型
   数据：
   1,2,4,1,4,4 6,2,3,6,3,6
   22,23,6,36,21 64,21,32,54
   23,54,74,32 43,63,63,72
   语句：
   create table nums(num1 array, num2 array) row format delimited fields terminated by ’ ’ collection items terminated by ‘,’;
   筛选非空值：
   select num1[5] from nums where num1[5] is not null;
3. map：映射类型。对应Java中的Map类型
   数据：
   1 amy:15
   2 tom:13
   3 sam:17
   4 alex:16
   5 helen:19
   语句：
   create table infos(id int, info map<string,int>) row format delimited fields terminated by ’ ’ map keys terminated by ‘:’;
   非空查询：
   select info[‘alex’] from infos where info[‘alex’] is not null;
   c. struct：结构体类型。对应的是Java中的对象
   语句：
   create external table score(info struct<name:string, chinese:int, math:int, english:int>) row format delimited collection items terminated by ’ ’ location ‘/score’;
   获取指定属性值：
   select info.chinese from score;
   扩展：域名解析
   com — 一级域名一般适用于标记网站类型
   com - commercial - 商业
   edu - education - 教育
   org - organization - 组织/机构
   163 — 二级域名一般是企业/组织名称
   baidu.com
   163.com
   easymall.com
   mail — 三级域名一般是企业的应用
   mail.163.com
   news.baidu.com

二、函数

1. concat_ws：用指定符号拼接多个字符串
   数据：
   mail 163 com
   news baidu com
   hive apache org
   建表：
   create table web(app string, name string, type string) row format delimited fields terminated by ’ ‘;
   拼接：
   select concat_ws(’.’, app, name, type) from web
2. explode：将数组中元素提取出来形成单独的一行
   案例：单词统计
   a. 建表管理原始数据
   create external table words(word string) row format delimited fields terminated by ‘,’ location ‘/words’;
   b. 以空格为单位将单词给拆分成数组
   select split(word, ’ ') from words;
   c. 将数组中的每一个单词拆分成单独的一行以便于统计
   select explode(split(word, ’ ')) from words;
   d. 统计个数
   select w , count(w) from (select explode(split(word, ’ ')) w from words)ws group by w;
3. 自定义函数 - UDF - User Define Function。需要继承UDF类，覆盖其中的evaluate方法，将逻辑写在evaluate方法

三、join连接
建表语句：
create external table orders(oid string, dt string, pid string, num int) row format delimited fields terminated by ’ ’ location ‘/order’;
create external table products(pid string, name string, price double) row format delimited fields terminated by ’ ’ location ‘/product’;
查询语句：
select o.oid, o.num * p.price from orders o join products p on o.pid = p.pid;
获取products表中有哪些数据在orders表中出现过
select * from products p left semi join orders o on p.pid = o.pid;

一、优化

1. map side join：如果出现大表和小表的join查询，就可以考虑将小表放入内存中，这样好处在于比从HDFS上读写要快，并且不需要再单独产生Map程序去处理小表
2. join优化：如果在join过程中，附带其他查询条件，那么最好先用子查询执行查询条件来减少整体的数据量之后再进行连接查询

3. group by优化：在进行group by的时候实际上是将相同的数据发往一个ReduceTask进行处理。因为数据本身具有倾斜的特性，那么就会导致某个group中的数据多，有些group中的数据少，此时group对应的ReduceTask处理的数据量就不均等， 那么这种情况称之为数据倾斜。set hive.groupby.skewindata=true;会自动的将group by过程拆分成两个阶段，也就类似于MapReduce中的两阶段聚合
4. count distinct优化：count/max/min等聚合函数和distinct同时出现的时候，最好先用子查询进行去重，然后再进行聚合，去重的时候可以设置多个ReduceTask，通过set mapred.reduce.tasks设置数量
5.

6. 调整切片数量：本质上调整MapTask的数量。在数据结构相对简单或者处理逻辑相对简单的情况下可以适当增大切片大小来减少MapTask的数量；如果数据结构相对复杂或者处理逻辑相对复杂，可以适当减小切片大小来增多MapTask的数量。可以通过set mapred.max.split.size来调整切片大小

二、流程