博客信息

Hive元数据表说明

发布时间:『 2017-06-07 19:47』  博客类别:Hadoop/Spark  阅读(1922) 评论(0)

Hive元数据

[TOC]

DBS

Database表:DBS  

表存储Hive中所有数据库的基本信息,字段如下:

元数据表字段说明示例数据
DB_ID数据库ID2
DESC数据库描述测试库
DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME数据库名lxw1234
OWNER_NAME数据库所有者用户名lxw1234
OWNER_TYPE所有者角色USER

 

TBLS

该表中存储Hive表、视图、索引表的基本信息。

元数据表字段说明示例数据
TBL_ID表ID1
CREATE_TIME创建时间1436317071
DB_ID数据库ID2,对应DBS中的DB_ID
LAST_ACCESS_TIME上次访问时间1436317071
OWNER所有者liuxiaowen
RETENTION保留字段0
SD_ID序列化配置信息86,对应SDS表中的SD_ID
TBL_NAME表名lxw1234
TBL_TYPE表类型MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT视图的详细HQL语句select lxw1234.pt, lxw1234.pcid from liuxiaowen.lxw1234
VIEW_ORIGINAL_TEXT视图的原始HQL语句select * from lxw1234

 

SDS

该表保存文件存储的基本信息,如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

TBLS表中的SD_ID与该表关联,可以获取Hive表的存储信息。

元数据表字段说明示例数据
SD_ID存储信息ID1
CD_ID字段信息ID21,对应CDS表
INPUT_FORMAT文件输入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否压缩0
IS_STOREDASSUBDIRECTORIES是否以子目录存储0
LOCATIONHDFS路径hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS分桶数量5
OUTPUT_FORMAT文件输出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化类ID3,对应SERDES表

 

COLUMNS_V2

该表存储表对应的字段信息。

元数据表字段说明示例数据
CD_ID字段信息ID1
COMMENT字段注释
COLUMN_NAME字段名pt
TYPE_NAME字段类型string
INTEGER_IDX字段顺序2

 

PARTITIONS

该表存储表分区的基本信息。

元数据表字段说明示例数据
PART_ID分区ID1
CREATE_TIME分区创建时间
LAST_ACCESS_TIME最后一次访问时间
PART_NAME分区名pt=2015-06-12
SD_ID分区存储ID21
TBL_ID表ID2


依赖关系

以箭头指向为依赖方向

PARTITIONS->TBLS->SDS

TBLS->DBS

SDS->COLUMN_v2

当我们修改字段时,COLUMN_v2会产生一组新的CD_ID对应的字段描述,而SDS表中的LOCATION指向的CD_ID还是旧的,所以会导致旧的目录和分区目录的数据查询不到新字段的值。

关键字:   无
评论信息
暂无评论
发表评论
验证码: 
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号