[TOC]
Database表:DBS
表存储Hive中所有数据库的基本信息,字段如下:
元数据表字段 | 说明 | 示例数据 |
---|---|---|
DB_ID | 数据库ID | 2 |
DESC | 数据库描述 | 测试库 |
DB_LOCATION_URI | 数据库HDFS路径 | hdfs://namenode/user/hive/warehouse/lxw1234.db |
NAME | 数据库名 | lxw1234 |
OWNER_NAME | 数据库所有者用户名 | lxw1234 |
OWNER_TYPE | 所有者角色 | USER |
该表中存储Hive表、视图、索引表的基本信息。
元数据表字段 | 说明 | 示例数据 |
---|---|---|
TBL_ID | 表ID | 1 |
CREATE_TIME | 创建时间 | 1436317071 |
DB_ID | 数据库ID | 2,对应DBS中的DB_ID |
LAST_ACCESS_TIME | 上次访问时间 | 1436317071 |
OWNER | 所有者 | liuxiaowen |
RETENTION | 保留字段 | 0 |
SD_ID | 序列化配置信息 | 86,对应SDS表中的SD_ID |
TBL_NAME | 表名 | lxw1234 |
TBL_TYPE | 表类型 | MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW |
VIEW_EXPANDED_TEXT | 视图的详细HQL语句 | select lxw1234 .pt , lxw1234 .pcid from liuxiaowen .lxw1234 |
VIEW_ORIGINAL_TEXT | 视图的原始HQL语句 | select * from lxw1234 |
该表保存文件存储的基本信息,如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。
TBLS表中的SD_ID与该表关联,可以获取Hive表的存储信息。
元数据表字段 | 说明 | 示例数据 |
---|---|---|
SD_ID | 存储信息ID | 1 |
CD_ID | 字段信息ID | 21,对应CDS表 |
INPUT_FORMAT | 文件输入格式 | org.apache.hadoop.mapred.TextInputFormat |
IS_COMPRESSED | 是否压缩 | 0 |
IS_STOREDASSUBDIRECTORIES | 是否以子目录存储 | 0 |
LOCATION | HDFS路径 | hdfs://namenode/hivedata/warehouse/ut.db/t_lxw |
NUM_BUCKETS | 分桶数量 | 5 |
OUTPUT_FORMAT | 文件输出格式 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
SERDE_ID | 序列化类ID | 3,对应SERDES表 |
该表存储表对应的字段信息。
元数据表字段 | 说明 | 示例数据 |
---|---|---|
CD_ID | 字段信息ID | 1 |
COMMENT | 字段注释 | |
COLUMN_NAME | 字段名 | pt |
TYPE_NAME | 字段类型 | string |
INTEGER_IDX | 字段顺序 | 2 |
该表存储表分区的基本信息。
元数据表字段 | 说明 | 示例数据 |
---|---|---|
PART_ID | 分区ID | 1 |
CREATE_TIME | 分区创建时间 | |
LAST_ACCESS_TIME | 最后一次访问时间 | |
PART_NAME | 分区名 | pt=2015-06-12 |
SD_ID | 分区存储ID | 21 |
TBL_ID | 表ID | 2 |
以箭头指向为依赖方向
PARTITIONS->TBLS->SDS
TBLS->DBS
SDS->COLUMN_v2
当我们修改字段时,COLUMN_v2会产生一组新的CD_ID对应的字段描述,而SDS表中的LOCATION指向的CD_ID还是旧的,所以会导致旧的目录和分区目录的数据查询不到新字段的值。