最新博客- Hive数据导出三种方式 摘要: 一、导出到本地文件系统insert overwrite local directory '/home/data/' row format delimited FIELDS TERMINATED BY '\t'COLLECTION ITEMS TERMINATED BY ','MAP KEYS TERMINAT... 发表于 2017-06-23 15:40 阅读(1333) 评论(0)
- Hive 行转列命令备忘 摘要: lateral view explode(字段名) mobile as 别名concat_ws 将数组转为字符串。... 发表于 2017-06-23 15:31 阅读(1394) 评论(0)
- Hive元数据表说明 摘要: Hive元数据[TOC]DBSDatabase表:DBS 表存储Hive中所有数据库的基本信息，字段如下：元数据表字段说明示例数据DB_ID数据库ID2DESC数据库描述测试库DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw123... 发表于 2017-06-07 19:47 阅读(1922) 评论(0)
- 修改Hive表结构不更新元数据的问题 摘要: 修改Hive表结构不更新元数据的问题ALTER TABLE table_name [PARTITION partition_spec] -- (Note: Hive 0.14.0 and later) ADD|REPLACE COLUMNS (col_name data_... 发表于 2017-06-06 18:38 阅读(1409) 评论(0)
- hdfs fsck / 报Target Replicas is 10 but found 4 replica(s).异常解决 摘要: 1.现象描述hdfs fsck / 检查HDFS状态时发现:Missing replicas: 996 (4.563992 %)Target Replicas is 10 but found 4 replica(s)[hadoop@SZC-L0055746 logs]$ hdfs f... 发表于 2017-05-25 20:53 阅读(1711) 评论(0)
- Flume自定义拦截器下沉数据到Hive分区目录 摘要: 实现Flume的拦截器implements org.apache.flume.interceptor.Interceptor实现Event intercept(Event arg0)方法和Listintercept(Listarg0)方法eg:实现拦截器获取并传递数据所在的分区名Java实现代码public ... 发表于 2017-05-24 19:49 阅读(1147) 评论(0)
- 修改linux用户的字符编码 摘要: vi ~/.bashrcexport.UTF-8export LC_CTYPE="en_US.UTF-8"export LC_NUMERIC="en_US.UTF-8"export LC_TIME="en_US.UTF-8"export LC_COLLATE="en_US.UTF-8"export LC_MO... 发表于 2017-05-24 19:36 阅读(1339) 评论(0)
- Azkaban Jobs 配置详情 摘要: Azkaban Jobs和配置[TOC] Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置，但是也有许多可以激活job功能的标准参数。这些参数将会在下... 发表于 2017-05-12 19:01 阅读(1558) 评论(0)
- 使用JDBC方式连接Hive2设置自定义函数 摘要: 使用JDBC方式连接Hive2设置自定义函数第一步：引入Hive和Hadoop的JAR包$hive/lib/*.jar $$hadoop/lib/*.jar$第一步：加载HiveServer2的驱动Class.forName("org.apache.hive.jdbc.HiveDriver");第二步：连接H... 发表于 2017-05-12 18:42 阅读(1497) 评论(0)
- Flume从网络端口接口数据，下沉到logger 摘要: Flume从网络端口接口数据，下沉到logger采集配置文件，netcat-logger.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sink... 发表于 2017-05-09 20:09 阅读(1309) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号