最新博客
  • 批量处理flume向HDFS写文件时产生未释放租约的异常文件 摘要: # encoding: utf-8'''@function:用于批量处理flume向HDFS写文件时产生未释放租约的异常文件'''import osdef get_unrealease_files(prefix = "/data/logs", tmp_suffix = ".tmp"): ''' @... 发表于 2017-06-28 13:57 阅读(1612) 评论(0)
  • Cannot obtain block length for LocatedBlock故障分析和解决 摘要: 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop集群维护的时候，基础运维组操... 发表于 2017-06-28 10:02 阅读(1534) 评论(0)
  • Hive数据导出三种方式 摘要: 一、导出到本地文件系统insert overwrite local directory '/home/data/' row format delimited FIELDS TERMINATED BY '\t'COLLECTION ITEMS TERMINATED BY ','MAP KEYS TERMINAT... 发表于 2017-06-23 15:40 阅读(1333) 评论(0)
  • Hive 行转列命令备忘 摘要: lateral view explode(字段名) mobile as 别名concat_ws 将数组转为字符串。... 发表于 2017-06-23 15:31 阅读(1393) 评论(0)
  • UE删除带有某个字符串的行 摘要: CTR+F%*^关键词*^p... 发表于 2017-06-22 10:52 阅读(2037) 评论(0)
  • 利用nginx来屏蔽指定的user_agent的访问 摘要: 对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。1、进入nginx的配置目录，例如cd /usr/local/ngi... 发表于 2017-06-11 22:33 阅读(1559) 评论(0)
  • Hive元数据表说明 摘要: Hive元数据[TOC]DBSDatabase表:DBS 表存储Hive中所有数据库的基本信息，字段如下：元数据表字段说明示例数据DB_ID数据库ID2DESC数据库描述测试库DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw123... 发表于 2017-06-07 19:47 阅读(1921) 评论(0)
  • 修改Hive表结构不更新元数据的问题 摘要: 修改Hive表结构不更新元数据的问题ALTER TABLE table_name [PARTITION partition_spec] -- (Note: Hive 0.14.0 and later) ADD|REPLACE COLUMNS (col_name data_... 发表于 2017-06-06 18:38 阅读(1409) 评论(0)
  • hdfs fsck / 报Target Replicas is 10 but found 4 replica(s).异常解决 摘要: 1.现象描述hdfs fsck / 检查HDFS状态时发现:Missing replicas: 996 (4.563992 %)Target Replicas is 10 but found 4 replica(s)[hadoop@SZC-L0055746 logs]$ hdfs f... 发表于 2017-05-25 20:53 阅读(1711) 评论(0)
  • ​Flume自定义拦截器下沉数据到Hive分区目录 摘要: 实现Flume的拦截器implements org.apache.flume.interceptor.Interceptor实现Event intercept(Event arg0)方法和Listintercept(Listarg0)方法eg:实现拦截器获取并传递数据所在的分区名Java实现代码public ... 发表于 2017-05-24 19:49 阅读(1147) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号