最新博客
  • 修改linux用户的字符编码 摘要: vi ~/.bashrcexport.UTF-8export LC_CTYPE="en_US.UTF-8"export LC_NUMERIC="en_US.UTF-8"export LC_TIME="en_US.UTF-8"export LC_COLLATE="en_US.UTF-8"export LC_MO... 发表于 2017-05-24 19:36 阅读(1339) 评论(0)
  • Azkaban Jobs 配置详情 摘要: Azkaban Jobs和配置[TOC] Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置，但是也有许多可以激活job功能的标准参数。这些参数将会在下... 发表于 2017-05-12 19:01 阅读(1558) 评论(0)
  • 使用JDBC方式连接Hive2设置自定义函数 摘要: 使用JDBC方式连接Hive2设置自定义函数第一步：引入Hive和Hadoop的JAR包$hive/lib/*.jar $$hadoop/lib/*.jar$第一步：加载HiveServer2的驱动Class.forName("org.apache.hive.jdbc.HiveDriver");第二步：连接H... 发表于 2017-05-12 18:42 阅读(1497) 评论(0)
  • Flume从网络端口接口数据，下沉到logger 摘要: Flume从网络端口接口数据，下沉到logger采集配置文件，netcat-logger.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sink... 发表于 2017-05-09 20:09 阅读(1309) 评论(0)
  • 各种语言HMAC SHA256实现 摘要: 各种语言HMAC SHA256实现语言包含： Javascript ，PHP，Java，Groovy，C#，Objective C，Go，Ruby，Python，Perl，Swift。Javascript 实现代码Run the code online with this jsfiddle. Depend... 发表于 2017-05-09 14:02 阅读(1631) 评论(0)
  • Hive使用UDAF自定义聚合函数 摘要: Hive使用UDAF自定义聚合函数在使用Hive进行数据处理时，经常会用到group by语法，但对分组的合并操作，hive没有MySQL支持得好： group_concat([DISTINCT] 要连接的字段 Order BY ASC/DESC 排序字段 Separator '分隔符'hive只有一个col... Model各阶段对应Evaluator方法调用    Evaluator各个阶段下处理mapreduce流程    发表于 2017-05-05 19:31 阅读(1446) 评论(0)
  • Hive自定义UDF函数实现 摘要: Hive自定义UDF函数实现使用UDF实现日期倒推30天，比如说当前日期为20170504，需要得到倒推30天的日期为20170404，格式为yyyyMMdd第一步：实现代码并达成JAR包import java.text.SimpleDateFormat;import java.util.Calendar;i... 发表于 2017-05-04 19:50 阅读(1299) 评论(0)
  • 使用Python爬取应用市场网页并存入到数据库 摘要: 第一步：安装MySQL-python-1.2.5下载MySQL-python-1.2.5.zip 文件之后直接解压。进入MySQL-python-1.2.5目录:执行：python setup.py install下载地址：https://pypi.python.org/pypi/MySQL-python/第... 发表于 2017-05-02 19:13 阅读(1316) 评论(0)
  • Hive表结构设计要点 摘要: Hive表结构设计①请求日志log_type|adx_id|device_id|device_type|package_name|req_num|req_time|package_name_cn|device_id_md5请求日志表结构CREATE EXTERNAL TABLE IF NOT EXISTS r... 发表于 2017-05-01 14:58 阅读(1379) 评论(0)
  • Hadoop Hive安装手册 摘要: Hadoop Hive安装手册一、JDK安装1.1 JDK1.8下载 到oracle官网下载jdk-8u101-linux-x64.tar.gz 先查找并卸载自带openJDKrpm -qa |grep openjdkyum -y remove *openjdk* 解压jdk-8u101-l... 发表于 2017-04-20 11:12 阅读(1564) 评论(1)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号