最新博客
  • Hive使用UDAF自定义聚合函数 摘要: Hive使用UDAF自定义聚合函数在使用Hive进行数据处理时，经常会用到group by语法，但对分组的合并操作，hive没有MySQL支持得好： group_concat([DISTINCT] 要连接的字段 Order BY ASC/DESC 排序字段 Separator '分隔符'hive只有一个col... Model各阶段对应Evaluator方法调用    Evaluator各个阶段下处理mapreduce流程    发表于 2017-05-05 19:31 阅读(1446) 评论(0)
  • Hive自定义UDF函数实现 摘要: Hive自定义UDF函数实现使用UDF实现日期倒推30天，比如说当前日期为20170504，需要得到倒推30天的日期为20170404，格式为yyyyMMdd第一步：实现代码并达成JAR包import java.text.SimpleDateFormat;import java.util.Calendar;i... 发表于 2017-05-04 19:50 阅读(1299) 评论(0)
  • 使用Python爬取应用市场网页并存入到数据库 摘要: 第一步：安装MySQL-python-1.2.5下载MySQL-python-1.2.5.zip 文件之后直接解压。进入MySQL-python-1.2.5目录:执行：python setup.py install下载地址：https://pypi.python.org/pypi/MySQL-python/第... 发表于 2017-05-02 19:13 阅读(1316) 评论(0)
  • Hive表结构设计要点 摘要: Hive表结构设计①请求日志log_type|adx_id|device_id|device_type|package_name|req_num|req_time|package_name_cn|device_id_md5请求日志表结构CREATE EXTERNAL TABLE IF NOT EXISTS r... 发表于 2017-05-01 14:58 阅读(1378) 评论(0)
  • Hadoop Hive安装手册 摘要: Hadoop Hive安装手册一、JDK安装1.1 JDK1.8下载 到oracle官网下载jdk-8u101-linux-x64.tar.gz 先查找并卸载自带openJDKrpm -qa |grep openjdkyum -y remove *openjdk* 解压jdk-8u101-l... 发表于 2017-04-20 11:12 阅读(1563) 评论(1)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号