张杰部落格
最新博客
  • 强制Hive走MR避免查询Hbase走LocalTask 摘要: 最近使用hive带条件去查询hbase,count(1)只需要花费时间400秒,而查询其中的一个字段却花费3个多小时。原因是因为hive去查询hbase的数据没有走MR,而是交给了某一个节点走localtask。可以设置如下参数:set hive.fetch.task.conversion=minimal;强... 发表于 2017-09-19 15:25 阅读(476) 评论(0)

  • java调用jar包中某个类的main方法 摘要: java -classpath dmp_logic.jar com.paic.dmp.common.util.SsdbFactory 'get' 'u:9d9cbd16a39c55bfc6a3724f1b64dd7c'... 发表于 2017-09-15 21:14 阅读(410) 评论(0)

  • Hive从Hbase中查询增量数据 摘要: Hive从Hbase中查询增量数据很多人可能不知道Hive怎么映射hbase的timestamp的问题,因为WIKI中有一句LIMITATION:https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration there is current... 发表于 2017-09-15 21:12 阅读(330) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2020 粤ICP备14056181号