张杰部落格
最新博客
  • Hive shell终端查询条件乱码的问题解决 摘要: 在服务上打开Hive Shell客户端,经常需要输入中文条件,但是每次都遇上输入中文乱码的问题。这个时候我想到了一个办法,那就是将中文URL编码,然后再解码作为查询条件的值。例如:我需要查询公司名称为“饭店”的记录原本查询SQL应该如下:select * from company where company_... 发表于 2020-02-24 16:49 阅读(603) 评论(0)

  • Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0 摘要: 使用pyspark访问hive,出现问题:Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0这是因为spark2.3.1默认支持1.x,所以当升级了hive后,就会报这个错。查了网上有两种解决方案:1、修改数据库配... 发表于 2020-01-15 20:03 阅读(906) 评论(0)

  • Azkaban3.10.0安装步骤 摘要: 5.Azkaban安装5.1下载准备下载并编译Azkaban3.10.0,这里直接使用已编译和配置的安装包Azkaban3.10.0.tar.gz5.2安装配置将Azkaban3.10.0.tar.gz解压到/home/hadoop/soft目录下进入/home/hadoop/soft/azkaban/plu... 发表于 2020-01-14 14:03 阅读(1240) 评论(0)

  • 网站域名 http不可以访问 https可以访问的问题解决 摘要: 最近有一个未备案的域名,http不可以访问,https却可以访问,非常疑惑,后来才发现是被Q了。但是本人的网站并没有什么违规的内容,为什么被Q不得而知。而且,这个据说也没有申诉的通道。于是,在网上找到了一种办法。那就是在浏览器的硬编码里预加载域名为https。提交通道如下:https://hstspreloa... 发表于 2020-01-13 22:21 阅读(844) 评论(0)

  • xgboost4j spark 打包libxgboost4j.so的命令 摘要: 1、 首先安装gcc 4.9.3安装步骤见:https://imzhangjie.cn/article/171.html 2、然后到达xgboost的源码目录执行:make config=make/config.mk3、最后编译libxgboost4j.so#在jvm-packages目录下创建lib目录mk... 发表于 2020-01-07 20:26 阅读(756) 评论(1)

  • Linux下GCC4.9.3编译器的安装及出现的问题 摘要: 首先,下载gcc4.9.3cd /optwget tar -xvf gcc-4.9.3.tar.gzmkdir /usr/local/gcc-4.9.3/cd /opt/gcc-4.9.3./configure -prefix=/usr/local/gcc-4.9.3如果出现如下错误:configure : ... 发表于 2020-01-07 20:22 阅读(917) 评论(0)

  • 编译 xgboost 不编译 xgboost4j 下的JNI库libxgboost4j.so的问题解决 摘要: cmake 3.14.6gcc 4.8.5xgboost 0.72今天照着官网编译xgboost的源码,发现一个问题,xgboost4j下的native包没有编译。git clone --recursive https://github.com/dmlc/xgboostcd xgboostmkdir bui... 发表于 2020-01-03 19:44 阅读(1032) 评论(0)

  • 重新设置hdfs某个路径下的备份数量 摘要: 有时候,我们为了节省集群的存储空间,需要减少hdfs的备份次数。这时候需要用到一个命令。例如:我需要将hdfs目录/data下的文件的备份改为2份hdfs dfs -setrep 2 -R -w /data/即可。... 发表于 2019-12-31 18:20 阅读(998) 评论(0)

  • ElasticSearch集群安装说明 摘要: 1.环境信息 目前es最新版本为7以上,但鉴于网上大部分es集群选择的是es6,因此本文采取了elasticsearch-6.2.4这个版本,jdk选择jdk8,版本为:java1.8.0_101 本文选择三个节点安装es,主机信息如下节点ipes安装目录n1192.168.3.1/data0/soft/el... 发表于 2019-12-31 18:06 阅读(541) 评论(0)

  • DISCUZ 3.4 实现全站所有链接 HTTPS请求不打感叹号 摘要: 网站开启https访问的好处有很多啊。比如搜索引擎会青睐,浏览器,比如火狐,谷歌会出现一个绿色的锁。非https网站谷歌直接会提示不安全。对用户体验来说大打折扣。 在尝试给discuz网站开通https访问的时候,出现了很多问题。这里大概总结下处理步骤。避免以后出现同样的问题。 首先,ng... 发表于 2019-12-28 16:05 阅读(646) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2022 粤ICP备14056181号