最新博客- Hive shell终端查询条件乱码的问题解决 摘要: 在服务上打开Hive Shell客户端，经常需要输入中文条件，但是每次都遇上输入中文乱码的问题。这个时候我想到了一个办法，那就是将中文URL编码，然后再解码作为查询条件的值。例如：我需要查询公司名称为“饭店”的记录原本查询SQL应该如下：select * from company where company_... 发表于 2020-02-24 16:49 阅读(1611) 评论(0)
- Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0 摘要: 使用pyspark访问hive，出现问题：Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0这是因为spark2.3.1默认支持1.x，所以当升级了hive后，就会报这个错。查了网上有两种解决方案：1、修改数据库配... 发表于 2020-01-15 20:03 阅读(1970) 评论(0)
- Azkaban3.10.0安装步骤 摘要: 5.Azkaban安装5.1下载准备下载并编译Azkaban3.10.0，这里直接使用已编译和配置的安装包Azkaban3.10.0.tar.gz5.2安装配置将Azkaban3.10.0.tar.gz解压到/home/hadoop/soft目录下进入/home/hadoop/soft/azkaban/plu... 发表于 2020-01-14 14:03 阅读(2320) 评论(0)
- 网站域名 http不可以访问 https可以访问的问题解决 摘要: 最近有一个未备案的域名，http不可以访问，https却可以访问，非常疑惑，后来才发现是被Q了。但是本人的网站并没有什么违规的内容，为什么被Q不得而知。而且，这个据说也没有申诉的通道。于是，在网上找到了一种办法。那就是在浏览器的硬编码里预加载域名为https。提交通道如下：https://hstspreloa... 发表于 2020-01-13 22:21 阅读(2304) 评论(0)
- xgboost4j spark 打包libxgboost4j.so的命令 摘要: 1、 首先安装gcc 4.9.3安装步骤见：https://imzhangjie.cn/article/171.html 2、然后到达xgboost的源码目录执行：make config=make/config.mk3、最后编译libxgboost4j.so#在jvm-packages目录下创建lib目录mk... 发表于 2020-01-07 20:26 阅读(1833) 评论(1)
- Linux下GCC4.9.3编译器的安装及出现的问题 摘要: 首先，下载gcc4.9.3cd /optwget tar -xvf gcc-4.9.3.tar.gzmkdir /usr/local/gcc-4.9.3/cd /opt/gcc-4.9.3./configure -prefix=/usr/local/gcc-4.9.3如果出现如下错误：configure : ... 发表于 2020-01-07 20:22 阅读(2231) 评论(0)
- 编译 xgboost 不编译 xgboost4j 下的JNI库libxgboost4j.so的问题解决 摘要: cmake 3.14.6gcc 4.8.5xgboost 0.72今天照着官网编译xgboost的源码，发现一个问题，xgboost4j下的native包没有编译。git clone --recursive https://github.com/dmlc/xgboostcd xgboostmkdir bui... 发表于 2020-01-03 19:44 阅读(2226) 评论(0)
- 重新设置hdfs某个路径下的备份数量 摘要: 有时候，我们为了节省集群的存储空间，需要减少hdfs的备份次数。这时候需要用到一个命令。例如：我需要将hdfs目录/data下的文件的备份改为2份hdfs dfs -setrep 2 -R -w /data/即可。... 发表于 2019-12-31 18:20 阅读(2159) 评论(0)
- ElasticSearch集群安装说明 摘要: 1.环境信息 目前es最新版本为7以上，但鉴于网上大部分es集群选择的是es6,因此本文采取了elasticsearch-6.2.4这个版本，jdk选择jdk8,版本为：java1.8.0_101 本文选择三个节点安装es，主机信息如下节点ipes安装目录n1192.168.3.1/data0/soft/el... 发表于 2019-12-31 18:06 阅读(1467) 评论(0)
- DISCUZ 3.4 实现全站所有链接 HTTPS请求不打感叹号 摘要: 网站开启https访问的好处有很多啊。比如搜索引擎会青睐，浏览器，比如火狐，谷歌会出现一个绿色的锁。非https网站谷歌直接会提示不安全。对用户体验来说大打折扣。 在尝试给discuz网站开通https访问的时候，出现了很多问题。这里大概总结下处理步骤。避免以后出现同样的问题。 首先，ng... 发表于 2019-12-28 16:05 阅读(1551) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号