张杰部落格
最新博客
  • Hyper-V创建虚拟机步骤 摘要: 第一步:创建硬盘(1)创建固定硬盘性能更佳(2)指定硬盘的名称和位置(3)指定硬盘的大小(4)点击完成开始创建第二步:创建虚拟机指定硬盘(1) 指定名称和位置(2)分配内存(3)配置网络(4)使用创建好的虚拟固定硬盘(5)点击下一步即完成。... 发表于 2020-02-24 22:23 阅读(77) 评论(0)

  • Hive shell终端查询条件乱码的问题解决 摘要: 在服务上打开Hive Shell客户端,经常需要输入中文条件,但是每次都遇上输入中文乱码的问题。这个时候我想到了一个办法,那就是将中文URL编码,然后再解码作为查询条件的值。例如:我需要查询公司名称为“饭店”的记录原本查询SQL应该如下:select * from company where company_... 发表于 2020-02-24 16:49 阅读(91) 评论(0)

  • Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0 摘要: 使用pyspark访问hive,出现问题:Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0这是因为spark2.3.1默认支持1.x,所以当升级了hive后,就会报这个错。查了网上有两种解决方案:1、修改数据库配... 发表于 2020-01-15 20:03 阅读(236) 评论(0)

  • Azkaban3.10.0安装步骤 摘要: 5.Azkaban安装5.1下载准备下载并编译Azkaban3.10.0,这里直接使用已编译和配置的安装包Azkaban3.10.0.tar.gz5.2安装配置将Azkaban3.10.0.tar.gz解压到/home/hadoop/soft目录下进入/home/hadoop/soft/azkaban/plu... 发表于 2020-01-14 14:03 阅读(214) 评论(0)

  • 网站域名 http不可以访问 https可以访问的问题解决 摘要: 最近有一个未备案的域名,http不可以访问,https却可以访问,非常疑惑,后来才发现是被Q了。但是本人的网站并没有什么违规的内容,为什么被Q不得而知。而且,这个据说也没有申诉的通道。于是,在网上找到了一种办法。那就是在浏览器的硬编码里预加载域名为https。提交通道如下:https://hstspreloa... 发表于 2020-01-13 22:21 阅读(131) 评论(0)

  • xgboost4j spark 打包libxgboost4j.so的命令 摘要: 1、 首先安装gcc 4.9.3安装步骤见:https://imzhangjie.cn/article/171.html 2、然后到达xgboost的源码目录执行:make config=make/config.mk3、最后编译libxgboost4j.so#在jvm-packages目录下创建lib目录mk... 发表于 2020-01-07 20:26 阅读(190) 评论(0)

  • Linux下GCC4.9.3编译器的安装及出现的问题 摘要: 首先,下载gcc4.9.3cd /optwget tar -xvf gcc-4.9.3.tar.gzmkdir /usr/local/gcc-4.9.3/cd /opt/gcc-4.9.3./configure -prefix=/usr/local/gcc-4.9.3如果出现如下错误:configure : ... 发表于 2020-01-07 20:22 阅读(235) 评论(0)

  • 编译 xgboost 不编译 xgboost4j 下的JNI库libxgboost4j.so的问题解决 摘要: cmake 3.14.6gcc 4.8.5xgboost 0.72今天照着官网编译xgboost的源码,发现一个问题,xgboost4j下的native包没有编译。git clone --recursive https://github.com/dmlc/xgboostcd xgboostmkdir bui... 发表于 2020-01-03 19:44 阅读(201) 评论(0)

  • 重新设置hdfs某个路径下的备份数量 摘要: 有时候,我们为了节省集群的存储空间,需要减少hdfs的备份次数。这时候需要用到一个命令。例如:我需要将hdfs目录/data下的文件的备份改为2份hdfs dfs -setrep 2 -R -w /data/即可。... 发表于 2019-12-31 18:20 阅读(217) 评论(0)

  • ElasticSearch集群安装说明 摘要: 1.环境信息 目前es最新版本为7以上,但鉴于网上大部分es集群选择的是es6,因此本文采取了elasticsearch-6.2.4这个版本,jdk选择jdk8,版本为:java1.8.0_101 本文选择三个节点安装es,主机信息如下节点ipes安装目录n1192.168.3.1/data0/soft/el... 发表于 2019-12-31 18:06 阅读(104) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2020 粤ICP备14056181号