张杰部落格
最新博客
  • 重新设置hdfs某个路径下的备份数量 摘要: 有时候,我们为了节省集群的存储空间,需要减少hdfs的备份次数。这时候需要用到一个命令。例如:我需要将hdfs目录/data下的文件的备份改为2份hdfs dfs -setrep 2 -R -w /data/即可。... 发表于 2019-12-31 18:20 阅读(311) 评论(0)

  • ElasticSearch集群安装说明 摘要: 1.环境信息 目前es最新版本为7以上,但鉴于网上大部分es集群选择的是es6,因此本文采取了elasticsearch-6.2.4这个版本,jdk选择jdk8,版本为:java1.8.0_101 本文选择三个节点安装es,主机信息如下节点ipes安装目录n1192.168.3.1/data0/soft/el... 发表于 2019-12-31 18:06 阅读(141) 评论(0)

  • DISCUZ 3.4 实现全站所有链接 HTTPS请求不打感叹号 摘要: 网站开启https访问的好处有很多啊。比如搜索引擎会青睐,浏览器,比如火狐,谷歌会出现一个绿色的锁。非https网站谷歌直接会提示不安全。对用户体验来说大打折扣。 在尝试给discuz网站开通https访问的时候,出现了很多问题。这里大概总结下处理步骤。避免以后出现同样的问题。 首先,ng... 发表于 2019-12-28 16:05 阅读(284) 评论(0)

  • linux 设置文件不可修改,不可删除,只读,防止文件被非法修改 摘要: 本人对php不是很熟悉,之前使用discuz搭建过一个论坛。有一次被人放入黑链,这是有人利用了DISCUZ的漏洞修改了php文件。当时,为了解决这个不被修改的问题,我直接将文件设置为555,但仍然没有能阻止黑客攻击漏洞。所以,我想到了将文件全部设置为不可写,不可删,只可读。连我自己的root账户都... 发表于 2019-12-28 11:42 阅读(211) 评论(0)

  • xgboost on spark 参数useExternalMemory=true引发的血案 摘要: 最近开始使用xgboost on spark跑模型,当准备设置useExternalMemory这个参数时,大致意思是是否使用额外的内存,于是果断设置了true。 但当我在spark集群中提交任务时,跑了很多次,都报/tmp目录存储不够,任务失败。每次跑失败,各种磁盘告警,/tmp目录其实也... 发表于 2019-12-26 18:12 阅读(244) 评论(0)

  • xgboost on spark 稀疏向量的缺失值问题解决办法 摘要: 最近在使用xgboost on spark过程中发现一个问题,发现对于标签型的稀疏变量(即有值就为1),得到的树节点如下:0:[tag1<2.00000095] yes=1,no=2,missing=2既然为1和0,为什么条件会是小于2呢?这样不是会导致所有值都满足条件吗?于是,带着这个问题,查找了相关的资料... 发表于 2019-12-23 16:40 阅读(418) 评论(0)

  • centos 7 添加永久放开某个端口 摘要: 每次在网络上找放开某个端口的,一些博客会教你添加如下:firewall-cmd --permanent --add-port=81/tcp但总是忘记告诉你永久添加,比如:firewall-cmd --permanent --add-port=81/tcp --permanent不过记得先开启防火墙哦servi... 发表于 2019-12-22 21:33 阅读(196) 评论(0)

  • yum 安装插件超时的解决办法 摘要: yum 安装插件超时的解决办法curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clean all && yum makecache... 发表于 2019-12-22 20:05 阅读(375) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2020 粤ICP备14056181号