最新博客- 重新设置hdfs某个路径下的备份数量 摘要: 有时候，我们为了节省集群的存储空间，需要减少hdfs的备份次数。这时候需要用到一个命令。例如：我需要将hdfs目录/data下的文件的备份改为2份hdfs dfs -setrep 2 -R -w /data/即可。... 发表于 2019-12-31 18:20 阅读(2159) 评论(0)
- ElasticSearch集群安装说明 摘要: 1.环境信息 目前es最新版本为7以上，但鉴于网上大部分es集群选择的是es6,因此本文采取了elasticsearch-6.2.4这个版本，jdk选择jdk8,版本为：java1.8.0_101 本文选择三个节点安装es，主机信息如下节点ipes安装目录n1192.168.3.1/data0/soft/el... 发表于 2019-12-31 18:06 阅读(1467) 评论(0)
- DISCUZ 3.4 实现全站所有链接 HTTPS请求不打感叹号 摘要: 网站开启https访问的好处有很多啊。比如搜索引擎会青睐，浏览器，比如火狐，谷歌会出现一个绿色的锁。非https网站谷歌直接会提示不安全。对用户体验来说大打折扣。 在尝试给discuz网站开通https访问的时候，出现了很多问题。这里大概总结下处理步骤。避免以后出现同样的问题。 首先，ng... 发表于 2019-12-28 16:05 阅读(1551) 评论(0)
- linux 设置文件不可修改，不可删除，只读，防止文件被非法修改 摘要: 本人对php不是很熟悉，之前使用discuz搭建过一个论坛。有一次被人放入黑链，这是有人利用了DISCUZ的漏洞修改了php文件。当时，为了解决这个不被修改的问题，我直接将文件设置为555，但仍然没有能阻止黑客攻击漏洞。所以，我想到了将文件全部设置为不可写，不可删，只可读。连我自己的root账户都... 发表于 2019-12-28 11:42 阅读(3187) 评论(0)
- xgboost on spark 参数useExternalMemory=true引发的血案 摘要: 最近开始使用xgboost on spark跑模型，当准备设置useExternalMemory这个参数时，大致意思是是否使用额外的内存，于是果断设置了true。 但当我在spark集群中提交任务时，跑了很多次，都报/tmp目录存储不够，任务失败。每次跑失败，各种磁盘告警，/tmp目录其实也... 发表于 2019-12-26 18:12 阅读(1608) 评论(0)
- xgboost on spark 稀疏向量的缺失值问题解决办法 摘要: 最近在使用xgboost on spark过程中发现一个问题，发现对于标签型的稀疏变量（即有值就为1），得到的树节点如下：0:[tag1<2.00000095] yes=1,no=2,missing=2既然为1和0，为什么条件会是小于2呢？这样不是会导致所有值都满足条件吗？于是，带着这个问题，查找了相关的资料... 发表于 2019-12-23 16:40 阅读(2028) 评论(0)
- centos 7 添加永久放开某个端口 摘要: 每次在网络上找放开某个端口的，一些博客会教你添加如下：firewall-cmd --permanent --add-port=81/tcp但总是忘记告诉你永久添加，比如：firewall-cmd --permanent --add-port=81/tcp --permanent不过记得先开启防火墙哦servi... 发表于 2019-12-22 21:33 阅读(1538) 评论(0)
- yum 安装插件超时的解决办法 摘要: yum 安装插件超时的解决办法curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clean all && yum makecache... 发表于 2019-12-22 20:05 阅读(2464) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号