最新博客- linux 设置文件不可修改，不可删除，只读，防止文件被非法修改 摘要: 本人对php不是很熟悉，之前使用discuz搭建过一个论坛。有一次被人放入黑链，这是有人利用了DISCUZ的漏洞修改了php文件。当时，为了解决这个不被修改的问题，我直接将文件设置为555，但仍然没有能阻止黑客攻击漏洞。所以，我想到了将文件全部设置为不可写，不可删，只可读。连我自己的root账户都... 发表于 2019-12-28 11:42 阅读(3187) 评论(0)
- xgboost on spark 参数useExternalMemory=true引发的血案 摘要: 最近开始使用xgboost on spark跑模型，当准备设置useExternalMemory这个参数时，大致意思是是否使用额外的内存，于是果断设置了true。 但当我在spark集群中提交任务时，跑了很多次，都报/tmp目录存储不够，任务失败。每次跑失败，各种磁盘告警，/tmp目录其实也... 发表于 2019-12-26 18:12 阅读(1608) 评论(0)
- xgboost on spark 稀疏向量的缺失值问题解决办法 摘要: 最近在使用xgboost on spark过程中发现一个问题，发现对于标签型的稀疏变量（即有值就为1），得到的树节点如下：0:[tag1<2.00000095] yes=1,no=2,missing=2既然为1和0，为什么条件会是小于2呢？这样不是会导致所有值都满足条件吗？于是，带着这个问题，查找了相关的资料... 发表于 2019-12-23 16:40 阅读(2029) 评论(0)
- centos 7 添加永久放开某个端口 摘要: 每次在网络上找放开某个端口的，一些博客会教你添加如下：firewall-cmd --permanent --add-port=81/tcp但总是忘记告诉你永久添加，比如：firewall-cmd --permanent --add-port=81/tcp --permanent不过记得先开启防火墙哦servi... 发表于 2019-12-22 21:33 阅读(1538) 评论(0)
- yum 安装插件超时的解决办法 摘要: yum 安装插件超时的解决办法curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clean all && yum makecache... 发表于 2019-12-22 20:05 阅读(2464) 评论(0)
- Centos 7.5 YUM安装Mysql 摘要: 下载Mysql源安装包1，wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpmyum安装mysql源2，yum localinstall mysql57-community-release-el7-8.noarch.r... 发表于 2018-12-14 20:22 阅读(1689) 评论(0)
- linux安装redis 完整步骤 摘要: 安装：1.获取redis资源 wget http://download.redis.io/releases/redis-4.0.8.tar.gz2.解压 tar xzvf redis-4.0.8.tar.gz3.安装 cd redis-4.0.8 make（如果报错可以试试make MALLOC=li... 发表于 2018-12-14 19:42 阅读(1531) 评论(0)
- Docker安装应用(CentOS 6.5_x64) 摘要: Docker安装应用(CentOS 6.5_x64)Authoer::jom_ch@2014/7/23Docker官网 http://www.docker.com/一，安装EPEL 关于EPEL：https://Fedoraproject.org/wiki/EPEL/zh-cn >rpm -ivh http:... 发表于 2018-01-30 14:38 阅读(1716) 评论(0)
- spark-sql读取映射hbase数据的hive外部表需要的jar包 摘要: 之前在业务处理中建立的一个hive映射hbase数据的外部表，通过hive查询成功，但是通过spark-sql去查询报了缺包异常。解决方式前提是你已经可以通过spark-sql读取hive的数据了。 解决方式非常简单。1.拷贝如下jar包到${spark_home}/jars（spark2.0之前是${spa... 发表于 2018-01-19 16:39 阅读(2015) 评论(0)
- 查询hbase映射到Hive表的诡异问题及总结 摘要: hive中dmp_device_info为映射到hbase中的dmp:device_info表，表结构如下：CREATE EXTERNAL TABLE if not exists dmp_device_info( device_id_md5 string, device_ty... 发表于 2017-12-27 14:12 阅读(2338) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号