张杰部落格
最新博客
  • centos 7 添加永久放开某个端口 摘要: 每次在网络上找放开某个端口的,一些博客会教你添加如下:firewall-cmd --permanent --add-port=81/tcp但总是忘记告诉你永久添加,比如:firewall-cmd --permanent --add-port=81/tcp --permanent不过记得先开启防火墙哦servi... 发表于 2019-12-22 21:33 阅读(482) 评论(0)

  • yum 安装插件超时的解决办法 摘要: yum 安装插件超时的解决办法curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clean all && yum makecache... 发表于 2019-12-22 20:05 阅读(1179) 评论(0)

  • Centos 7.5 YUM安装Mysql 摘要: 下载Mysql源安装包1,wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpmyum安装mysql源2,yum localinstall mysql57-community-release-el7-8.noarch.r... 发表于 2018-12-14 20:22 阅读(610) 评论(0)

  • linux安装redis 完整步骤 摘要: 安装:1.获取redis资源  wget http://download.redis.io/releases/redis-4.0.8.tar.gz2.解压  tar xzvf redis-4.0.8.tar.gz3.安装  cd redis-4.0.8  make(如果报错可以试试make MALLOC=li... 发表于 2018-12-14 19:42 阅读(468) 评论(0)

  • Docker安装应用(CentOS 6.5_x64) 摘要: Docker安装应用(CentOS 6.5_x64)Authoer::jom_ch@2014/7/23Docker官网 http://www.docker.com/一,安装EPEL 关于EPEL:https://Fedoraproject.org/wiki/EPEL/zh-cn >rpm -ivh http:... 发表于 2018-01-30 14:38 阅读(667) 评论(0)

  • spark-sql读取映射hbase数据的hive外部表需要的jar包 摘要: 之前在业务处理中建立的一个hive映射hbase数据的外部表,通过hive查询成功,但是通过spark-sql去查询报了缺包异常。解决方式前提是你已经可以通过spark-sql读取hive的数据了。 解决方式非常简单。1.拷贝如下jar包到${spark_home}/jars(spark2.0之前是${spa... 发表于 2018-01-19 16:39 阅读(864) 评论(0)

  • 查询hbase映射到Hive表的诡异问题及总结 摘要: hive中dmp_device_info为映射到hbase中的dmp:device_info表,表结构如下:CREATE EXTERNAL TABLE if not exists dmp_device_info( device_id_md5 string, device_ty... 发表于 2017-12-27 14:12 阅读(1227) 评论(0)

  • 机器学习算法之聚类算法Kmeans并找出最佳K值的Python实践 摘要: Kmeans聚类算法的大概流程是:①从样本中随机找出K个样本作为中心点;②求所有样本到这些样本的距离,按照最短的进行归类; ③求每个聚类中的样本的元素的平均值,作为新的中心点; ④继续②,③,知道所有样本再也无法找到新的聚类,就算完成。一、接下来使用Numpy实现python代码,测试有效并且带注释:Kmea... 发表于 2017-12-13 18:14 阅读(720) 评论(0)

  • Spark Standalone Cluster模式安装和配置及高可用 摘要: 1、手动启动一个spark集群启动standalone的master节点./sbin/start-master.sh一旦启动后,master会打印一个spark的地址,例如:spark://HOST:PORT。这个地址可以作为SparkContext的master参数。你可以访问http://HOST:808... 发表于 2017-12-06 16:21 阅读(691) 评论(0)

  • Java,Python,Scala三种语言开发并部署Spark的WordCount程序 摘要: 一、Java开发并部署Spark的wordcountJava实现WordCount程序:package com.spark.wordcount;import java.util.Arrays;import java.util.Iterator;import java.util.Map;import org.a... 发表于 2017-11-29 19:52 阅读(793) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2022 粤ICP备14056181号