张杰部落格
最新博客
  • spark为什么比hadoop要快? 摘要: 1、消除了冗余的HDFS读写Hadoop每次shuffle操作后,必须写到磁盘,而Spark在shuffle后不一定落盘,可以cache到内存中,以便迭代时使用。如果操作复杂,很多的shufle操作,那么Hadoop的读写IO时间会大大增加。2、消除了冗余的MapReduce阶段Hadoop的shuffle操... 发表于 2020-03-06 14:52 阅读(194) 评论(0)

  • linux下Mysql导出数据到文件的方法 摘要: linux下Mysql导出数据到文件的方法 mysql -h host -u user -P port -p -e 'select xxx from xxx where xx = x' > /xxx/xxx/xxx/sss.txt导出到文件,如果有多个字段的话,可以使用concat函数来连接再导出。... 发表于 2020-03-03 15:23 阅读(156) 评论(0)

  • Hive通过正则获取匹配的内容 摘要: 1、使用举例:regexp_extract(field,'(1[0-9]{10})',0) 获取手机号部分。field字段中含有手机号,'(1[0-9]{10})'是手机号的正则,0表示第一个满足的字符串;2、使用正则作为过滤条件:mobile regexp '^1[0-9]{10}'。... 发表于 2020-03-02 16:31 阅读(192) 评论(0)

  • nginx 启动报错:Job for nginx.service failed because the control process exited with error code 摘要: nginx启动报错:Job for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for de... 发表于 2020-02-26 12:40 阅读(280) 评论(0)

  • centos 7 没有nginx源的问题解决 摘要: 在centos 7上安装nginx,使用命令yum install nginx -y,报错如下:[root@tomcat data]# yum install nginx -y已加载插件:fastestmirrorLoading mirror speeds from cached hostfile * bas... 发表于 2020-02-26 11:47 阅读(231) 评论(0)

  • Hyper-V创建虚拟机步骤 摘要: 第一步:创建硬盘(1)创建固定硬盘性能更佳(2)指定硬盘的名称和位置(3)指定硬盘的大小(4)点击完成开始创建第二步:创建虚拟机指定硬盘(1) 指定名称和位置(2)分配内存(3)配置网络(4)使用创建好的虚拟固定硬盘(5)点击下一步即完成。... 发表于 2020-02-24 22:23 阅读(105) 评论(0)

  • Hive shell终端查询条件乱码的问题解决 摘要: 在服务上打开Hive Shell客户端,经常需要输入中文条件,但是每次都遇上输入中文乱码的问题。这个时候我想到了一个办法,那就是将中文URL编码,然后再解码作为查询条件的值。例如:我需要查询公司名称为“饭店”的记录原本查询SQL应该如下:select * from company where company_... 发表于 2020-02-24 16:49 阅读(135) 评论(0)

  • Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0 摘要: 使用pyspark访问hive,出现问题:Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0这是因为spark2.3.1默认支持1.x,所以当升级了hive后,就会报这个错。查了网上有两种解决方案:1、修改数据库配... 发表于 2020-01-15 20:03 阅读(308) 评论(0)

  • Azkaban3.10.0安装步骤 摘要: 5.Azkaban安装5.1下载准备下载并编译Azkaban3.10.0,这里直接使用已编译和配置的安装包Azkaban3.10.0.tar.gz5.2安装配置将Azkaban3.10.0.tar.gz解压到/home/hadoop/soft目录下进入/home/hadoop/soft/azkaban/plu... 发表于 2020-01-14 14:03 阅读(262) 评论(0)

  • 网站域名 http不可以访问 https可以访问的问题解决 摘要: 最近有一个未备案的域名,http不可以访问,https却可以访问,非常疑惑,后来才发现是被Q了。但是本人的网站并没有什么违规的内容,为什么被Q不得而知。而且,这个据说也没有申诉的通道。于是,在网上找到了一种办法。那就是在浏览器的硬编码里预加载域名为https。提交通道如下:https://hstspreloa... 发表于 2020-01-13 22:21 阅读(177) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2020 粤ICP备14056181号