张杰部落格
最新博客
  • 安装centos6.7报 call trace: .... 的解决 摘要: 在引导页先按tab键,再按空格键入:acpi=off 回车键。... 44444.jpg    发表于 2017-08-27 20:59 阅读(1816) 评论(0)

  • 运用软链接修改mysql数据库data目录 摘要: 1.service mysqld stop2.cp –rf /var/lib/mysql/data /data/mysql/data3.修改权限:chown –R mysql:mysq /data/mysql/data4.mv /var/lib/mysql /var/lib/mysql/data.backup... 发表于 2017-08-27 20:34 阅读(983) 评论(0)

  • mysqldump 使用/跨主机备份 摘要: #!/bin/bash#服务器SERVER_HOST="111.111.111.111"SERVER_PORT="3306"SERVER_USER="root"SERVER_PASSWORD="123456"SERVER_DB="user_db"#本地LOCAL_HOST="localhost"LOCAL_P... 发表于 2017-08-27 12:47 阅读(991) 评论(0)

  • 备忘 摘要: SELECT * FROM t_post_0 WHERE url IN (SELECT url FROM t_post_0 GROUP BY url HAVING count(url) > 1)and rowid not in (select min(rowid) from t_post_0 group ... 发表于 2017-07-24 14:10 阅读(673) 评论(0)

  • 解决mySQL占用内存超大问题 摘要: 为了装mysql环境测试,装上后发现启动后mysql占用了很大的虚拟内存,达8百多兆。网上搜索了一下,得到高人指点my.ini。再也没见再详细的了..只好打开my.ini逐行的啃,虽然英文差了点,不过多少M还是看得明的^-^ 更改后如下:innodb_buffer_pool_size=576M ->256M ... 发表于 2017-07-24 10:44 阅读(706) 评论(0)

  • 磁盘告警后Hadoop不再接受任务的解决办法 摘要: 最近有数据节点的磁盘达到了90%的使用率,于是赶紧加了两块新的磁盘,让数据写到新磁盘里面。最近遇到的一个问题是,经常在跑任务的时候,某些任务会卡主,为unaccepted状态,一直不执行,且不报错。解决办法:增加配置: yarn.nodemanager.dis... 发表于 2017-07-11 19:59 阅读(613) 评论(0)

  • Hive2Solr组件实现Hive大规模建索引到Solr 摘要: 使用Hive读写solr(一)Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库,可以非常方便的使用SQL的方式来离线分析海量的历史数据,并根据分析的结果,来干一些其他的事情,如报表统计查询等。Solr作为高性能的搜索服务器,能够提供快速,强大的全文检索功能。(二)为什么需要hive集成... 发表于 2017-07-07 20:20 阅读(1333) 评论(0)

  • Hive报内存不足的异常解决方法 Java heap size 摘要: Hive在运行HQL时上报内存不足错误导致contains被kill掉,mapreduce任务失败。导致这个错误是因为mapreduce配置的内存数量太小了。可以在mapred-site.xml中添加

    set mapreduce.map.memory.mb=1024; ...
    发表于 2017-07-06 14:35 阅读(634) 评论(0)

  • Hive列转行后再行专列实现分组后再获取明细 摘要: eg:按照device_id_md5,package_name,adx_id,ad_id分组后,获取device_id_md5,package_name,adx_id,ad_id,req_time五个字段的值select req_time,device_id_md5,package_name,ad_id fr... 发表于 2017-07-05 17:57 阅读(696) 评论(0)

  • hdfs增加新盘设置写数据策略 摘要: hadoop加一个参数 dfs.datanode.fsdataset.volume.choosing.policy org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpa... 发表于 2017-07-05 17:53 阅读(601) 评论(0)

Powered by IMZHANGJIE.CN Copyright © 2015-2022 粤ICP备14056181号