最新博客
  • 安装centos6.7报 call trace: .... 的解决 摘要: 在引导页先按tab键，再按空格键入：acpi=off 回车键。... 44444.jpg    发表于 2017-08-27 20:59 阅读(3528) 评论(0)
  • 运用软链接修改mysql数据库data目录 摘要: 1.service mysqld stop2.cp –rf /var/lib/mysql/data /data/mysql/data3.修改权限:chown –R mysql:mysq /data/mysql/data4.mv /var/lib/mysql /var/lib/mysql/data.backup... 发表于 2017-08-27 20:34 阅读(1963) 评论(0)
  • mysqldump 使用／跨主机备份 摘要: #!/bin/bash#服务器SERVER_HOST="111.111.111.111"SERVER_PORT="3306"SERVER_USER="root"SERVER_PASSWORD="123456"SERVER_DB="user_db"#本地LOCAL_HOST="localhost"LOCAL_P... 发表于 2017-08-27 12:47 阅读(1871) 评论(0)
  • 备忘 摘要: SELECT * FROM t_post_0 WHERE url IN (SELECT url FROM t_post_0 GROUP BY url HAVING count(url) > 1)and rowid not in (select min(rowid) from t_post_0 group ... 发表于 2017-07-24 14:10 阅读(1504) 评论(0)
  • 解决mySQL占用内存超大问题 摘要: 为了装mysql环境测试，装上后发现启动后mysql占用了很大的虚拟内存，达8百多兆。网上搜索了一下，得到高人指点my.ini。再也没见再详细的了..只好打开my.ini逐行的啃，虽然英文差了点，不过多少M还是看得明的^-^ 更改后如下：innodb_buffer_pool_size=576M ->256M ... 发表于 2017-07-24 10:44 阅读(1464) 评论(0)
  • 磁盘告警后Hadoop不再接受任务的解决办法 摘要: 最近有数据节点的磁盘达到了90%的使用率，于是赶紧加了两块新的磁盘，让数据写到新磁盘里面。最近遇到的一个问题是，经常在跑任务的时候，某些任务会卡主，为unaccepted状态，一直不执行，且不报错。解决办法：增加配置： yarn.nodemanager.dis... 发表于 2017-07-11 19:59 阅读(1264) 评论(0)
  • Hive2Solr组件实现Hive大规模建索引到Solr 摘要: 使用Hive读写solr（一）Hive+Solr简介Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。Solr作为高性能的搜索服务器，能够提供快速，强大的全文检索功能。（二）为什么需要hive集成... 发表于 2017-07-07 20:20 阅读(2042) 评论(0)
  • Hive报内存不足的异常解决方法 Java heap size 摘要: Hive在运行HQL时上报内存不足错误导致contains被kill掉，mapreduce任务失败。导致这个错误是因为mapreduce配置的内存数量太小了。可以在mapred-site.xml中添加

    set mapreduce.map.memory.mb=1024; ...     发表于 2017-07-06 14:35 阅读(1535) 评论(0)
  • Hive列转行后再行专列实现分组后再获取明细 摘要: eg:按照device_id_md5,package_name,adx_id,ad_id分组后，获取device_id_md5,package_name,adx_id,ad_id,req_time五个字段的值select req_time,device_id_md5,package_name,ad_id fr... 发表于 2017-07-05 17:57 阅读(1507) 评论(0)
  • hdfs增加新盘设置写数据策略 摘要: hadoop加一个参数 dfs.datanode.fsdataset.volume.choosing.policy org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpa... 发表于 2017-07-05 17:53 阅读(1353) 评论(0)
博主信息
仧尐
用专业的技术，做有益的事情
按日志类别
按日志日期
友情链接
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号