博客信息

Hive报内存不足的异常解决方法 Java heap size

发布时间:『 2017-07-06 14:35』  博客类别:Hadoop/Spark  阅读(1536) 评论(0)

Hive在运行HQL时上报内存不足错误导致contains被kill掉,mapreduce任务失败。导致这个错误是因为mapreduce配置的内存数量太小了。可以在mapred-site.xml中添加</p>

set mapreduce.map.memory.mb=1024;                                                                  

set mapreduce.reduce.memory.mb=1024;

指定Java虚拟机启动的map和reduce任务的内存大小为1024.

注意还有两个属性:

set mapred.reduce.tasks=100;  这个会默认把reduce的任务数量改为100

set mapred.map.tasks=200; 这个会默认把map任务数量改为200    轻易不要设置。

这些属性可以不用重启集群就生效,因为每次job任务开启时候就会加载配置文件。


关键字:   无
评论信息
暂无评论
发表评论
验证码: 
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号