博客信息

磁盘告警后Hadoop不再接受任务的解决办法

发布时间:『 2017-07-11 19:59』  博客类别:Hadoop/Spark  阅读(1265) 评论(0)

最近有数据节点的磁盘达到了90%的使用率,于是赶紧加了两块新的磁盘,让数据写到新磁盘里面。最近遇到的一个问题是,经常在跑任务的时候,某些任务会卡主,为unaccepted状态,一直不执行,且不报错。

解决办法:

增加配置:

  <property>
        <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
        <value>0.0</value>
    </property>
        <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>100.0</value>
    </property>

yarn.nodemanager.disk-health-checker.min-healthy-disks:NodeManager上最少保证健康磁盘比例,当健康磁盘比例低于该值时,NodeManager不会再接收和启动新的Container,默认值是0.25,表示25%;

yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage:一块磁盘的最高使用率,当一块磁盘的使用率超过该值时,则认为该盘为坏盘,不再使用该盘,默认是100,表示100%,可以适当调低;

yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb:一块磁盘最少保证剩余空间大小,当某块磁盘剩余空间低于该值时,将不再使用该盘,默认是0,表示0MB。

这是yarn的几个新特性。

关键字:   无
评论信息
暂无评论
发表评论
验证码: 
Powered by IMZHANGJIE.CN Copyright © 2015-2025 粤ICP备14056181号