您的当前位置:首页正文

ganglia之gmetad响应慢及数据延迟的控制和缓解(hadoop相关监控)

2024-11-09 来源:个人技术集锦

hadoop 相关监控,通常在几百个监控指标,在ganglia上进行监控的话,建议Master和Slave分开收集,最好使用两套ganglia来监控。

对于一个ganglia的gmetad,每个节点的监控指标不要超过200个。ganglia处理1000-2000个指标已经可以了。再多,就会出现响应延时,CPU占用太高。


最近用ganglia监控hadoop的调度系统(corona ,后续会使用yarn),本来ganglia系统正常,但是压力测试中增加了上万个调度的pool;

每个pool都会形成一个指标,结果发现gmetad的cpu占用平均10%,很多节点的数据几分钟没有更新。排查好长时间才发现是这个配置引起的。

Top