hadoop 相关监控,通常在几百个监控指标,在ganglia上进行监控的话,建议Master和Slave分开收集,最好使用两套ganglia来监控。
对于一个ganglia的gmetad,每个节点的监控指标不要超过200个。ganglia处理1000-2000个指标已经可以了。再多,就会出现响应延时,CPU占用太高。
最近用ganglia监控hadoop的调度系统(corona ,后续会使用yarn),本来ganglia系统正常,但是压力测试中增加了上万个调度的pool;
每个pool都会形成一个指标,结果发现gmetad的cpu占用平均10%,很多节点的数据几分钟没有更新。排查好长时间才发现是这个配置引起的。