内存回收与hbase
2020-11-09
来源：个人技术集锦
1.3.1.1 内存回收导致的程序卡顿 Todd Lipcon 描述了2种常见的导致hbase卡顿的内存回收情况，尤其在加载数据到hbase的情况下。这两种情况分别是：cms内存回收失败、老年代堆内存碎片严重。 对于第一种情况，可以在启动cms的时候加入参数- XX:CMSInitiatingOc
1.3.1.1 内存回收导致的程序卡顿
Todd Lipcon 描述了2种常见的导致hbase卡顿的“内存回收情况”，尤其在加载数据到hbase的情况下。这两种情况分别是：cms内存回收失败、老年代堆内存碎片严重。
对于第一种情况，可以在启动cms的时候加入参数-XX:CMSInitiatingOccupancyFraction，将该参数调小为60~70，即当对老年代堆内存使用到60~70时进行cms内存回收，提升内存回收频率。
对于第二种情况，Todd提到一种措施，设置参数 hbase.hregion.memstore.mslab.enabled为true，为每一个memstore开辟一个单独的缓存空间。隐患：mslab（A memstore-local allocation buffer）的开启会导致每个store产生至少一个2MB的buffer。也就是说如果每台机器有2000个store，默认直接会占用至少4G的内存空间，当4G写满了将占用8G。因此对于store非常多的应用有可能会发生OOM，需要谨慎。
个人建议
个人建议1、hbase默认内存为1G，最好放大 2、使用cms回收， export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"