codecamp

HBase内存压缩

概述

内存压缩(AKA Accordion)是hbase-2.0.0中的一项新功能。它首先在Accordion的Apache HBase博客上推出 :通过内存压缩进行HBase Breathes。引用博客:

Accordion重新应用LSM主体[ Log-Structured-Merge Tree,HBase基于MemStore的设计模式,以便在数据仍在RAM中时消除冗余和其他开销。这样做可以降低刷新到HDFS的频率,从而减少写入放大和整个磁盘占用空间。由于刷新次数较少,因此MemStore溢出时写入操作停止的频率降低,因此写入性能得到改善。磁盘上的数据越少,对块缓存的压力越小,命中率越高,最终读取响应时间越长。最后,减少磁盘写入也意味着在后台执行的压缩更少,即从生产(读取和写入)工作中窃取的周期更少。总而言之,内存压缩的效果可以被设想为催化剂,使系统整体上移动得更快。

Accordion提供开发人员视图:内存压缩的开发人员视图。

内存压缩在大量数据流失时效果最佳;当数据仍在内存中时,可以消除覆盖或过度版本。如果写入都是唯一的,则可能会拖动写入吞吐量(内存中压缩成本CPU)。我们建议您在部署到生产之前进行测试和比较。

HBase:MOB优化任务
启用HBase内存压缩
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

HBase快速入门

HBase批量加载

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }