ITeye博客

我不是春晖

shenchunhui · 共 14 篇文章

一种HBase上Region级别的二级索引存储

我们会经常谈及二级索引,这是对全表数据进行另外一种方式的组织存储,是针对table级别的。如果要为HBase上的表实现一个强一致性的二级索引,那么就无法逃避分布式事务,而这一直是用户最期待的功能。 而即使只需要保证最终一致性,这个索引也并不好实现,因为你需要额外的表以存储过程数据,需要解决宕机恢复问题等 撇开分布式事务,我们是否可以考虑对索引的要求进行降级,比如把Region看成是全表下的子表,实现一套Region级别的索引,通过功能上的牺牲以换取实现的简易及稳定。 在某些存在用户概念的场景下,比如消费记录,我们总是会在确定的用户下,进行数据查找。这意味着,在此类场景中,我们只需要一个用户级…

2013-07-19 15:48 · Hbase · 评论(1)

HBase-0.96中新BlockEncoding算法-PREFIX_TREE压缩的初步探究及测试

PREFIX_TREE(HBASE-4676)是HBase 0.96版本中新增加的一种DataBlock Encode算法。 1.什么是PREFIX_TREE 关于前缀树的介绍可以参考维基百科 http://zh.wikipedia.org/wiki/Trie 当然其的实现会有差别 2.HBase中的DataBlock DataBlock是KeyValue的集合,是Hfile中存储数据的结构体,可以搜索Hfile了解之 3.什么是DataBlock Encode DataBlock Encode是HBase 0.94版本引入的特性,可以将重复的row/family/qualifier/进行压…

2013-04-08 21:24 · Hbase · 评论(4)

GC trouble on HBase

最近几天一直纠结在HBase的GC问题上,虽然没有质的收获,但也有一些新的心得,对HBase上GC产生的过程有了更深的认识。 由于基本采用的都是CMS回收,所以讨论也针对的是CMS回收。 GC问题可以简单地归结为YGC停顿过长和FullGC触发。 1.FullGC触发 CMS下触发FullGC的原因: a.Concurrent mode failure,old区要分配内存了,但是old区空间不够,而此时CMS正在进行中。 解决方法:降低YGC频率,降低CMS gc触发时机(降低CMSInitiatingOccupancyFraction的值) b.Promotion Failed,old区要…

2013-04-01 12:14 · Hbase · 评论(1)

HBase上关于CMS、GC碎片、大缓存的一种解决方案:Bucket Cache

介绍BucketCache前,先对 HBase的Cache 做个介绍: 一.HBase在读取时,会以Block为单位进行cache,用来提升读的性能; 二.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小128K,索引数据,用来加快Row所在DataBlock的定位) 三.对于一次随机读,Block的访问顺序为BloomBlock、IndexBlock、DataBlock,如果Region下面的StoreFile数目为2个,那么一次随机读至少访问2次BloomBlock…

2012-12-20 22:14 · Hbase · 评论(7)

HBASE启动脚本/Shell解析

常用到的HBase启动脚本有: 1.$HBASE_HOME/bin/start-hbase.sh 启动整个集群 2.$HBASE_HOME/bin/stop-hbase.sh 停止整个集群 3.$HBASE_HOME/bin/hbase-daemons.sh 启动或停止,所有的regionserver或zookeeper或backup-master 4.$HBASE_HOME/bin/hbase-daemon.sh 启动或停止,单个master或regionserver或zookeeper 以start-hbase.sh为起点 ,可以看看脚本间的一些调用关系 start-hbase.sh的流…

2012-11-27 17:47 · Hbase · 评论(1)

【HBase工具】查看解析HFile

查看HFile是HBase本身自带的一个很实用的工具 使用也很简单: $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile usage: HFile -a,--checkfamily Enable family check -b,--printblocks Print block index meta data -e,--printkey Print keys -f,--file File to scan. Pass full-path; e.g. hdfs://a:9000/hbase/.META./12/34 -…

2012-11-27 10:17 · Hbase · 评论(0)

【HBase工具】查看解析HLog

查看解析HLog也是HBase本身自带的一个小工具 使用很简单: $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.regionserver.wal.HLog Usage: HLog Arguments: --dump Dump textual representation of passed one or more files For example: HLog --dump hdfs://example.com:9000/hbase/.logs/MACHINE/LOGFILE --split Split the passed direct…

2012-11-27 10:16 · Hbase · 评论(0)

HBase 0.94版本新特性、性能优化详解及使用(一)之数据压缩(DataBlock compression,HLog compression)

众所周知,HBase 0.94对性能做了很多优化,记录一下个人对其实现细节及如何更好应用的理解。 0.94引入了两个在HBase层的数据压缩: 一.DataBlock compression 1.1 作用 DataBlock compression指的是对HFile v2中的Data Block进行压缩,Data Block既存储在Disk上(HDFS中),也会存在于LRU Cache中,所以此压缩特性支持: a)Disk、Cache上都不开启 b)Disk、Cache上都开启 c)Cache上开启,Disk上开启 但不支持 d)Cache上不开启,Disk开启 由此可见,此压缩特性的作用是…

2012-07-11 18:09 · Hbase · 评论(3)

对HBase中Bloomfilter类型的设置及使用的理解

1. Bloomfilter的原理? 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2. Bloomfilter在HBase中的作用? HBase利用Bloomfilter来提高随机读(Get)的性能,对于顺序读(Scan)而言,设置Bloomfilter是没有作用的(0.92以后,如果设置了bloomfilter为ROWCOL,对于指定了qualifier的Scan有一定的优化,但不是那种直接过滤文件,排除在查找范围的形式) 3. Bloomfilter在HBase中的开销? Bl…

2012-05-15 14:11 · Hbase · 评论(6)

HBase中数据的多版本特性潜在的意外

HBase做为KeyValue结构存储,在存储上是依照RowKey的字典序进行排序,对于很多应用而言这可能远远不够,好在HBase的数据可以存储多个版本,并且版本可以排序,其理论上最大的版本数目Integer.MAX_VALUE,这在一定程度上简化应用端的设计 举个例子,假设现在有一个应用,对用户的每次登录信息(如:时间+IP)进行,并要求可以快速获取指定用户的最近登录信息,如果选用HBase存储则可以设计为:RowKey为用户ID,value为IP地址,并指定timestamp为登录时间,依照版本的保留特性,可以很容易地保存用户近一月、近一年的登录信息。 看起来上面的设计很不错,毕竟用户啥…

2011-11-08 17:01 · Hbase · 评论(3)

HBase 源码阅读之 读过程及scanner

看过Hbase 读流程的代码的同学 对scanner这个词应该不会陌生 Hbase 在读流程时 具体是怎么围绕scanner展开的,最近仔细地看了代码后算是弄清了 HBase中的scanner实例关系如下图 首先 ,无论是GET还是scan的读数据,都是从RegionScanner的next接口中获取 第二 ,scanner可分为两种InternalScanner和KeyValueScanner,区别如下: 1.InternalScanner,可以理解为包含其他scanner的scanner,它的主要接口为next(),作用是从其包含的scanner中获取下一个KeyValue,它的角色可以…

2011-11-04 17:56 · Hbase · 评论(4)

HBase The Definitive Guide 阅读笔记

找到了这本书的电子版,有空时边看边记吧

2011-09-16 14:52 · Hbase · 评论(0)

Hbase 源码分析之 Regionserver上的 Get 全流程

当regionserver收到来自客户端的Get请求时,调用接口 public Result get(byte regionName, Get get) { ... HRegion region = getRegion(regionName); return region.get(get, getLockFromId(get.getLockId())); ... } 我们看HRegion.get接口,其首先会做family检测,保证Get中的family与Table的相符,然后通过RegionScanner.next来返回result 而Scanner是Hbase读流程中的主要类,先做一个大…

2011-09-16 11:20 · Hbase · 评论(2)

Hbase 源码分析之当regionserver挂掉以后

当Master通过ZK获知Regionserver挂掉以后,通过调用** expireServer **接口进行处理 public synchronized void Hmaster.ServerManager.expireServer(final HServerInfo hsi){ 获取serverName 从onlineserverlist中获取serverinfo 如果serverinfo为空,则抛sever不在线上的警告,return 如果已经存在于deadservers中,则抛警告,return 加到deadservers中 从onlineservers中删除 删除与该server…

2011-09-09 17:03 · Hbase · 评论(0)