[hbase] secondary index 구현 공유 from Huawei

Huawei(중국 최고 통신/네트웍 장비 회사)의 자회사인 Huawei Tech 에서 이번에 Hbase에 sencdary index를 구현한 오픈소스를 내어놓았다. 그동안 scan/filter의 낮은 성능 이슈의 한계를 indexing으로 서서히 사용할 수 있을듯 싶다. 

2012년 Hadoop Technical Conference at 베이징 에서 발표한 오버뷰(클릭하면 자료를 볼 수 있음) 를 바탕으로 드디어 오픈 소스로 발표했다. 

https://github.com/Huawei-Hadoop/hindex

아마도 이 결과물들이 Hbase쪽으로 포함될 수 있을 것이다. huawei 개발자가 그동안 hadoop과 hbase에 contribution을 그동안 많이 해서 그런지. hbase committer들이 다들 좋아하는 것 같다. 

관련 내용은 아래와 같다. 

It is 100% Java, compatible with Apache HBase 0.94.8, and is open sourced under Apache Software License v2.

Following features are supported currently.

-          multiple indexes on table,

-          multi column index,

-          index based on part of a column value,

-          equals and range condition scans using index, and

-          bulk loading data to indexed table (Indexing done with bulk load)

간단히 얘기하면. 다음과 같다. 

coprocessor를 가지고 index table을 따로 만든 구조이다. get/put할때마다 index table을 사용하는 형태를 가지고 있다. 

put할 때 마다. copocessor를 이용해서 index table을 계속 유지하도록 했다. 

scan시에도 동일하게 index table을 이용하는 형태로 되어 있다. 

2012년 ppt 기준으로 봤을때.. 성능은 다음과 같았다. 

scan 성능이다. 가로축은 row이고, 세로축은 sencods를 의미한다.  

put 성능은 10% 정도 좋아지는 수준이다.