hbase에서 nproc나 ulimit -n (open file number)의 크기를 변경해야 하는 이유

웹 서버의 경우는 socket개수 를 위해서 nproc, ulimit -n을 수정하는 경우가 있다.

그러나, hbase는 실제 파일과 관련된 작업이 있다보니, 신경을 써야 한다. 

hbase의 column family는 최소한 한개의 store fiile을 사용한다. 부하상황일때는 6개까지 사용할 수 있다. 만약 column family 한 개당 평균 3개의 store file 을 사용하고, store file이 100개의 regions에 걸쳐있다면. 총 300(1 * 3 * 100) 개의 file descripter를 오픈할 것이다. 

만약 3개의 column family를 동시에 사용하고 있고, 부하상황일떄는 1800(3 * 6 * 100)개를 hbase 가 동시에 사용할 수 있다.  

 /etc/security/limits.conf

hadoop  -       nofile  32768

hadoop soft/hard nproc 32000

*참조

http://hbase.apache.org/book.html