[hadoop] hadoop dfs count 커맨드 예제

hadoop의 파일 시스템 용량과 파일 개수를 확인하고 싶을 때에 hadoop dfs, hadoop fs 커맨드를 실행한다. 

hadoop 의 count 커맨드는 hadoop 디렉토리의 내용을 설명한다.

hadoop dfs -count [-q] [-h] <path> 로 실행할 수 있다.

(버전에 따라 hadoop fs로 할 수 있다)

/google1 디렉토리에는 DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME 를 보고 싶다면 다음을 실행한다. 

$ hadoop dfs -count /google1

      589243      7518116    191011332057185 /google1

사람이 읽을 수 있는 단위로 보고 싶다면 -h를 붙인다. 

$ hdfs dfs -count -h /google1

     575.4 K        7.2 M            173.7 T /google1

좀 더 자세한 정보를 보려면 -q를 사용한다.  쿼터 정보를 포함한다. 

QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME

디렉토리에 쿼터가 없다면 none이라고 뜬다.

$ hdfs dfs -count -h -q /google1

        none             inf            none             inf      575.4 K        7.2 M            173.7 T /google1

디렉토리 쿼터가 있다면 다음처럼 보일 수 있다.

$ hdfs dfs -count -q -h /q-google

      20.8 M          12.1 M           1.5 P         738.1 T      651.0 K        8.1 M            254.0 T /q-goolge