hive 결과를 hadoop 파일 시스템에 저장하기
Select 문 앞에 INSERT OVERWRITE DIRECTORY 커맨드를 사용한다.
hive -e "INSERT OVERWRITE DIRECTORY '/user/deploy/samuel/test' SELECT DISTINCT id FROM google_log WHERE date=20160128;" --hiveconf mapred.reduce.tasks=1
파일 생성을 확인한다.
$ hadoop fs -ls /user/deploy/samuel/test
Found 1 items
user/deploy/samuel/test/000000_0.gz
내용을 다음과 같이 일부만 확인할 수 있다.
$ hadoop fs -text /user/deploy/samuel/test/000000_0.gz | head -n 10
'hadoop' 카테고리의 다른 글
| [hadoop] hadoop distcp (0) | 2016.02.05 |
|---|---|
| [hadoop] 왜 hadoop2은 hadoop 요청시 mapreduce.Job: map 99% reduce 33%에서 잠깐 블럭되는 걸까? (0) | 2016.02.03 |
| security.UserGroupInformation: PriviledgedActionException as:deploy 에러 (0) | 2016.01.28 |
| [hadoop] java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 해결하기 (0) | 2016.01.22 |
| hadoop streaming 예제 및 주의 사항 (0) | 2015.11.20 |
