hadoop streaming 실행시 특별한 에러가 메시지 없이 job이 종료되었다.
hadoop job url도 특별히 문제 없는데... map 시작 전에 아래와 같은 에러가 발생했다.
ERROR streaming.StreamJob: Job not successful. Error: NA INFO streaming.StreamJob: killJob... Streaming Command Failed!
원인은 hadoop streaming에 쓰는 mapper에 사용하는 python 코드에 indent가 잘 못 되어 있었다. 흘...
..
-mapper \"dump.py ${YEAR}${MONTH}${DAY}\" \
-file dump.py \
...
문제의 원인은 역시 사람의 버그였다.
python -m py_compile dump.py 을 이용하여 문법 체크를 미리 하는 것이 좋다.
