hadoop
brew를 이용해서 hadoop, hive 설치하기
'김용환'
2016. 4. 19. 06:32
mac에서 hadoop, hive를 쉽게 쓰기 위한 방법을 링크한다.
1. hadoop 설치
https://getblueshift.com/setting-up-hadoop-2-4-and-pig-0-12-on-osx-locally/
(hadoop 2.7.1 설치)
./sbin/start-dfs.sh 하고 아래와 같은 에러가 발생했다.
There are 0 datanode(s) running and no node(s) are excluded in this operation.
libexec/etc/hadoop/core-site.xml에 추가한다.
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
디렉토리 생성 및 권한을 추가한다.
sudo mkdir -p /app/hadoop/tmp
sudo chown 사용자이름 /app/hadoop/tmp
그리고, 네임노드를 포맷한다.
bin/hadoop namenode -format
네임 노드를 포맷하지 않으면, 아래 에러가 발생한다.
ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
2. hive 설치
(hive 1.2.7 설치)