brew를 이용해서 hadoop, hive 설치하기

mac에서 hadoop, hive를 쉽게 쓰기 위한 방법을 링크한다.

1. hadoop 설치

https://getblueshift.com/setting-up-hadoop-2-4-and-pig-0-12-on-osx-locally/

(hadoop 2.7.1 설치)

./sbin/start-dfs.sh 하고 아래와 같은 에러가 발생했다.

There are 0 datanode(s) running and no node(s) are excluded in this operation.

 libexec/etc/hadoop/core-site.xml에 추가한다.

  <property>

        <name>hadoop.tmp.dir</name>

   <value>/app/hadoop/tmp</value>

   <description>A base for other temporary directories.</description>

</property>

디렉토리 생성 및 권한을 추가한다.

sudo mkdir -p /app/hadoop/tmp

sudo chown 사용자이름 /app/hadoop/tmp

그리고, 네임노드를 포맷한다.

bin/hadoop namenode -format

네임 노드를 포맷하지 않으면, 아래 에러가 발생한다.

ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.

java.io.IOException: NameNode is not formatted.

2. hive 설치

https://noobergeek.wordpress.com/2013/11/09/simplest-way-to-install-and-configure-hive-for-mac-osx-lion/

(hive 1.2.7 설치)