Search
Duplicate

Mac OS Hadoop 설치

간단소개
팔만코딩경 컨트리뷰터
ContributorNotionAccount
주제 / 분류
Mac OS
Scrap
태그
9 more properties

Homebrew 설치

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
Plain Text
복사

Hadoop 설치

brew install hadoop
Plain Text
복사
/usr/local/Cellar/hadoop에 설치됨

Hadoop 설정

hadoop-env.sh 편집

파일 위치: ‘/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hadoop-env.sh’
이 부분을
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
Plain Text
복사
아래처럼 변경
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
Plain Text
복사

Core-site.xml 편집

파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/core-site.xml .
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
Plain Text
복사

mapred-site.xml 편집

파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>
Plain Text
복사

hdfs-site.xml 편집

파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
Plain Text
복사

(Optional)alias 추가

나 같은 경우엔 zsh사용자라 .zshrc에 아래 내용 추가
추가 후 source ~/.zshrc
alias hstart="/usr/local/Cellar/hadoop/2.7.3/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh" alias hstop="/usr/local/Cellar/hadoop/2.7.3/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"
Plain Text
복사

format hdfs

hdfs namenode -format

SSH Localhost

ssh key를 이미 생성했다면 패스해도 됨.
ssh-keygen -t rsa
Enable Remote Login
“System Preferences” -> “Sharing”. Check “Remote Login”
Authorize SSH Keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
테스트
ssh localhost
로그인 되면 성공
exit로 종료

Hadoop 실행&종료

위에서 만든 alias를 활용 하자.
hstart
hstop