하둡 Master / Slave 접근방식과 ssh의 설정

하둡 클러스터를 구축 할때는 하나의 특정 노드를 master 노드로 지정해야 한다.
master 노드의 역할을 하는 서버는 NameNode와 JobTracker 데몬을 제공하게된다.
또한 모든 Slave노드에 위치한 DataNode와 TaskTracker 데몬을 실행시킨다.
따라서 Master노드는 클러스터에 위치한 다른 모든 노드들에 접근할 수 있어야 한다.
하둡은 이러한 접근을 위해 SSH를 사용한다. SSH는 표준 공개 키 암호를 이용해 한쌍의
키를 생성한다. 이 키는 사용자를 확인하는데 사용하는데 하나는 공개(PUBLIC) 키이고
다른 하나는 개인(Private) 키로 설정된다. 공개 키는 클러스터에 있는 모든 노드에 저장되고
Master 노드는 원껴의 컴퓨터에 접근할때 개인키를 보낸다. 해당컴퓨터는 이두개의 키를 가지고
접근 시도를 허락한다.

하둡은 모든 노드가 동일한 사용자 계정을 가진다.
한 노드의 사용자 계정을 가지고 다른 컴퓨터에 접근하는 것이다.
보안을 위해 root가 아닌 사용자 계정을 사용할것을 권고한다.
이 계정은 하둡 클러스터를 관리할 목적으로만 사용된다.

ssh가 설치되어 있는지 확인

$ which ssh
/usr/bin/ssh

SSH가 클러스터의 모든 노드에 설치되어 있는것을 확인한 후 ssh-keygen을 사용하여
Master노드에 한 쌍의 RSA 키를 생성한다. 이때 passphrase는 입력하지 않는다.
그렇지 않으면 master 노드가 다른 노드에 접근할 때마다 매번 passparase를 입력해야 한다.

$ssh-keygen -t rsa

key파일을 저장할 위치를 물어보고나면
Enter passphrase 물어보면 그냥 enter를 친다.

본인의 서버구성이 분산 환경으로 구성된 경우에는
scp 명령어로 공개키를 분산서버의 같은위치에 옮기는 장업이 필요합니다.