대한민국에서 Programmer로 살아가기

1. vmware 에서 가상머신에 centos를 설치한다.
   hostname을 zk001로 한다.
   
   ** 호스트 네임 변경방법
   "/etc/sysconfig/network" 파일을 수정후 재부팅한다.
   
   NETWORKING=yes
   HOSTNAME=zk001
   
2. root로 openjdk 1.8.0을 설치한다.
   $> yum -y install java-1.8.0-openjdk
3. iptables 서비스를 종료한다.
   $> service iptables stop
4. 서비스 자동시작을 해제한다.
   $> chkconfig iptables off   
   
5. 위의 가상머신을 clone 기능을 이용해 복제 하고
   hostname을 kafka001로 한다. 

   ** 호스트 네임 변경방법
   "/etc/sysconfig/network" 파일을 수정후 재부팅한다.
   
   NETWORKING=yes
   HOSTNAME=kafka001
   
6. zk001서버에 주키퍼를 설치한다.
    $>cd /usr/local/
    $>wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz
    - 압축을 해제한다.
$>tar xvfz apache-zookeeper-3.5.5-bin.tar.gz
- 소프트 링크를 생성한다.
$>ln -s apache-zookeeper-3.5.5-bin zookeeper
$>mkdir /data

7. zk001를 clone 기능을 이용하여 2대 복제하고 hostname을 zk002, zk003으로 수정한다.
   zk001 서버에서 /data/myid에 1을 입력한다.
   $> echo 1 > /data/myid
   zk002 서버에서 /data/myid에 2을 입력한다.
   $> echo 2 > /data/myid
   zk003 서버에서 /data/myid에 3을 입력한다. 
   $> echo 3 > /data/myid
   
8. zk001, zk002, zk003 서버에서 환경설정파일을 생성한다.
$> cd /usr/local/zookeeper/conf
$> vi zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data
clientPort=2181
server.1=zk001:2888:3888
server.2=zk002:2888:3888
server.3=zk003:2888:388

9. zk001, zk002, zk003  서버에서 주키퍼가 정상적으로 수행되는지 확인한다.
   $> cd /usr/local/zookeeper/bin/
   $> ./zkServer.sh start
   
   아래 명령어로 daemon이 떠있는지 확인한다.
   $>ps -ef | grep zookeeper
   
10. 5번 step에서 복제한 kafka001에 kafka를 설치한다.
    $> cd /usr/local/  
    $> wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz
    $> tar xvfz kafka_2.11-2.1.0.tgz
    $> ln -s kafka_2.11-2.1.0 kafka
$> mkdir /data1
$> mkdir /data2

11. kafka001 서버를 2대 복제하고 hostname을 kafka002, kafka003으로 변경한다.
    각서버에서 주키퍼 서버로 접속이 되는지 확인한다.
$> nc -v zk001 2181
Connection to zk001 2181 port [tcp/eforward] succeeded!

12. 각서버에서 환경설정 파일을 변경한다.
    $> cd /usr/local/kafka/config/
vi 에디터로 아래 파일을 수정한다.
$> vi server.properties
  아래 부분을 찾아서 서버에 맞게 수정해 준다.
  ############################# Server Basics #############################
      # The id of the broker. This must be set to a unique integer for each broker.
      broker.id=1

  kafka001은 1로 수정
  kafka002는 2로 수정 
  kafka003은 3으로 수정
  
13. log 디렉토리 설정 수정
    아래 부분을 찾아서 각 서버에서 동일하게 수정을 한다.
log.dirs=/data1,/data2  
    
14. zookeeper.connect부분을 찾아서 아래와 같이 모든 서버에서 수정해줍니다.
    아래와 같이 입력하면 kafka가 주키퍼에 접속하여 /kafka라는 znode를 생성합니다.

    zookeeper.connect=zk001:2181,zk002:2181,zk003:2181/kafka

15. 각 서버에서 카프카를 시작한다 이때 & 기호를 붙여서 백그라운드에서 실행이 되도록 합니다.

   ./kafka-server-start.sh /usr/local/kafka/config/server.properties &

16. 주키퍼와 카프카의 상태확인
    zk001,zk002,zk003 서버에서 주키퍼 클라이언트 포트의 상태를 확인합니다.

$> ps -ef | grep 2181
root     12758  2653  0 23:09 pts/0    00:00:00 grep 2181

kafka001,kafka002,kafka003 서버에서 kafka 포트의 상태를 확인합니다.

$> ps -ef | grep 9092
root      9126  2459  0 23:09 pts/0    00:00:00 grep 9092

17. 주키퍼와 cli를 통해 주키퍼와 카프카가 잘연결 되었는지 확인
    $> cd /usr/local/zookeeper/bin
    $> ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
    [kafka, zookeeper]

[zk: localhost:2181(CONNECTED) 1] ls /kafka/brokers/ids
    [1,2,3]


18. 카프카 토픽 생성
$>  cd /usr/local/kafka/bin/
$> ./kafka-topics.sh \
--zookeeper zk001:2181,zk002:2181,zk003:2181/kafka \
--replication-factor 1 --partitions 1 --topic kang-topic --create

   - 참고로 토픽을 잘못 생성한 경우는 아래와 같이 삭제를 한다.
$> ./kafka-topics.sh \
--zookeeper zk001:2181,zk002:2181,zk003:2181/kafka \
--topic kang-topic --create

19. 카프카 메세지 퍼블리싱
    아래 명령어를 수행하면 메세지를 입력할 수 있는 프롬프트가 뜹니다.
    $> cd /usr/local/kafka/bin/ 
$> ./kafka-console-producer.sh \
   --broker-list kafka001:9092,kafka002:9092,kafka003:9092 \
   --topic kang-topic
   
프롬프트에 아래와 같이 입력합니다.
>first message
>second message

메세지 입력후 ctrl+c를 입력하면 입력창에서 나올 수 있습니다.

20. 카프카 메세지 수신
    아래와 같이 입력하면 kang-topic에 퍼블리싱된 메세지를 아래와 같이 확인할 수 있다.
$>./kafka-console-consumer.sh \
  --bootstrap-server kafka001:9092,kafka002:9092,kafka003:9092 \
  --topic kang-topic --from-beginning

    first message
    second message