Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법

Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법

docker-compose.yml 파일 생성

vim docker-compose.yml

services:
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    container_name: kafka-ui
    restart: always
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=node1:9092,node2:29092,node3:9092
      - KAFKA_CLUSTERS_0_ZOOKEEPER=node1:2181,node2:2181,node3:2181
    ports:
      - "9999:8080"
    networks:
      - kafka-network

networks:
  kafka-network:
    driver: bridge

Kafka-UI 시작

docker compose up -d

Kafka-UI 접근

http://server-ip:9999

728x90

Kafka-UI 사용

대시보드 : Kafka-UI에 접근하면 Kafka 클러스터 목록을 보여주는 대시보드가 표시됩니다.

주제 관리 : UI를 통해 주제를 생성, 삭제 및 관리할 수 있습니다.

소비자 그룹 보기 : 소비자 그룹의 상태와 오프셋을 확인할 수 있습니다.

메시지 생성 : UI를 사용하여 테스트 목적으로 주제에 메시지를 생성할 수 있습니다.

kafka-ui_dsahboard

kafka-ui_brokers

kafka-ui_topics

kafka-ui_topics_test-topic

kafka-ui_topics_messages

kafka-ui_consumers

Kafka-UI 로그 확인

docker compose logs kafka-ui

Kafka 토픽 생성

1. 새 토픽 생성

• Topic name : test-topic-1
• Partitions : 3
• Replication factor : 2

kafka-ui

kafka-ui

kafka-ui

kafka-ui

2. 프로듀서 메시지 전송(Send Message)

• Key (선택 사항) : 메시지의 키를 입력합니다.
• Value : 메시지의 내용을 입력합니다. 예를 들어, {"event": "order_created", "order_id": 12345}와 같은 JSON 형식의 메시지를 입력할 수 있습니다.

kafka-ui

3. 컨슈머 메시지 확인(Consume Message)

/opt/kafka/bin/kafka-console-consumer.sh --topic test-topic-1 --from-beginning --bootstrap-server node3:9092

test value
value tt

 

Docker Compose를 통해 Kafka-UI를 사용하여 Kafka 클러스터를 효과적으로 관리할 수 있습니다.

 

참고URL

- Kafka-UI : Configuration wizard

- github : kafka-ui