본문 바로가기

Open Source/Kafka

(22)
Debezium UI (Connector환경설정) Purpose : Connector의 설정을 위한 UI이다. URL : https://debezium.io/documentation/reference/stable/operations/debezium-ui.html Prerequisite : kafka connect 설치가 되어있어야한다. 설치한 docker connect와 Debezium ui가 같은 subnet에 존재해야한다. (hostname으로 찾기 때문) DockerCompose 첨부된 파일을 참조한다.
Kafka Registry And Connect 설치 첨부된 yaml파일을 다운로드 한다. 다운로드된 위치로 이동한다. docker-compose -f docker-kafka-connect-and-registry.yaml up -d 해당 명령어를 실행한다. kafka registry port가 8081이 기본인데 현재 로컬에 사용중이므로 8082로 외부접속포트를 변경했다. 자세한 사항은 yaml파일을 확인해 보면 된다.
Kafka Ui 빌드 git clone GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management mvn clean build 시 테스트 에러가 나오면 mvn clean build -DskipTests 시도 혹시 인증서 에러가 나오면 [API] "unable to find valid certification path to requested target" 인트라넷 PC 인증서 추가하기 따라해 보기 kafka-ui-api 폴더로 이동 mvnw spring-boot:run -Pprod 실행 또는 mvnw spring-boot:run -Pprod -Dspring.config.location=file:///path/to/conf.yaml 실행 또는 mvnw ..
Kafka Ui설치 사전조건 docker-compose를 사용하여 해당 첨부된 yaml을 실행한다 실행 명령어 cdm > 저장된 yaml디렉토리 이동 > docker-compose -f docker-kafka-for-ui.yaml up -d 해당 명령어로 zookeper와 kafka가 설치되어있는지 확인하자 kafka ui 설치 첨부된 docker-kafka-ui.yaml을 다운받는다 cmd를 연다 다운로드 받은 디렉토리로 이동한다 docker-compose -f docker-kafka-ui.yaml up -d 실행한다. 브라우저를 열고 http://localhost:8989/ 실행한다
Kafka Topick생성 kafka 명령어를 사용하기 위해 kafka home로 설정되어 있는 /opt/kafka/bin로 이동한다. Topic 생성하기 ./kafka-topics.sh --bootstrap-server localhost:9092 --topic dreams-topic --create 생성된 Topic 확인 ./kafka-topics.sh --bootstrap-server localhost:9092 --list Producer 데이터 넣기 ./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic dreams-topic Consumer 데이터 확인 ./kafka-console-consumer.sh --bootstrap-server localhost:..
Kafka 설치 Kafka설치 kafka를 설치하기 위해 kafka cluster zookeeper와 kafka가 모두 설치되어야한다. 이 둘을 설치하기 위해 docker-composer를 사용하자 git clone https://github.com/wurstmeister/kafka-docker.git docker-compose-single-broker.yml 파일 수정 version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: #build: . image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0...