본문 바로가기

Kafka

 (7)
JDBC Sink Connector For Oracle { "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "transforms.TimestampConverter.target.type": "Timestamp", "connection.password": "******", "transforms.TimestampConverter.field": "update_date", "tasks.max": "1", "transforms": "unwrap, route, TimestampConverter", "tombstones.on.delete": "true", "transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter", "schema...
JDBC Sink Connector For My Sql { "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "transforms.TimestampConverter.target.type": "Timestamp", "connection.password": "******", "transforms.TimestampConverter.field": "update_date", "tasks.max": "1", "transforms": "unwrap, route, TimestampConverter", "tombstones.on.delete": "true", "transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter", "schema...
Kafaka Source Connector 특정 Table만 snapshot뜨기 Source Connector Configuration에서 아래의 요소만 추가해 주면 된다. 테이블은 콤마 구분자로 여러개 등록 할수 있다. "table.whitelist": "customer", { "connector.class": "io.debezium.connector.postgresql.PostgresConnector", "database.user": "UserName", "database.dbname": "postgres", "slot.name": "slot1", "database.server.name": "postgre_source", "plugin.name": "pgoutput", "value.converter.schema.registry.url": "http://schema-registry..
MySql Kafka JDBC Sink Connector Configuration { "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "transforms.TimestampConverter.target.type": "Timestamp", "connection.password": "*****", "transforms.TimestampConverter.field": "update_date", "tasks.max": "1", "transforms": "unwrap, route, TimestampConverter", "tombstones.on.delete": "true", "transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter", "schema.r..
Kafka Registry And Connect 설치 첨부된 yaml파일을 다운로드 한다. 다운로드된 위치로 이동한다. docker-compose -f docker-kafka-connect-and-registry.yaml up -d 해당 명령어를 실행한다. kafka registry port가 8081이 기본인데 현재 로컬에 사용중이므로 8082로 외부접속포트를 변경했다. 자세한 사항은 yaml파일을 확인해 보면 된다.
Kafka Ui설치 사전조건 docker-compose를 사용하여 해당 첨부된 yaml을 실행한다 실행 명령어 cdm > 저장된 yaml디렉토리 이동 > docker-compose -f docker-kafka-for-ui.yaml up -d 해당 명령어로 zookeper와 kafka가 설치되어있는지 확인하자 kafka ui 설치 첨부된 docker-kafka-ui.yaml을 다운받는다 cmd를 연다 다운로드 받은 디렉토리로 이동한다 docker-compose -f docker-kafka-ui.yaml up -d 실행한다. 브라우저를 열고 http://localhost:8989/ 실행한다
Kafka Topick생성 kafka 명령어를 사용하기 위해 kafka home로 설정되어 있는 /opt/kafka/bin로 이동한다. Topic 생성하기 ./kafka-topics.sh --bootstrap-server localhost:9092 --topic dreams-topic --create 생성된 Topic 확인 ./kafka-topics.sh --bootstrap-server localhost:9092 --list Producer 데이터 넣기 ./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic dreams-topic Consumer 데이터 확인 ./kafka-console-consumer.sh --bootstrap-server localhost:..

티스토리툴바