본문 바로가기

Open Source/Kafka

 (22)
Debezium Git 주소 GitHub - debezium/debezium: Change data capture for a variety of databases. Please log issues at https://issues.redhat.com/browse/DBZ.
Debezium For Oracle oracle db 설정 Oracle Database Prerequisites | Confluent Documentation grant select_catalog_role to myuser; 해당 권한도 준다
Debezium CDC DataSource For Mysql 첨부된 프로젝트의 압축을 푼다. CMD창을 연다 DebeziumCDC\src\main\resources로 폴더를 이동한다. docker-compose -f docker-compose-mysql.yaml up 명령어를 실행한다. Docker에 my sql을 docker-compose를 통해 실행됨을 확인할 수 있다. 2개의 mysql서버가 구동되고 있다 하나는 source용 mysql:3305 다른 하나는 target용 mysql:3306이다 username : root password : root로 DBeaver에서 접속해 본다. DebeziumCDC\src\main\resources\customer.sql의 명령어를 차례대로 실행한다. customer테이블을 생성하고 springboot 프로젝트를 실행..
Debezium Source Connector Download Url 아래의 URL에서 사용하고 싶은 소스 커넥터들을 다운받아 Connect에 plugin에 설정된 폴더에 넣어놓자 Installing Debezium :: Debezium Documentation
Kafka DataSource Connector 관련 설정 MySql CREATE TABLE customer ( id integer NOT NULL, fullname character varying(255), email character varying(255), CONSTRAINT customer_pkey PRIMARY KEY (id) ); show variables like '%binlog_format%'; show variables like '%binlog_rows_query_log_events%' set binlog_rows_query_log_events=ON; Postgre CREATE TABLE customer ( id integer NOT NULL, fullname character varying(255), email character varying(..
Kafka JDBC SinkConnector JDBC Connector (Source and Sink) Kafka connect에 들어가서 해당 connector를 install 하던가 다운로드 받아서 설치해야한다. 메뉴얼로 설치하기 위해서 Connect에 접속해서 connector plugin들이 설치된 위치를 확인한다. 현재 로컬 위치에는 /usr/share/java,/usr/share/confluent-hub-components,/data/connect-jars 이렇게 3개의 폴더로 설정 되어있다. 처음의 ‘/usr/share/java,/usr/share’ 이 폴더에 위에서 다운받은 폴더를 복사한다. connecte를 재기동한다. 혹시 mysql driver 를 찾을수 없다고 나오면 Maven Repository: mysql » mysql-c..
MySql Kafka JDBC Sink Connector Configuration { "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "transforms.TimestampConverter.target.type": "Timestamp", "connection.password": "*****", "transforms.TimestampConverter.field": "update_date", "tasks.max": "1", "transforms": "unwrap, route, TimestampConverter", "tombstones.on.delete": "true", "transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter", "schema.r..
Kafka Connectors 링크 https://docs.confluent.io/home/connect/self-managed/kafka_connectors.html Kafka Connectors | Confluent Documentation PostgresSQL Source (Debezium) PostgresSQL Source (Debezium) The Debezium PostgreSQL Source Connector can obtain a snapshot of the existing data in a PostgreSQL database and then monitor and record all subsequent row-level changes to that data. Weblogic JMS docs.confluent.io JDBC S..

티스토리툴바