본문 바로가기

Open Source

 (32)
Git Runner설치및 등록 Gitlab > Settings > CI/CD > Runners > Expand > Show runner installation instructions 클릭 Wndows탭 이동 ./gitlab-runner.exe register --url http://127.0.0.1/ --registration-token $REGISTRATION_TOKEN 실행 방법 shell 선택 등록후 아래 체크 Windows에서 shell선택해서 돌리면 에러남 config.toml 파일을 수정해야함 빨간색으로 밑줄친 부분을 powershell로 해줘야함
Gitlab설치 CMD 오픈 docker pull gitlab/gitlab-ce docker run --detach --hostname 127.0.0.1 -p 80:80 -p 2224:22 --name gitlab --restart always -v D:\docker\gitlab\config:/etc/gitlab -v D:\docker\gitlab\logs:/var/log/gitlab -v D:\docker\gitlab\data:/var/opt/gitlab gitlab/gitlab-ce:latest http://127.0.0.1/ root 계정 비번초기화 docker exec -it container_id /bin/bash gitlab-rails console -e production user = User.where(i..
Debezium Source Connector Download Url 아래의 URL에서 사용하고 싶은 소스 커넥터들을 다운받아 Connect에 plugin에 설정된 폴더에 넣어놓자 Installing Debezium :: Debezium Documentation
Kafka DataSource Connector 관련 설정 MySql CREATE TABLE customer ( id integer NOT NULL, fullname character varying(255), email character varying(255), CONSTRAINT customer_pkey PRIMARY KEY (id) ); show variables like '%binlog_format%'; show variables like '%binlog_rows_query_log_events%' set binlog_rows_query_log_events=ON; Postgre CREATE TABLE customer ( id integer NOT NULL, fullname character varying(255), email character varying(..
Kafka JDBC SinkConnector JDBC Connector (Source and Sink) Kafka connect에 들어가서 해당 connector를 install 하던가 다운로드 받아서 설치해야한다. 메뉴얼로 설치하기 위해서 Connect에 접속해서 connector plugin들이 설치된 위치를 확인한다. 현재 로컬 위치에는 /usr/share/java,/usr/share/confluent-hub-components,/data/connect-jars 이렇게 3개의 폴더로 설정 되어있다. 처음의 ‘/usr/share/java,/usr/share’ 이 폴더에 위에서 다운받은 폴더를 복사한다. connecte를 재기동한다. 혹시 mysql driver 를 찾을수 없다고 나오면 Maven Repository: mysql » mysql-c..
MySql Kafka JDBC Sink Connector Configuration { "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "transforms.TimestampConverter.target.type": "Timestamp", "connection.password": "*****", "transforms.TimestampConverter.field": "update_date", "tasks.max": "1", "transforms": "unwrap, route, TimestampConverter", "tombstones.on.delete": "true", "transforms.route.type": "org.apache.kafka.connect.transforms.RegexRouter", "schema.r..
Kafka Connectors 링크 https://docs.confluent.io/home/connect/self-managed/kafka_connectors.html Kafka Connectors | Confluent Documentation PostgresSQL Source (Debezium) PostgresSQL Source (Debezium) The Debezium PostgreSQL Source Connector can obtain a snapshot of the existing data in a PostgreSQL database and then monitor and record all subsequent row-level changes to that data. Weblogic JMS docs.confluent.io JDBC S..
Debezium UI (Connector환경설정) Purpose : Connector의 설정을 위한 UI이다. URL : https://debezium.io/documentation/reference/stable/operations/debezium-ui.html Prerequisite : kafka connect 설치가 되어있어야한다. 설치한 docker connect와 Debezium ui가 같은 subnet에 존재해야한다. (hostname으로 찾기 때문) DockerCompose 첨부된 파일을 참조한다.

티스토리툴바