1
1
---
2
2
title : ไฝฟ็จ Flink CDC ไป MySQL ่ฟ็งป
3
+ sidebar_label : ' MySQL โ Databend: Flink CDC'
3
4
---
4
5
5
- ๅจๆฌๆ็จไธญ๏ผๆไปฌๅฐๅผๅฏผไฝ ๅฎๆไฝฟ็จ Apache Flink CDC ไป MySQL ่ฟ็งปๅฐ Databend Cloud ็่ฟ็จใ
6
+ > ** ๅ่ฝ** : CDC, ๅ
จ้ๅ ่ฝฝ, ่ฝฌๆข
7
+
8
+ ๅจๆฌๆ็จไธญ๏ผๆไปฌๅฐๅผๅฏผๆจๅฎๆไฝฟ็จ Apache Flink CDC ไป MySQL ่ฟ็งปๅฐ Databend Cloud ็่ฟ็จใ
6
9
7
10
## ๅผๅงไนๅ
8
11
9
- ๅจๅผๅงไนๅ๏ผ่ฏท็กฎไฟไฝ ๅทฒๅๅคๅฅฝไปฅไธๅ
ๅณๆกไปถ ๏ผ
12
+ ๅจๅผๅงไนๅ๏ผ่ฏท็กฎไฟๆจๅทฒๅๅคๅฅฝไปฅไธๅ
ๅณๆกไปถ ๏ผ
10
13
11
- - ไฝ ็ๆฌๅฐๆบๅจไธๅฎ่ฃ
ไบ [ Docker] ( https://www.docker.com/ ) ๏ผๅ ไธบๅฎๅฐ็จไบๅฏๅจ MySQLใ
12
- - ไฝ ็ๆฌๅฐๆบๅจไธๅฎ่ฃ
ไบ Java 8 ๆ 11๏ผ่ฟๆฏ [ Flink Databend Connector] ( https://github.com/databendcloud/flink-connector-databend ) ๆๅฟ
้็ใ
13
- - ไฝ ็ๆฌๅฐๆบๅจไธๅฎ่ฃ
ไบ BendSQLใๆๅ
ณๅฆไฝไฝฟ็จๅ็งๅ
็ฎก็ๅจๅฎ่ฃ
BendSQL ็่ฏดๆ๏ผ่ฏทๅ้
[ ๅฎ่ฃ
BendSQL] ( /guides/sql-clients/bendsql/#installing-bendsql ) ใ
14
+ - ๆจ็ๆฌๅฐๆบๅจไธๅทฒๅฎ่ฃ
[ Docker] ( https://www.docker.com/ ) ๏ผๅ ไธบๅฎๅฐ็จไบๅฏๅจ MySQLใ
15
+ - ๆจ็ๆฌๅฐๆบๅจไธๅทฒๅฎ่ฃ
Java 8 ๆ 11๏ผ่ฟๆฏ [ Flink Databend Connector] ( https://github.com/databendcloud/flink-connector-databend ) ๆๅฟ
้็ใ
16
+ - ๆจ็ๆฌๅฐๆบๅจไธๅทฒๅฎ่ฃ
BendSQLใๆๅ
ณๅฆไฝไฝฟ็จๅ็งๅ
็ฎก็ๅจๅฎ่ฃ
BendSQL ็่ฏดๆ๏ผ่ฏทๅ้
[ ๅฎ่ฃ
BendSQL] ( /guides/sql-clients/bendsql/#installing-bendsql ) ใ
14
17
15
18
## ๆญฅ้ชค 1๏ผๅจ Docker ไธญๅฏๅจ MySQL
16
19
@@ -33,7 +36,7 @@ collation-server=utf8mb4_unicode_ci
33
36
default-authentication-plugin =mysql_native_password
34
37
```
35
38
36
- 2 . ๅจไฝ ็ๆฌๅฐๆบๅจไธๅฏๅจไธไธช MySQL ๅฎนๅจใไธ้ข็ๅฝไปคๅฏๅจไธไธชๅไธบ ** mysql-server** ็ MySQL ๅฎนๅจ๏ผๅๅปบไธไธชๅไธบ ** mydb** ็ๆฐๆฎๅบ๏ผๅนถๅฐ root ๅฏ็ ่ฎพ็ฝฎไธบ ` root ` ๏ผ
39
+ 2 . ๅจๆจ็ๆฌๅฐๆบๅจไธๅฏๅจไธไธช MySQL ๅฎนๅจใไปฅไธๅฝไปคๅฏๅจไธไธชๅไธบ ** mysql-server** ็ MySQL ๅฎนๅจ๏ผๅๅปบไธไธชๅไธบ ** mydb** ็ๆฐๆฎๅบ๏ผๅนถๅฐ root ๅฏ็ ่ฎพ็ฝฎไธบ ` root ` ๏ผ
37
40
38
41
``` bash
39
42
docker run \
@@ -132,7 +135,7 @@ mysql> select * from products;
132
135
133
136
## ๆญฅ้ชค 3๏ผๅจ Databend Cloud ไธญ่ฎพ็ฝฎ็ฎๆ
134
137
135
- 1. ไฝฟ็จ BendSQL ่ฟๆฅๅฐ Databend Cloudใๅฆๆไฝ ไธ็ๆ BendSQL๏ผ่ฏทๅ้
ๆฌๆ็จ๏ผ[ไฝฟ็จ BendSQL ่ฟๆฅๅฐ Databend Cloud](../connect/connect-to-databendcloud-bendsql.md)ใ
138
+ 1. ไฝฟ็จ BendSQL ่ฟๆฅๅฐ Databend Cloudใๅฆๆๆจไธ็ๆ BendSQL๏ผ่ฏทๅ้
ๆฌๆ็จ๏ผ[ไฝฟ็จ BendSQL ่ฟๆฅๅฐ Databend Cloud](../connect/connect-to-databendcloud-bendsql.md)ใ
136
139
137
140
2. ๅคๅถๅนถ็ฒ่ดดไปฅไธ SQL ไปฅๅๅปบไธไธชๅไธบ **products** ็็ฎๆ ่กจ๏ผ
138
141
@@ -162,19 +165,19 @@ curl -Lo lib/flink-connector-databend.jar https://github.com/databendcloud/flink
162
165
curl -Lo lib/flink-sql-connector-mysql-cdc-2.4.1.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.4.1/flink-sql-connector-mysql-cdc-2.4.1.jar
163
166
```
164
167
165
- 3. ๆๅผ `flink-1.17.1/conf/` ไธ็ **flink-conf.yaml** ๆไปถ๏ผๅฐ `taskmanager.memory.process.size` ๆดๆฐไธบ `4096m`๏ผ็ถๅไฟๅญ่ฏฅๆไปถ ใ
168
+ 3. ๆๅผ `flink-1.17.1/conf/` ไธ็ **flink-conf.yaml** ๆไปถ๏ผๅฐ `taskmanager.memory.process.size` ๆดๆฐไธบ `4096m`๏ผ็ถๅไฟๅญๆไปถ ใ
166
169
167
170
```yaml
168
171
taskmanager.memory.process.size: 4096m
169
172
```
170
173
171
- 4. ๅฏๅจ Flink ้็พค๏ผ
174
+ 4. ๅฏๅจไธไธช Flink ้็พค๏ผ
172
175
173
176
```shell
174
177
./bin/start-cluster.sh
175
178
```
176
179
177
- ็ฐๅจ๏ผๅฆๆไฝ ๅจๆต่งๅจไธญ่ฎฟ้ฎ [http://localhost:8081](http://localhost:8081)๏ผๅๅฏไปฅๆๅผ Apache Flink Dashboard ๏ผ
180
+ ็ฐๅจ๏ผๅฆๆๆจๅจๆต่งๅจไธญ่ฎฟ้ฎ [http://localhost:8081](http://localhost:8081)๏ผๅๅฏไปฅๆๅผ Apache Flink ไปช่กจๆฟ ๏ผ
178
181
179
182

180
183
@@ -186,12 +189,11 @@ taskmanager.memory.process.size: 4096m
186
189
./bin/sql-client.sh
187
190
```
188
191
189
- ไฝ ๅฐ็ๅฐ Flink SQL Client ๅฏๅจๆจชๅน
๏ผ็กฎ่ฎคๅฎขๆท็ซฏๅทฒๆๅๅฏๅจใ
192
+ ๆจๅฐ็ๅฐ Flink SQL Client ๅฏๅจๆจชๅน
๏ผ็กฎ่ฎคๅฎขๆท็ซฏๅทฒๆๅๅฏๅจใ
190
193
191
194
```bash
192
-
193
-
194
195
```
196
+
195
197
โโโโโโโโ
196
198
โโโโโโโโโโโโโโโโ
197
199
โโโโโโโ โโโโโโโ โ
@@ -215,7 +217,7 @@ taskmanager.memory.process.size: 4096m
215
217
โโโโโโโโ โโโโโโโโโโโโโโโ โโ
216
218
โโ โโโโ โโโโโโโ โโโ โโโโโโ โโ โโโ
217
219
โโโ โโโ โโโ โโโโโโโ โโโโ โโโโโโโโโโโโโ
218
- โโโ โโโโโ โโโโ โโ โโ โโโโ โโโ
220
+ โโโ โโโโโ โโโโ โโ โโ โโโโ โโโ
219
221
โโ โโโ โ โโ โโ โโ
220
222
โโ โโ โโ โโ โโโโโโโโ
221
223
โโ โโโโโ โโ โโโโโโโโโโโ โโ
@@ -241,7 +243,7 @@ taskmanager.memory.process.size: 4096m
241
243
Flink SQL> SET execution.checkpointing.interval = 3s;
242
244
```
243
245
244
- 3. ๅจ Flink SQL Client ไธญๅๅปบๅธฆๆ MySQL ๅ Databend ่ฟๆฅๅจ็็ธๅบ่กจ ๏ผๅฐๅ ไฝ็ฌฆๆฟๆขไธบๆจ็ๅฎ้
ๅผ๏ผ๏ผ
246
+ 3. ๅจ Flink SQL Client ไธญไฝฟ็จ MySQL ๅ Databend ่ฟๆฅๅจๅๅปบ็ธๅบ็่กจ ๏ผๅฐๅ ไฝ็ฌฆๆฟๆขไธบๆจ็ๅฎ้
ๅผ๏ผ๏ผ
245
247
246
248
```sql
247
249
CREATE TABLE mysql_products (id INT,name STRING,description STRING,PRIMARY KEY (id) NOT ENFORCED)
0 commit comments