From 5d5672d05ae5108cce511bda9268f406ec40ac4c Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 10:38:47 +0800 Subject: [PATCH 01/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 8 ++++++-- 1 file changed, 6 insertions(+), 2 deletions(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 6ecc925ec0b1..a5d32e76b818 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -20,7 +20,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - add column - drop column - create index / add index -- drop index +- drop index * - truncate table - modify column - rename table @@ -36,7 +36,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter database character set - recover table - add primary key -- drop primary key +- drop primary key * - rebase auto id - alter table index visibility - exchange partition @@ -44,6 +44,10 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter table ttl - alter table remove ttl +> **注意：** +> +> - 带 * 号的删除主键索引或非空索引的DDL可能会导致后续同步失败 + ## DDL 同步注意事项 ### 创建和添加索引 DDL 的异步执行 From ef5900f3cb9779319f0a826607ee521972436d77 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 10:45:50 +0800 Subject: [PATCH 02/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index a5d32e76b818..c9e0eb0521aa 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > **注意：** > -> - 带 * 号的删除主键索引或非空索引的DDL可能会导致后续同步失败 +> - 删除主键索引或非空索引的DDL(*号)可能会导致后续同步失败 ## DDL 同步注意事项 From 410e8efca5d0349465aece01629e64cf394255c1 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 10:46:22 +0800 Subject: [PATCH 03/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index c9e0eb0521aa..38176ce14966 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > **注意：** > -> - 删除主键索引或非空索引的DDL(*号)可能会导致后续同步失败 +> - 删除主键索引或非空索引的DDL(*号)可能会导致后续数据同步失败 ## DDL 同步注意事项 From 194b5a9732bce677a632b273fcfe22b0b1f671c0 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 10:48:15 +0800 Subject: [PATCH 04/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 38176ce14966..e657682e7f45 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > **注意：** > -> - 删除主键索引或非空索引的DDL(*号)可能会导致后续数据同步失败 +> - 删除主键索引或唯一索引的DDL(*号)可能会导致后续数据同步失败 ## DDL 同步注意事项 From 80878e906f9cec912e12207c2b722ac2b9712379 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 10:52:49 +0800 Subject: [PATCH 05/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index e657682e7f45..c0facbf6887c 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > **注意：** > -> - 删除主键索引或唯一索引的DDL(*号)可能会导致后续数据同步失败 +> - 删除[有效索引](https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 ## DDL 同步注意事项 From a68b3ca2b97872682145accaeb74f45489a6fa49 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 11:50:24 +0800 Subject: [PATCH 06/18] Update ticdc/ticdc-ddl.md Co-authored-by: Flowyi --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index c0facbf6887c..9fbf48006c2c 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -20,7 +20,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - add column - drop column - create index / add index -- drop index * +- drop index [*注意] - truncate table - modify column - rename table From 2d06b0a54159de8ca4aaa2d3bb369d12f845cdec Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 11:51:05 +0800 Subject: [PATCH 07/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 9fbf48006c2c..4eede6b58f18 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -36,7 +36,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter database character set - recover table - add primary key -- drop primary key * +- drop primary key [*注意] - rebase auto id - alter table index visibility - exchange partition From bec363d5c1b9f351dc016368d2635c5c3e802416 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 11:54:41 +0800 Subject: [PATCH 08/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 4eede6b58f18..73dcda75e6b5 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > **注意：** > -> - 删除[有效索引](https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 +> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 ## DDL 同步注意事项 From 9b2b4241b190ecb6ecb81fbae643ff8cdb90490f Mon Sep 17 00:00:00 2001 From: Flowyi Date: Fri, 22 Nov 2024 11:58:21 +0800 Subject: [PATCH 09/18] Update ticdc/ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 73dcda75e6b5..8f0624b2c750 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -44,7 +44,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter table ttl - alter table remove ttl -> **注意：** +> ** *注意：** > > - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 From aee21d5dde35fc2595aa2f0013c089b627ccb57d Mon Sep 17 00:00:00 2001 From: Flowyi Date: Fri, 22 Nov 2024 11:58:52 +0800 Subject: [PATCH 10/18] Update ticdc/ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 8f0624b2c750..48242c14d8e0 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -44,7 +44,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter table ttl - alter table remove ttl -> ** *注意：** +> ***注意：** > > - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 From 3f8b8f13cfd2b0555f7f8c1a3babaeb630d7edc1 Mon Sep 17 00:00:00 2001 From: Flowyi Date: Fri, 22 Nov 2024 12:00:30 +0800 Subject: [PATCH 11/18] Apply suggestions from code review --- ticdc/ticdc-ddl.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 48242c14d8e0..182989d676ce 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -20,7 +20,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - add column - drop column - create index / add index -- drop index [*注意] +- drop index [***注意**] - truncate table - modify column - rename table @@ -36,7 +36,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 - alter database character set - recover table - add primary key -- drop primary key [*注意] +- drop primary key [***注意**] - rebase auto id - alter table index visibility - exchange partition From 58088ab16c8632ecb5a99fe7f0127b6e336b778a Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 12:23:22 +0800 Subject: [PATCH 12/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 182989d676ce..3e3beb77b2a6 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > ***注意：** > -> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号)可能会导致后续数据同步失败 +> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 不会被同步，并且可能会导致后续数据同步失败。 ## DDL 同步注意事项 From 1b445cea955fe950d6aa9a8f5a07d49a635050b2 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Fri, 22 Nov 2024 17:16:00 +0800 Subject: [PATCH 13/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 3e3beb77b2a6..febe78358871 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > ***注意：** > -> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 不会被同步，并且可能会导致后续数据同步失败。 +> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 可能不会被同步，并且导致后续数据同步失败。 ## DDL 同步注意事项 From a72795412a085e29c35f857669d929d87222660b Mon Sep 17 00:00:00 2001 From: nhsmw Date: Mon, 25 Nov 2024 10:11:17 +0800 Subject: [PATCH 14/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index febe78358871..2694d030f68b 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > ***注意：** > -> - 删除[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 可能不会被同步，并且导致后续数据同步失败。 +> - 删除最后一个[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 不会被同步，并且导致后续数据同步失败。 ## DDL 同步注意事项 From 5baa355aaef5563303e0aa26780576ecf4346b88 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Mon, 25 Nov 2024 10:26:09 +0800 Subject: [PATCH 15/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 2694d030f68b..205d9ab8a164 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -46,7 +46,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > ***注意：** > -> - 删除最后一个[有效索引](/ticdc/ticdc-overview.md#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)的 DDL (*号) 不会被同步，并且导致后续数据同步失败。 +> - 删除最后一个[有效索引](/ticdc/ticdc-overview.md#最佳实践)的 DDL (*号) 不会被同步，并且导致后续数据同步失败。 ## DDL 同步注意事项 From cc34fb6ab5f9669ea931702ab15aa292ed650521 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Mon, 25 Nov 2024 11:40:37 +0800 Subject: [PATCH 16/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 1 + 1 file changed, 1 insertion(+) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 205d9ab8a164..2d433c7ebc20 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -47,6 +47,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 > ***注意：** > > - 删除最后一个[有效索引](/ticdc/ticdc-overview.md#最佳实践)的 DDL (*号) 不会被同步，并且导致后续数据同步失败。 +> - 当 changefeed 的配置文件设置 `force_replicate=true` 时，同步任务会尝试强制[同步没有有效索引的表](/ticdc/ticdc-manage-changefeed.md#同步没有有效索引的表)。 ## DDL 同步注意事项 From 526af49f57e8efaa7a6b2239db3156559ffb44f8 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Tue, 26 Nov 2024 15:38:51 +0800 Subject: [PATCH 17/18] draft --- ticdc/ticdc-ddl.md | 74 +++++++++++++++++++++++++--------------------- 1 file changed, 40 insertions(+), 34 deletions(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 2d433c7ebc20..3d217c0004e3 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -11,42 +11,48 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 目前 TiCDC 在同步 DDL 时使用白名单策略，只有在白名单中的 DDL 操作才会被同步到下游系统，不在白名单中的 DDL 操作将不会被 TiCDC 同步。 -以下为 TiCDC 支持同步的 DDL 的列表。 - -- create database -- drop database -- create table -- drop table -- add column -- drop column -- create index / add index -- drop index [***注意**] -- truncate table -- modify column -- rename table -- alter column default value -- alter table comment -- rename index -- add partition -- drop partition -- truncate partition -- create view -- drop view -- alter table character set -- alter database character set -- recover table -- add primary key -- drop primary key [***注意**] -- rebase auto id -- alter table index visibility -- exchange partition -- reorganize partition -- alter table ttl -- alter table remove ttl - -> ***注意：** +以下为 TiCDC 支持同步的 DDL 的列表。这些 DDL 会根据是否具有有效索引以及是否设置 force-replicate = true 会有不同的行为。 +下表中出现的缩写字母含义如下： +- Y：在该条件下可以同步到下游。 +- N：在该条件下不会同步到下游。 + +| DDL| 存在有效索引 | 没有有效索引 | force-replicate = true | +|---|:---:|:---:| :---: | +| create database | Y | Y | Y | +| drop database | Y | Y | Y | +| create table | Y | N | Y | +| drop table | Y | N | Y | +| add column | Y | N | Y | +| drop column | Y | N | Y | +| create index / add index | Y | Y | Y | +| drop index | Y | N | Y | +| truncate table | Y | N | Y | +| modify column | Y | N | Y | +| rename table | Y | N | Y | +| alter column default value | Y | N | Y | +| alter table comment | Y | N | Y | +| rename index | Y | N | Y | +| add partition | Y | N | Y | +| drop partition | Y | N | Y | +| truncate partition | Y | N | Y | +| create view | Y | N | Y | +| drop view | Y | N | Y | +| alter table character set | Y | N | Y | +| alter database character set | Y | Y | Y | +| recover table | Y | N | Y | +| add primary key | Y | Y | Y | +| drop primary key | Y | N | Y | +| rebase auto id | Y | N | Y | +| alter table index visibility | Y | N | Y | +| exchange partition | Y | N | Y | +| reorganize partition | Y | N | Y | +| alter table ttl | Y | N | Y | +| alter table remove ttl | Y | N | Y | + +> ** 注意：** > > - 删除最后一个[有效索引](/ticdc/ticdc-overview.md#最佳实践)的 DDL (*号) 不会被同步，并且导致后续数据同步失败。 +> - 创建第一个[有效索引](/ticdc/ticdc-overview.md#最佳实践)的 DDL (*号) 会被同步，并且导致后续数据同步失败。 > - 当 changefeed 的配置文件设置 `force_replicate=true` 时，同步任务会尝试强制[同步没有有效索引的表](/ticdc/ticdc-manage-changefeed.md#同步没有有效索引的表)。 ## DDL 同步注意事项 From f63c2077513e2dd9950ac40a859c2aa8e3c42740 Mon Sep 17 00:00:00 2001 From: nhsmw Date: Tue, 26 Nov 2024 15:42:25 +0800 Subject: [PATCH 18/18] Update ticdc-ddl.md --- ticdc/ticdc-ddl.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/ticdc/ticdc-ddl.md b/ticdc/ticdc-ddl.md index 3d217c0004e3..a7f4dd18a0f9 100644 --- a/ticdc/ticdc-ddl.md +++ b/ticdc/ticdc-ddl.md @@ -20,12 +20,15 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 |---|:---:|:---:| :---: | | create database | Y | Y | Y | | drop database | Y | Y | Y | +| alter database character set | Y | Y | Y | +| create index / add index | Y | Y* | Y | +| drop index | Y* | N | Y | +| add primary key | Y | Y* | Y | +| drop primary key | Y* | N | Y | | create table | Y | N | Y | | drop table | Y | N | Y | | add column | Y | N | Y | | drop column | Y | N | Y | -| create index / add index | Y | Y | Y | -| drop index | Y | N | Y | | truncate table | Y | N | Y | | modify column | Y | N | Y | | rename table | Y | N | Y | @@ -38,10 +41,7 @@ summary: 了解 TiCDC 支持同步的 DDL 和一些特殊情况 | create view | Y | N | Y | | drop view | Y | N | Y | | alter table character set | Y | N | Y | -| alter database character set | Y | Y | Y | | recover table | Y | N | Y | -| add primary key | Y | Y | Y | -| drop primary key | Y | N | Y | | rebase auto id | Y | N | Y | | alter table index visibility | Y | N | Y | | exchange partition | Y | N | Y |