本文将从以下要点带你了解如何处理CDC实时同步经常断连、任务中断的情况:
Change Data Capture(CDC)技术是一种用于数据库管理和数据集成的重要技术,其主要功能是实时捕获数据库中的变更,并记录这些变更,以便将其同步到其他系统或数据仓库中。
CDC作为数据管道的一部分,通过捕获变更数据并将其传输到数据管道中,帮助确保管道中的数据能够及时更新和同步。数据管道可以进一步处理这些变更数据,进行转换、清洗、加工等操作,最终将数据推送到目标系统或存储中。
但是CDC实时同步经常会因为网络波动或数据库暂时断连等情况,导致任务中断。
面对这种情况,如何确保管道任务在网络恢复后能自动重启,以减少人工干预,是运维团队必须面对的挑战。
①「失败重试」功能:当CDC实时任务(数据管道)遇到短暂的网络故障或其他中断后能够迅速重试。可以为配置重跑次数和间隔时间,以适应不同的恢复需求。
- 默认状态下,系统将自动重试3次,每次间隔2分钟
- 用户可以根据需要调整这些参数,最大重试次数可达10次,间隔时间最长可设为60分钟
若全量同步已完成,则会从上次的断点处开始断点续传,这样就节省了全量同步的时间。
另外,无论管道任务因何原因重新运行,FineDataLink都会将其视为新的任务,从第一次开始重新计算。这种设计保证了数据的一致性和准确性,避免了因重复运行而导致的混乱。
|