作业操作和状态
作业操作
作业配置完后,可以在平台操作作业,支持如下操作:启动、暂停、恢复、重启、删除
- 作业配置完后可以启动,状态变为“初始化中”
- 启动成功后,作业状态转变为“运行中”
- 在“初始化中”和“运行中”状态,作业可以暂停,此时状态变为“暂停中”
- 暂停成功,状态变为“已暂停”状态下,作业可以重启或恢复。注意:对于Postgres源端的同步作业,如果暂停后一直没有恢复,源端PG的 WAL LOG 占用磁盘空间会一直增长
- “恢复”会保留之前的作业状态,继续同步
- “重启”会清除之前的作业状态,从头开始同步
- 只有全量同步的作业会“成功”或者“失败”,包含增量同步的作业会一直运行
- 在作业在未运行状态下(从未“启动”、“暂停”、“成功”、“失败”)下,作业可以删除。作业删除后,所有状态和历史记录会被清除
只有全量同步的作业会显示成功或失败状态。包含增量同步的作业会一直运行,但是可以指标查看延时、RPS 等
作业实例
在下面查看作业实例,每次启动都会产生一个新的实例
作业指标
Dashboard 中暴露了 6 个指标,分表为:
- Idle Time:系统当前时间和最近一条进入数据同步的数据的时间差,单位为毫秒。如果源端没有数据,该值会一直增长
- Emit Event Time:最近一次数据处理时间和最近一条进入数据同步的数据的时间差,单位为毫秒。如果源端没有数据,该值不会增长
- Instance Records:作业总的处理记录数
- Instance Bytes:作业总的处理字节数
- Instance Rps:作业的 PRS,每秒处理记录数
- Instance Bps:作业的 BPS,每秒处理字节数;包含增量的作业,是否延迟看 Idle Time 和 Emit Event Time 指标
注意:
- Idle Time 很小,说明没有延时
- Idle Time 很大,Emit Event Time 很小且一直没有变化,说明源端没有数据
- Idle Time 很大,Emit Event Time 很大(基本和 Idle Time 一致),说明作业延时很大