作业操作和状态

作业操作

作业配置完后,可以在平台操作作业,支持如下操作:启动、暂停、恢复、重启、删除

  • 作业配置完后可以启动,状态变为“初始化中”
  • 启动成功后,作业状态转变为“运行中”
  • 在“初始化中”和“运行中”状态,作业可以暂停,此时状态变为“暂停中”
  • 暂停成功,状态变为“已暂停”状态下,作业可以重启或恢复。注意:对于Postgres源端的同步作业,如果暂停后一直没有恢复,源端PG的 WAL LOG 占用磁盘空间会一直增长
  • “恢复”会保留之前的作业状态,继续同步
  • “重启”会清除之前的作业状态,从头开始同步
  • 只有全量同步的作业会“成功”或者“失败”,包含增量同步的作业会一直运行
  • 在作业在未运行状态下(从未“启动”、“暂停”、“成功”、“失败”)下,作业可以删除。作业删除后,所有状态和历史记录会被清除

只有全量同步的作业会显示成功或失败状态。包含增量同步的作业会一直运行,但是可以指标查看延时、RPS 等

作业实例

在下面查看作业实例,每次启动都会产生一个新的实例

作业指标

Dashboard 中暴露了 6 个指标,分表为:

  • Idle Time:系统当前时间和最近一条进入数据同步的数据的时间差,单位为毫秒。如果源端没有数据,该值会一直增长
  • Emit Event Time:最近一次数据处理时间和最近一条进入数据同步的数据的时间差,单位为毫秒。如果源端没有数据,该值不会增长
  • Instance Records:作业总的处理记录数
  • Instance Bytes:作业总的处理字节数
  • Instance Rps:作业的 PRS,每秒处理记录数
  • Instance Bps:作业的 BPS,每秒处理字节数;包含增量的作业,是否延迟看 Idle Time 和 Emit Event Time 指标

注意:

  • Idle Time 很小,说明没有延时
  • Idle Time 很大,Emit Event Time 很小且一直没有变化,说明源端没有数据
  • Idle Time 很大,Emit Event Time 很大(基本和 Idle Time 一致),说明作业延时很大