Skip to content

集成定时任务,支持分布式

Compare
Choose a tag to compare
@WeiYe-Jing WeiYe-Jing released this 25 Dec 05:25
· 455 commits to master since this release

1、通过Web构建DataX Json;
2、DataX Json保存在数据库中,方便任务的迁移,管理;
3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能;
4、DataX运行记录展示,可页面操作停止DataX作业;
5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
6、调度采用中心式设计,支持集群部署;
7、任务分布式执行,任务"执行器"支持集群部署;
8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行;
9、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
10、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
11、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
12、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
13、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
14、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
16、运行报表:支持实时查看运行数据,以及调度报表,如调度日期分布图,调度成功分布图等;