Releases: WeiYe-Jing/datax-web
功能迭代,修复已知问题
v-2.1.2
新增
添加项目管理模块,可对任务分类管理;
对RDBMS数据源增加批量任务创建功能,选择数据源,表即可根据模板批量生成DataX同步任务;
JSON构建增加ClickHouse数据源支持;
执行器CPU.内存.负载的监控页面图形化;
RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置;
更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块;
脚本类型任务增加停止功能;
rdbms json构建增加postSql,并支持构建多个preSql,postSql;
合并datax-registry模块到datax-rpc中;
10.数据源信息加密算法修改及代码优化;
11.时间增量同步支持更多时间格式;
12.日志页面增加DataX执行结果统计数据;
升级:
PostgreSql,SQLServer,Oracle 数据源JSON构建增加schema name选择;
DataX JSON中的字段名称与数据源关键词一致问题优化;
任务管理页面按钮展示优化;
日志管理页面增加任务描述信息;
JSON构建前端form表单不能缓存数据问题修复;
HIVE JSON构建增加头尾选项参数;
备注:
2.1.1版本不建议升级,数据源信息加密方式变更会导致之前已加密的数据源解密失败,任务运行失败。
如果需要升级请重建数据源,任务。
功能迭代,修复已知问题
新增
- 添加HBase数据源支持,JSON构建可通过HBase数据源获取hbaseConfig,column;
- 添加MongoDB数据源支持,用户仅需要选择collectionName即可完成json构建;
- 添加执行器CPU.内存.负载的监控页面;
- 添加24类插件DataX JSON配置样例
- 公共字段(创建时间,创建人,修改时间,修改者)插入或更新时自动填充
- 对swagger接口进行token验证
- 任务增加超时时间,对超时任务kill datax进程,可配合重试策略避免网络问题导致的datax卡死。
升级:
- 数据源管理对用户名和密码进行加密,提高安全性;
- 对JSON文件中的用户名密码进行加密,执行DataX任务时解密
- 对页面菜单整理,图标升级,提示信息等交互优化;
- 日志输出取消项目类名等无关信息,减小文件大小,优化大文件输出,优化页面展示;
- logback为从yml中获取日志路径配置
修复:
- 任务日志过大时,查看日志报错,请求超时;
功能迭代,修复已知问题
修复前端页面自适应问题
修复添加任务时json转换失败的问题
修复构建json时数据库连接增加问题
修复增量更新失败重试成功后增量更新时间跳跃的问题
修复失败重试时序列化失败问题
1、指定增量字段,自动获取每次的数据区间
2、页面配置datax启动参数
3、数据源连接错误提醒功能
4、任务模板创建
5、构建JSON之后选择任务模板创建任务
6、jdbc添加hive数据源支持
7、json构建模块代码重构
8、json构建支持hive
9、添加数据源测试功能
10、优先通过环境变量获取DataX文件目录
11、字段映射优化
12、支持shell、python、powershell任务
13、支持分区动态传参,可配合增量同时使用
集成定时任务,支持分布式
1、通过Web构建DataX Json;
2、DataX Json保存在数据库中,方便任务的迁移,管理;
3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能;
4、DataX运行记录展示,可页面操作停止DataX作业;
5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
6、调度采用中心式设计,支持集群部署;
7、任务分布式执行,任务"执行器"支持集群部署;
8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行;
9、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
10、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
11、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
12、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
13、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
14、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
16、运行报表:支持实时查看运行数据,以及调度报表,如调度日期分布图,调度成功分布图等;
由springboot-datax迁移
1.0.0 pom版本格式修改