【FR11功能体验报告】数据准备-ETL作业

测评功能点

本次主要测评了数据准备-ETL作业的功能

体验成果

数据抽取与加载(根据现有三个组件来操作)

离线同步:数据来源→数据去向

• • 支持的数据源:MySQL / SQLServer / Oracle / PostgreSQL / RestAPI
  • 写入策略:直接将数据写入目标表 / 清空目标表,再写入数据
  • 主键冲突:遇主键冲突,停止写入并报错 / 遇主键冲突，忽略输入源的相同主键数据 / 遇主键冲突，更新目标表的相同主键数据 / 表内无主键，无须设置主键冲突处理策略

• • 目标表:
    • 自动建表(目前能够识别到数据类型)
    • 目前需要手动复制相应的语句到数据库界面中执行

• • • 注意事项:若使用建表语句在数据库自行完成建表后，请务必切换目标表为：已存在表。

 

SQL脚本

例如:当天重复执行或者运行出错等,可以通过SQL脚本删除对应的数据,保证当天的数据结果是干净的,不重复的.

 

虚拟节点

该虚拟节点可以连接多个组件并行运行

 

流程测试

可以从运行日志中看到相应的日志信息,启动时刻-结束时刻,总耗时等,数据量较多时还会提示占用磁盘的内存大小.

调度配置

 

任务运维

可以从当前界面来查看任务数量,运行成功/失败等数据,也可以查看对应记录详情.

 

体验心得

优点:

1. 1. 能够在一套系统进行全流程的处理数据
   2. 支持多种数据源
   3. 界面简洁

缺点:

1. 1. 当前版本只支持SQL语句处理数据,再装载到目标表
   2. 缺少数据处理流程
   3. 缺少参数传递
   4. 日志查看不方便(当重启或者下次重新进入系统后,就无法从运行界面来查看日志,需到日志文件下去查找)
   5. 配置调度时需进入该任务界面才能进行设置,且只能执行当前任务,无法执行子任务之类的

 

优化

1. 数据准备希望加入按照FineBI或者类似市场上ETL工具的数据处理过程
2. FineBI有实时与离线模式之分,离线模式将数据抽取到磁盘中供其他组件来使用转换数据会比较快,实时模式直接用的数据库性能
3. ETL处理过程加个测试运行模式,运行时每个组件点击可以预览1k或者几百条数据的计算结果,每一步往下就能看到对应的依赖关系及结果是否正确
4. 调度策略添加一些模式,类似于XXL-JOB任务调度之类的
5. 等...............