数据集成最重要的是做到灵活可配置。为了保证灵活性，应该有如下项目。1 动态标签 用于数据处理插件，根据条件组装数据源命令，包括但不仅限于SQL 2 函数表达式，这个是最重要的。高级功能，编译执行 将函数编译为java类执行 。 支持编译前检查，参数类型，参数个数是否正确，以及 执行前确定返回类型，搭配类型系统，做到用户配置函数后 不用填写返回的字段类型，做到更易用。同时，还可以实现高精度的加减法，因为底层对应高精度类型，小于18位，用的一个unscled 和 scale存储，也就是 18.3存储为一个long 183和一个 1，这里1对应的小数位数。大于18位，用的bigdecimal存储。这里高精度计算，要实现自动升降级。实现好的函数，可以在数据过滤，字段映射等各类插件引用。3 脚本结合java script，实现更灵活的处理。这里要复用函数的能力，且为了易用性，要像原生语法一样使用。比如 var id = uuid()，这里的uuid即是我们实现的函数，为了简单，可以在注册函数方法加一个桥接，自动注册到脚本。这样我们注册一个函数，就能立即在脚本里面使用了，结合插件自动注册机制就更简单了。只需要扔一个jar上去，无需其他操作就能在脚本里面使用刚刚传上去的函数4 事件处理语言 cep 通过 文本配置 规则，通过antlr解析，执行引擎执行，规则可动态替换。这里也可以复用我们的函数功能，同时为了实现prev next这样的专用取值函数，可以通过thread local传入对应的取值对象。实现大部分的数据处理和同步场景通过配置化和拖拉拽生成，无需一行代码，不仅如此，还能通过 数据集成的工作流，配置生成接口，实现数据上报，数据查询。相比spring的自动接口生成方式，更灵活，更强大。因为可以通过任何插件组合完成。主打万金油，啥啥都会。能够覆盖任何场景，任意功能。
发布于 四川
分享
评论
1
未登录
友善发言
评论
加载中
