轻量级数据交换平台 Exchangis

Apache-2.0
Java
跨平台
微众银行
2020-05-15
微众开源

六一兴趣技巧问答,“秃顶”要从娃娃抓起!>>>

Exchangis是一个轻量级的、高扩大性的数据交换平台,支撑对构造化及无构造化的异构数据源之间的数据传输,在应用层上具稀有据权限管控、节点办事高可用和多租户资本隔离等营业特点,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。

Exchangis的传输交换才能依附于其底层聚合的传输引擎,其顶层对各类数据源定义同一的参数模型,每种传输引擎对参数模型停止映照设备,转化为引擎的输入模型。每聚合一种引擎,都将增长Exchangis一类特点,对某类引擎的特点强化,都是对Exchangis特点的完美。默许聚合和强化Alibaba的DataX传输引擎。

核心特点

  • 数据源管理
    以绑定项目标方法共享本身的数据源;
    设置数据源对外权限,控制数据的流入和流出。

  • 多传输引擎支撑
    传输引擎可横向扩大;
    以后版本完全聚合了离线批量引擎DataX、部分聚合了大年夜数据批量导数引擎SQOOP

  • 近及时义务管控
    快速抓取传输义务日记和传输速度等信息,及时封闭义务;
    可根据带宽状况对义务停止静态限流

  • 支撑无构造化传输
    DataX框架改革,伶仃构建二进制流快速通道,实用于有数据转换的纯数据同步场景。

  • 义务状况自检
    监控长时间运转的义务和状况异常义务,及时释放占用的资本并收回告警。

与现有的体系的比较

对现有的一些数据交换对象战争台的比较:

功能模组 描述 Exchangis DataX Sqoop DataLink DBus
UI 集成便捷的管理界面和监控窗口 已集成 已集成 已集成
装置安排 安排难易水平和第三方依附 一键安排,无依附 无依附 依附Hadoop情况 依附Zookeeper 依附大年夜量第三方组件
数据权限管理 多租户权限设备和数据源权限管控 支撑 不支撑 不支撑 不支撑 支撑
  静态限传播输 支撑 部分支撑,没法静态调剂 部分支撑,没法静态调剂 支撑 支撑,借助Kafka
数据传输 无构造数据二进制传输 支撑,快速通道 不支撑 不支撑 不支撑,都是记录 不支撑,须要转化为同一消息格局
  嵌入处理代码 支撑,静态编译 不支撑 不支撑 不支撑 部分支撑
  传输断点恢复 支撑(未开源) 不支撑,只能重试 不支撑,只能重试 支撑 支撑
办事高可用 办事多点,毛病不影照应用 应用高可用,传输单点(分布式架构筹划中) 单点办事(开源版本) 传输多点 应用、传输高可用 应用、传输高可用
体系管理 节点、资本管理 支撑 不支撑 不支撑 支撑 支撑
的码云指数为
逾越 的项目
加载中

评论(0)

暂无评论

Exchangis V1.0.0 版本发布--一款开源的轻量级数据交换平台

Exchangis是微众银行开源的轻量级数据交换平台,用于数据在不合存储介质中快速传递,并处理数据交换过程当中面对的复杂性、兼容性等成绩。设计上采取微办事架构形状,高低层办事松耦合,易于进...

05/15 14:42

没有更多内容

加载掉败,请刷新页面

没有更多内容

暂无问答

暂无博客

前往顶部
顶部