一、开源项目简介

Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台，用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。

Qualitis基于Spring Boot，依赖于Linkis进行数据计算，提供数据质量模型构建，数据质量模型执行，数据质量任务管理，异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离，资源管控，权限隔离等企业特性，具备高并发，高性能，高可用的大数据质量管理能力。

二、开源协议

使用Apache 2.0开源协议

三、界面展示

支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图
支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图1
支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图2
支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图3
支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图4

 

四、功能概述

核心特点

  • 数据质量模型定义
  • 支持以下数据模型定义：1.单表校验数据模型。2.跨表校验数据模型。3.自定义校验数据模型。同时，系统预置了多个数据质量校验模版，包括空值校验，枚举校验等常用校验，并且支持自定义数据质量模版。
  • 数据质量模型调度
  • 支持数据质量模型调度。
  • 数据质量报表
  • 支持生成数据质量报表。
  • 日志管理 日志聚合管理，方便排查数据质量任务
  • 异常数据管理 支持异常数据提取和存储，快速定位问题
  • 支持工作流 支持在工作流当中进行数据质量校验
  • 工作流必装DataSphereStudio.
  • 管理员控制台
  • 提供管理员控制台界面，支持人员管理，权限管理，权限管理，元数据管理等管理功能。

与类似系统对比

支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图5

五、技术选型

Architecture

支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图6

总体模块设计图

支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图7

用例图

支持多种异构数据源的质量校验/通知/管理服务的数据质量管理平台插图8
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。