一、开源项目简介

Dinky 是一个开箱即用的一站式实时计算平台,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架,致力于流批一体和湖仓一体的建设与实践。

实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。

Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。

最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

精彩瞬间

FlinkSQL Studio

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图

实时调试预览

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图1

语法和逻辑检查

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图2

JobPlan

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图3

字段级血缘分析

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图4

BI 展示

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图5

元数据查询

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图6

实时任务监控

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图7

实时作业信息

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图8

数据地图

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图9

数据源注册

[开源]一个开箱即用的一站式实时计算平台,以ApacheFlink为基础插图10

四、功能概述

Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑

一站式 FlinkSQL & SQL DataOps

基于 Apache Flink 二次开发,无侵入,开箱即用

实时即未来,批流为一体

特点

一个 开箱即用 、易扩展 ,以 Apache Flink 为基础,连接 OLAP 和 数据湖 等众多框架的 一站式 实时计算平台,致力于 流批一体 和 湖仓一体 的建设与实践。

其主要目标如下:

  • 可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等
  • 支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application
  • 支持 Apache Flink 所有的 Connector、UDF、CDC等
  • 支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等
  • 支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
  • 支持实时调试预览 Table 和 ChangeLog 数据及图形展示
  • 支持语法逻辑检查、作业执行计划、字段级血缘分析等
  • 支持 Flink 元数据、数据源元数据查询及管理
  • 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等
  • 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi
  • 支持易扩展的实时作业报警及报警组:钉钉、微信企业号等
  • 支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等
  • 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
  • 更多隐藏功能等待小伙伴们探索

 

五、技术选型

原理

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。