一、开源项目简介
混合型科学大数据流水线系统,包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。
二、开源协议
使用Apache-2.0开源协议
三、界面展示
页面展示
- 登录:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144302964.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 流水线列表:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图1 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图1](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144304686.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 创建流水线:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图2 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图2](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144308547.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 配置流水线:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图3 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图3](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144313173.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 运行流水线:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图4 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图4](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144318425.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 监控流水线:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图5 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图5](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144321490.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 流水线日志:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图6 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图6](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144325245.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 流水线组列表:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图7 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图7](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144328605.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 配置流水线组:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图8 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图8](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144333935.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 监控流水线组:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图9 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图9](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144338808.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 运行态流水线列表:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图10 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图10](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144341156.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 流水线模板列表:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图11 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图11](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144345728.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 数据源:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图12 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图12](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144350295.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 调度:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图13 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图13](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144355684.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
- 自定义组件:
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图14 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图14](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/08/20220808144400782.png?imageView2/0/format/webp/interlace/1/q/90|imageslim)
四、功能概述
PiFlow是一个简单易用,功能强大的大数据流水线系统。
特性
- 简单易用
- 可视化配置流水线
- 监控流水线
- 查看流水线日志
- 检查点功能
- 流水线调度
- 扩展性强:
- 支持自定义开发数据处理组件
- 性能优越:
- 基于分布式计算引擎Spark开发
- 功能强大:
- 提供100+的数据处理组件
- 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
- 集成了微生物领域的相关算法
五、技术选型
架构
![「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图15 「开源」一个简单易用,功能强大的混合型科学大数据流水线系统插图15](https://lanmeijiang.cdn.ruantang.net/wp-content/uploads/2022/07/1659075571-907d9f7b444b186.jpg?imageView2/0/format/webp/interlace/1/q/90|imageslim)
要求
- JDK 1.8
- Scala-2.11.8
- Apache Maven 3.1.0
- Spark-2.1.0 及以上版本
- Hadoop-2.6.0
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)