源码属性
授权 | 开源 |
大小 | 2.86MB |
语言 | Scala |
源码简介
什么是 StreamPark
实时即未来,在实时处理流域 Apache Spark 和 Apache Flink 是一个伟大的进步,尤其是 Apache Flink
被普遍认为是下一代大数据流计算引擎。我们在使用 Flink & Spark
时发现从编程模型、参数配置到项目部署、运维管理都有很多可以抽象共用的地方,我们将一些好的经验固化下来并结合业内的最佳实践。通过不断努力,终于诞生了今天的框架
—— StreamPark。项目的初衷是 —— 让流处理更简单。
使用 StreamPark 开发,可以极大降低学习成本和开发门槛,让开发者只用关心最核心的业务。StreamPark
规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的
Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程,提供了 Scala/Java 两套
API,其最终目的是打造一个一站式大数据平台,流批一体、湖仓一体的解决方案。
Features
1、Apache Flink & Spark 开发脚手架
2、提供了一系列开箱即用的 Connectors
3、支持项目编译功能(Maven 编译)
4、多版本 Flink & Spark 支持
5、Scala 2.11 / 2.12 支持
6、一站式的流任务管理平台
7、支持不限于 Catalog、OLAP、streaming-warehouse
…
核心特性
源码可控
高质量的代码,后端代码通过阿里代码规范检查,前端代码全部经过eslint语法的严格检验,保证可读性和健壮性。
简单易用
StreamPark 的初衷是为了让流处理更简单,提供了一系列快捷Api和Connector,开箱即用,简化开发。
文档详尽
从概念到上手再到进阶高级,每个使用细节和注意事项都详细罗列,并辅助大量代码示例,让开发者一目了然。
健壮稳定
大数据领域资深玩家打造,每个API,每处设计都经过精心打磨,测试用例齐全,经历线上项目验证,保证稳定可靠。
流批一体
StreamPark 以 Flink & Spark 为底层框架, 让流批一体落地更加简单,连接互通,跨越框架间的屏障,创造更多可能性。
一站式解决方案
StreamPark 集成了项目编译,发布,参数配置,任务监控,在线IDE等众多功能于一身,是一个一站式综合数据平台。
本文永久链接地址:https://www.ymkuzhan.com/68454.html