项目目前还处在公测阶段,下面内容均在作者本地测试现状;
Caesar 数据开发平台是为企业级数据开发流程量身打造的一站式平台,覆盖数据开发的各个关键环节,旨在提升开发效率、规范流程、降低协作与运维成本。
平台聚焦于数据开发人员的核心工作场景,主要提供以下能力:
- SQL 编写与调试
- 调度流程配置与执行
- 任务发布与审批流程
通过统一入口与模块化设计,平台实现了开发流程标准化、任务生命周期管理自动化,为数据开发工作提供强有力的支持。
Caesar 数据开发平台采用前后端分离架构,系统整体具备良好的扩展性与灵活性。
- 技术栈:Vue2 + Element-UI
- 核心职责:
- 提供高效易用的图形化界面
- 实现任务开发、调度配置、任务发布、日志查看等前端交互功能
- 支持权限控制与多用户管理
后端采用 Java 实现,按功能划分为以下三个核心模块:
- 执行器模块 负责执行 Shell 脚本任务,支持多种执行引擎(如 MySQL、Spark、Hive、Doris 等),具备任务参数化、日志回传、任务状态反馈等能力。
- 调度器模块 封装 DolphinScheduler、Hera 等主流调度系统的 API 接口,提供自动化的任务注册、调度配置、依赖管理、运行监控等功能,支持定时执行与补数据任务。
- 工具模块 提供系统扩展服务能力,多环境执行器支持等。
- 在线编写与管理 SQL 脚本
- 支持参数化、模板化开发
- 支持多种引擎(MySQL、Spark、Hive、Doris 等)
- 管理开发任务版本与历史
- 图形化配置调度依赖关系
- 支持小时、天、周、月等多周期调度(当前版本仅建议天调度)
- 多调度系统(如 DolphinScheduler、Hera)统一接入与管理
- 支持任务一键发布到测试、生产环境
- 多级审核机制保障任务发布安全
- 发版日志记录与审计追踪
- 环境隔离与版本可回溯
- 支持发布后自动调度注册与生效