DolphinScheduler

DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。

适用于企业级场景，提供了一个可视化操作任务，工作流和全生命周期数据处理过程的解决方案。

DolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。

解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。

以 DAG 流式方式组装任务，可以及时监控任务的执行状态。

• 支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

DAG

工作流中的 Task 任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。

工作流程

用户使用 Web 界面创建和配置任务和工作流。

主服务器接收用户的任务和工作流定义，然后根据定义生成调度计划。

主服务器将调度计划发送给工作节点。

工作节点执行任务，监控任务的状态和性能，并将信息报告给主服务器。

用户可以通过 Web 界面查看任务的执行状态和日志，同时系统支持告警功能。

• 以便在任务失败或性能下降时通知管理员。