中间件

了解DANA如何帮助用户最大化实现融合数据价值

Dodo

分布式任务调度引擎

当我们在处理大数据时通常都会调用多个软件组件,而多个工具的使用当时只能依靠手动来调用,才能完成整个处理流程,这样大大的增加了处理成本,也浪费了很多时间、人工。针对这样的情况,德拓经过多次针对性调研整理,研发出Dodo任务调度引擎,成功解决这一难题,通过Dodo,在处理大数据时,可以很方便的按流程来自动调用所有的组件。

立即试用 文档 & SDK

产品概述

Dodo是Datatom研发的分布式任务调度及管理引擎,它也是“DANA智能数据管理平台“中的一个核心服务。使用Dodo来摆脱手动管理crontab的”原始社会“,将任务分门别类的管理起来,智能分配到多台节点上运行,并轻松监控任务的运行状态,享受集群所带来的高性能和可扩展。Dodo v3.2在设计之初,就明确了两个定位:独立产品和中间件。

一、作为一个完整的产品,Dodo可以独立使用,完成您的日常任务。Dodo提供了精心设计的网页版客户端,方便您对任务进行监控和管理。

Dodo作为独立服务

通过网页端,您不仅可以通过拖拽轻松绘制出任务的流程图,也可以配置集群、监控任务执行状况、查看消息、进行任务的管理与监控等等。

二、作为一个服务的中间件,Dodo可以嵌入到其他需要策略化任务执行的系统中,使其获得完整的任务调度能力。Dodo提供了完整的RESTful API,您可以通过API获得和网页端完全相同的功能。另外,Dodo的网页端也充分考虑了通用性,您可以通过参数的方式复用Dodo的某些页面。如下图所示,一个Dodo集群可以同时为多个产品提供任务调度与管理服务。

Dodo 作为服务中间件

产品功能

Dodo任务调度引擎是一款适用于大规模任务调度的分布式云服务,支持海量的作业任务调度,并有强大的任务执行策略,同时对任务执行过程进行监控管理。可以广泛应用于各种需要任务调度的场景。

任务调度分布式

任务执行策略化

自定义任务流程

单点故障迁移

动态扩展节点

任务自动分配

在线编写代码

任务出错报警

执行历史记录

应用场景

示意图

Dodo 的节点内部的去中心化策略时钟可以在分钟级调度属于自己的任务,因为每个节点全权负责自己的任务,并且不干扰其他节点,所以 Dodo 的容错性和可扩展性是非常高的。

示意图

上图为 Dodo 与 Crab 数据融合引擎的交互过程,通过 RESTful API 和通用的 Web 界面,Dodo 服务作为任务调度器为 Crab 提供策略执行及任务管理的功能。