Azkaban 的基本使用

背景

ETL数据处理常常都是运行时间很长的批处理job,实时性不需要很强,只需要定时执行就好了,Linux下的crontab是一个很不错的调度工具,但是没UI不直观, 搜索了一下,业界也开源了很多不错的调度工具,例如ariflow, azkaban ,oozie, 其中oozie是apache的项目,历史悠久,但是很啰嗦,太复杂,我的需求是:

  • UI简洁
  • 支持cron表达式
  • 依赖管理与执行

几个调度工具的比较可以参考:https://www.jianshu.com/p/4ae1faea733b

阅读全文