Home

1. 何时启动工作流？ 对于一个任务调度系统，任务的启动无外乎以下两个入口： 系统调度：例如用户配置的Crontab、上游依赖任务的触发、任务的容错 手动运行：例如任务测试、补数、重跑失败任务 这篇笔记主要介绍下，任务生成到数据库后，Master读取、编排DAG、发送到 Worker 的过程。 2. 启动流程 DolphinScheduler 官网的这张图概括了整体的流程： 注：图片基于V1.3.0，跟当前略有出入 2.1. 生成工作流实例 这个过程是读取 t_ds_command 表，处理后写入 t_ds_process_instance 表，主要两方参与： MasterSchedulerBootStrap: 轮询从 t_ds_command 表选出由...

之前读《万历十五年》时，印象最深刻的一句话是： “但是用视而不见的态度抹去遮盖这些事实，就是不忠实于历史；对一个英雄人物隐恶扬善，也并不是真正的推崇。” 这段话说的是戚继光，历史课本里，我们记住的是「抗倭名将」、「民族英雄」，我们需要回答的是戚继光抗倭有什么历史意义，是什么性质的战争。 然而课本里没有告诉我们的，是戚继光的晚年凄凉、英雄末路，是曾重金购买美女送给张居正、想吃煮猪头了从百里之外走马传至。 当然，这并不影响戚继光成为一个伟大的将领，反而让人觉得更加的真实，放到当时的历史环境下，这么做一点都不奇怪。这大概也是“戚继光-孤独的将领”，那一章题目的由来。 如果之前读《史记》总是读不下去，《史记的读法》这本书会非常合适，我觉得这本书像是在讲如何读史记，又像是在讲如何读历史，...

1. 工作 今年的工作内容按照上半年、下半年分成了两块内容： 上半年的主要精力还是在大数据实时计算上，对实时计算平台、底层架构、FlinkSQL都做了较大升级，整体上还算满意。美中不足的是Flink任务的资源动态扩缩容这个项目，由于精力不足没能亲力亲为，我司的导师制度出发点我非常喜欢，现在看来还是虎头蛇尾了，很多人的理解也不够。 6月份经历了一次组织的变动，当时触动还是比较大的。有那么两周我经常陷入很多问题的反思中，比如工作方法、结果导向、收益如何汇报等等，最后的结论是：坚持自我、持续学习。 下半年增加了负责任务调度系统，面临的是非常古老、重要且一直无人下定决心重构的一套系统。工作重心也从实时转到了离线这块，感觉成长还是比较大的。也促使我不断思考FlinkSQL和HiveSQL...

Master、Worker是DolphinScheduler最重要的两个模块，Master负责任务的调度，Worker负责任务的执行。 任务提交过程中，使用到了众多线程，其中最重要的单线程、线程池，如图所示： DolphinScheduler 的线程模型总的来说： 串联了多个生产者-消费者，队列使用内存队列 线程定义了独立的名字区分 Master-Worker 之间通过 Netty 通信 1. Master 定时调度的处理入口类是class MasterSchedulerBootstrap extends BaseDaemonThread implements AutoCloseable，这是一个单线程。 findCommands方法查询出待调度的任...

最近读了基本工作效率、笔记的书，总结都有几个共同点： 1. 想清楚目标最重要 所有的行动源于目标，目标清晰了，才能快速判断行动的优先级、取舍。 如果没有想清楚目标，只是照着去罗列清单，即使都能够完成了，也不会有太多的成就感；而且注定会完不成，越积累越多。 作者举了归纳的例子，如果只是一股脑不分类的收纳到一个地方，在需要的时候还是找不到，而且很快又变乱了。 2. MECE 原则分解目标 将目标分解为需要做的的事情，创建一个系统，罗列出所有的分解项。 一旦分解完成，清空你的大脑，开始专注于具体某一个分解项。大脑之所以感觉累，是因为总在担心事情有遗漏、其他事情什么状况，反而做不好现在手头的工作。所以分解时尽可能做到 MECE，分解后集中精力进入“心流”的状态。 读这本书的时候...

用4个番茄钟就能看完，非常推荐的一本小书。 几年前看《单核工作法》，其中的冥想、集草器的方法让我受益匪浅。最近在看《搞定》，总觉得过于理论，可操作性不强。 而《只管去做》这本书的第一章也提到了《搞定》这本书，我将这本书看做是《搞定》的实际操作版本。再加上工作方法也必须考虑本土化的问题，比如996大小周、以短视作为务实等背景，因此更推荐先按照本书实践，有些心得之后再去看理论版本。 1. 心流 聚精会神这种状态，其实在上学期间并不少见，经常两道数学题目下来，45分钟就过去了。究其原因，主要是强制的规律与清晰地目的使然： 规律：每节课固定时间，中间穿插休息；排课时，课程穿插安排，避免一直沉浸在一个学科里。 目的：考出好的成绩，每个学科想要达到多少分。 而工作后这种状态非...

赫伯特·亚历山大·西蒙（Herbert Alexander Simon）是20世纪科学界的奇才，他获得过诺贝尔经济学奖，也获得过图灵奖，获得过美国心理学会终身贡献奖，还有美国政治科学学会麦迪逊奖。 从这些奖项中就可以看到西蒙学习的范围很广，这本书就是在讲西蒙的学习方法。 不过需要吐槽的是，作者更多只是借了西蒙的名字。学习方法基本都是自己的经验之谈，例子净是些国内高考美国高校录取之类的例子。。。还充斥大量图片骗页数。。。 1. 这本书的结构 西蒙学习法的 Why-What-How 学问方向很多，应该学习什么？ 定好方向后，在这个方向的目标是什么？ 如何学习：拆分、集中精力、掌握技巧。 2. 目标、技巧 2.1 目标 目标很重要，这个世界上的知识浩如烟海。...

十一假期读完的一本书，之前看《麦肯锡教我的写作武器》、《麦肯锡精英高效阅读法》，都是日本人所著。 当时就很想知道，国人对于麦肯锡的工作经验是如何总结的，这本书读起来更加的贴近现实、感同身受，收益更多。 1. 为什么需要结构化战略思维 “焦虑”在 VUCA 时代蔓延. 虽然有贩卖焦虑的嫌疑，不过看现实社会确实大多数人是焦虑的。生产力进步了这么多，可是生产关系并没有发生变化。普通人仍然要为柴米油盐、衣食住行焦虑。 如今鸡汤泛滥、付费知识层次不齐，似乎看看大咖的跨年演讲，就一下子能醍醐灌顶一般。可是实际上，仍旧只是被动接受知识拒绝思考，成为一个“沙发土豆”（Couch Potato）. 人们天性上都习惯做吃瓜群众，拒绝思考。我想起来小时候放了暑假，有那么几十天晚上吃了饭都要去摸知...