Home

最高贵的品质-读《七种武器》

《七种武器》这本书,在大学时看过一次,这种将人的品质和武器联系到一起的奇特写法,让人印象深刻。 有时候我觉得困惑的时候,就会看看武侠。因为其中人物的成长像是历史传记,却又多了一些浪漫色彩。是人的品质还是武器,才使他成为了江湖中人口中的“他”。 长生剑🗡,写的是笑,乐观的精神。 所以我说的第一种武器,并不是剑,而是笑,只有笑才能真的征服人心。 所以当你懂得这道理,就应该收起你的剑来多笑一笑! 孔雀翎🦚,写的是信心。 无论多可怕的武器,也比不上人类的信心。 所以我说的这第二种武器,并不是孔雀翎,而是信心! 碧玉刀,写的是诚实。 所以我说的这第四种武器,并不是碧玉七星刀,而是诚实。只有诚实的人,才会有这么好的运气。 多情环,写的是仇恨。 仇恨...

Read more

Apache DolphinScheduler 代码速读

周末花时间看了下 Apache DolphinScheduler 的代码,先水一篇整理的基础部分笔记占位。 系统架构主要分为几各模块: api-server: API接口层,主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。 接口包括工作流的创建、定义、查询、修改、发布、下线、手工启动、停止、暂停、恢复、从该节点开始执行等等。 master-server: MasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交监控,并同时监听其它MasterServer和WorkerServer的健康状态。 worker-server: WorkerServer也采用分布式无中心设计理念,...

Read more

浅谈 Flink - SQL Window 简介

如果说 Flink 里 FlatMap Filter 这些算子,还只是简单的在MapReduce思想上的扩展。那么 Window 机制,则是真正的在乱序、无界的实时流处理的一个核心设计。Window 的切分与触发,跟数据量、时间、watermark有关,又依赖着状态保证数据的准确性,在 Flink 里是非常典型同时比较复杂的一环。 这篇笔记从简单的 SQL 里对 Window 的使用,开始逐步介绍下 Window 机制。 1. Windows Tumbling Windows 窗口相邻不重叠。 用实际例子说明下窗口是如何划分的,比如下面的输入数据: izual,http://izualzhy.cn,1970-01-01 00:00:01 izual,http://izua...

Read more

如何申请 JetBrains 的免费 License

之前写 C++ 的时候,开发工具配置 VIM 就足够强大了,Clion 用的都少。现在以 Scala/Java/Go 这些为主,深感 JetBrains 工具的强大。不过商业版价格不菲: 这个价格,一线开发的同学会觉得有点贵,工资高的可能又已经不写代码了。 效果 最近试了下申请 JetBrains 开源的开发许可证,效率很高也很方便,这是 IDEA 用发放的 license 注册后的效果: 如果你还在持续的更新自己的开源项目,也可以按照这篇笔记里的方法试一下。 申请方式 申请链接:https://www.jetbrains.com/shop/eform/opensource,我使用的就是这篇博客在 github 上的 repo. 重要的是注意一下几点: 持...

Read more

当我谈论数据湖时,在谈些什么

最近由于工作原因,又重新接触了一番数据湖。如果按照英文直译,数据湖(DataLake)是一个非常早的概念,在 Data Lake Wiki1里引用的最早一篇文章是Pentaho 的创始人兼 CTO James Dixon 发表的这篇博客:《Pentaho, Hadoop, and Data Lakes》2,发表在 2010 年。 而最近两年数据湖的文章,明显多了起来。这篇文章记录下我对数据湖的理解。 1. 流批一体 提到数据湖,就不得不说流批一体。刚接触大数据的时候,常听到的一个名词就是「流批一体」。背景可以用这样一张图表示: 最传统的数仓架构,其实也是最简单、最经典的。 随着数据量变大、时效性需求不同,逐步衍生出了后续的几种架构,当然,链路也更加复杂。复杂的链路自身,在...

Read more

社会这所大学-读《高智商犯罪》

前面几部是从罪犯的角度,读者往往从上帝视角出发,觉得简单;最后一部角度不同,果然难猜了很多。很多事情都是这样,从结果反过来论证原因,往往能举出很多例子。但是面对繁杂的线索、无数种可能性,在每种可能性上都深挖,难度大了 N 个数量级。其实很多事情都是如此,从 PC 到移动,现在看来太正常了,可是十年前,互联网的巨头们可能也因为看不清楚而错失转型的机会。 总体来说,这是一本逻辑上自洽、伏笔也都埋的恰好的推理小说。 不过这本书给我印象更深刻的,反而是高栋的心理活动。追查真相和升职哪个更重要,真相有很多种:大多数人愿意相信的、对各方都好的、以及真实的。社会这所大学,才是真正的深不可测。 摘抄了部分书里的内容: 这在领导岗位上叫一张一弛。平时高栋见到这种情况,大可以骂他一通。现在办...

Read more

眼耳鼻舌身意 色声香味触法-读《在宇宙间不易被风吹散》

第一次看这个书名的时候,我就在想,宇宙间是没有风的,只有能吸收光的黑暗、以及比冰还要冷的真空,哪来的风?妈的,理科生的臭毛病又犯了。 但是这个书名却又莫名让人喜欢,浩渺的宇宙,不会被吹散,该有一颗多么笃定的内核和狂妄的灵魂。 冯唐说用美器消磨时间,相机是徕卡M9全画幅旁轴加50mm定焦饼干镜头;旧书店是伯克利大学旁的Moe’s书店;盏要讲宋瓷、钧窑、建窑,这些饮茶中的神器如锦缎、如孔雀翎、如雨水中的油滴、如珍珠贝母、如后脑被打闷棍后眼中所见、如夜晚浩瀚的星空,从一只盏里能看到整个宇宙的真相。 可惜这些美器,我们这些普通人不见其形,亦难解其意。很多人能感受到的,是生活的窘境、工作的压力,可能不会被风吹散,但却被现实压弯了腰。我想起来小时候去地里干活,看到庄稼中间的稻草人,大风吹过,...

Read more

大数据中台,利润中心还是成本中心?-读《云原生数据中台:架构、方法论与实践》

最开始在作业帮做实时计算的时候,我经常会类比之前的经验来指导如何做系统,比如数据如何产出、数据的规范格式、运维的基础保障(监控、报警、日志三件套)等 类比学习是最初赖以仰仗的能力,不过两年下来,值得重新以一个小白的心态去重温一遍大数据,不再通过类比,而是从大数据的背景、趋势、发展、未来思考数据中台这个概念。 同时现在公司人员,基本都熟悉了 Word、Excel 这些 Office 软件(PPT可能跟晋升机制有关),而随着数据价值越来越得到认可,大数据分析是否也是公司内越来越多人需要掌握的技能? 这是我想要读这本书的缘起。 很多书籍文章都会张口闭口闭环、生态、抓手,我会尽量用自己的理解白话文的介绍,不过受限于理解和表达能力,也难免会咬文嚼字一些。 1. 大中台 VS 大前台 ...

Read more