最高贵的品质-读《七种武器》
《七种武器》这本书，在大学时看过一次，这种将人的品质和武器联系到一起的奇特写法，让人印象深刻。
有时候我觉得困惑的时候，就会看看武侠。因为其中人物的成长像是历史传记，却又多了一些浪漫色彩。是人的品质还是武器，才使他成为了江湖中人口中的“他”。
长生剑🗡，写的是笑，乐观的精神。
所以我说的第一种武器，并不是剑，而是笑，只有笑才能真的征服人心。
所以当你懂得这道理，就应该收起你的剑来多笑一笑！
孔雀翎🦚，写的是信心。
无论多可怕的武器，也比不上人类的信心。
所以我说的这第二种武器，并不是孔雀翎，而是信心！
碧玉刀，写的是诚实。
所以我说的这第四种武器，并不是碧玉七星刀，而是诚实。只有诚实的人，才会有这么好的运气。
多情环，写的是仇恨。
仇恨...
Flink - SQL Window 简介
如果说 Flink 里 FlatMap Filter 这些算子，还只是简单的在MapReduce思想上的扩展。那么 Window 机制，则是真正的在乱序、无界的实时流处理的一个核心设计。Window 的切分与触发，跟数据量、时间、watermark有关，又依赖着状态保证数据的准确性，在 Flink 里是非常典型同时比较复杂的一环。
这篇笔记从简单的 SQL 里对 Window 的使用，开始逐步介绍下 Window 机制。
1. Windows
Tumbling Windows 窗口相邻不重叠。
用实际例子说明下窗口是如何划分的，比如下面的输入数据：
izual,http://izualzhy.cn,1970-01-01 00:00:01
izual,http://izua...
当我谈论数据湖时，在谈些什么
最近由于工作原因，又重新接触了一番数据湖。如果按照英文直译，数据湖(DataLake)是一个非常早的概念，在 Data Lake Wiki1里引用的最早一篇文章是Pentaho 的创始人兼 CTO James Dixon 发表的这篇博客：《Pentaho, Hadoop, and Data Lakes》2，发表在 2010 年。
而最近两年数据湖的文章，明显多了起来。这篇文章记录下我对数据湖的理解。
1. 流批一体
提到数据湖，就不得不说流批一体。刚接触大数据的时候，常听到的一个名词就是「流批一体」。背景可以用这样一张图表示：
最传统的数仓架构，其实也是最简单、最经典的。
随着数据量变大、时效性需求不同，逐步衍生出了后续的几种架构，当然，链路也更加复杂。复杂的链路自身，在...
社会这所大学-读《高智商犯罪》
前面几部是从罪犯的角度，读者往往从上帝视角出发，觉得简单；最后一部角度不同，果然难猜了很多。很多事情都是这样，从结果反过来论证原因，往往能举出很多例子。但是面对繁杂的线索、无数种可能性，在每种可能性上都深挖，难度大了 N 个数量级。其实很多事情都是如此，从 PC 到移动，现在看来太正常了，可是十年前，互联网的巨头们可能也因为看不清楚而错失转型的机会。
总体来说，这是一本逻辑上自洽、伏笔也都埋的恰好的推理小说。
不过这本书给我印象更深刻的，反而是高栋的心理活动。追查真相和升职哪个更重要，真相有很多种：大多数人愿意相信的、对各方都好的、以及真实的。社会这所大学，才是真正的深不可测。
摘抄了部分书里的内容：
这在领导岗位上叫一张一弛。平时高栋见到这种情况，大可以骂他一通。现在办...
眼耳鼻舌身意 色声香味触法-读《在宇宙间不易被风吹散》
第一次看这个书名的时候，我就在想，宇宙间是没有风的，只有能吸收光的黑暗、以及比冰还要冷的真空，哪来的风？妈的，理科生的臭毛病又犯了。
但是这个书名却又莫名让人喜欢，浩渺的宇宙，不会被吹散，该有一颗多么笃定的内核和狂妄的灵魂。
冯唐说用美器消磨时间，相机是徕卡M9全画幅旁轴加50mm定焦饼干镜头；旧书店是伯克利大学旁的Moe’s书店；盏要讲宋瓷、钧窑、建窑，这些饮茶中的神器如锦缎、如孔雀翎、如雨水中的油滴、如珍珠贝母、如后脑被打闷棍后眼中所见、如夜晚浩瀚的星空，从一只盏里能看到整个宇宙的真相。
可惜这些美器，我们这些普通人不见其形，亦难解其意。很多人能感受到的，是生活的窘境、工作的压力，可能不会被风吹散，但却被现实压弯了腰。我想起来小时候去地里干活，看到庄稼中间的稻草人，大风吹过，...
大数据中台，利润中心还是成本中心？-读《云原生数据中台：架构、方法论与实践》
最开始在作业帮做实时计算的时候，我经常会类比之前的经验来指导如何做系统，比如数据如何产出、数据的规范格式、运维的基础保障(监控、报警、日志三件套)等
类比学习是最初赖以仰仗的能力，不过两年下来，值得重新以一个小白的心态去重温一遍大数据，不再通过类比，而是从大数据的背景、趋势、发展、未来思考数据中台这个概念。
同时现在公司人员，基本都熟悉了 Word、Excel 这些 Office 软件（PPT可能跟晋升机制有关），而随着数据价值越来越得到认可，大数据分析是否也是公司内越来越多人需要掌握的技能？
这是我想要读这本书的缘起。
很多书籍文章都会张口闭口闭环、生态、抓手，我会尽量用自己的理解白话文的介绍，不过受限于理解和表达能力，也难免会咬文嚼字一些。
1. 大中台 VS 大前台
...
Flink - Row 里使用字符串的 ParseException
1. Row 里显式使用字符串的问题
在 20 年初最开始使用 Flink 1.9.1 时，有一些看似普通的 SQL 也会执行失败。比如下面这个:
package cn.izualzhy
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment
object LiteralInRowTest extends App {
val env = StreamExecutionEnvironment.createLocalEnvironment(1)
val tEnv = StreamTableEnviro...
Calcite-5：SQL解析
C 代码编译时要经过词法分析、语法分析：比如提取关键字(int/for/#define, ETC.)，判断语法是否正确。
类似的，SQL 字符串解析为SqlNode也需要词法分析。
在 Calcite 中，这一过程借助于 javacc 完成。预配置的语法文件里，包含了需要的关键字以及对应的代码模板。随着解析字符串匹配到关键字，一步步生成需要的代码。
这篇笔记主要记录 javacc 以及 Calcite 里对应的源码分析。
1. javacc
javacc1是一个 java 版本的语法解析库，我们可以用来定义自己的关键字，生成 java 代码。
举个例子，我们定义一个自解释的Explain关键字，输入形如：
EXPLAIN javacc;
预期的输出是打印参数(java...
228 post articles, 29 pages.