Home

最近由于工作原因，又重新接触了一番数据湖。如果按照英文直译，数据湖(DataLake)是一个非常早的概念，在 Data Lake Wiki1里引用的最早一篇文章是Pentaho 的创始人兼 CTO James Dixon 发表的这篇博客：《Pentaho, Hadoop, and Data Lakes》2，发表在 2010 年。 而最近两年数据湖的文章，明显多了起来。这篇文章记录下我对数据湖的理解。 1. 流批一体 提到数据湖，就不得不说流批一体。刚接触大数据的时候，常听到的一个名词就是「流批一体」。背景可以用这样一张图表示： 最传统的数仓架构，其实也是最简单、最经典的。 随着数据量变大、时效性需求不同，逐步衍生出了后续的几种架构，当然，链路也更加复杂。复杂的链路自身，在...

前面几部是从罪犯的角度，读者往往从上帝视角出发，觉得简单；最后一部角度不同，果然难猜了很多。很多事情都是这样，从结果反过来论证原因，往往能举出很多例子。但是面对繁杂的线索、无数种可能性，在每种可能性上都深挖，难度大了 N 个数量级。其实很多事情都是如此，从 PC 到移动，现在看来太正常了，可是十年前，互联网的巨头们可能也因为看不清楚而错失转型的机会。 总体来说，这是一本逻辑上自洽、伏笔也都埋的恰好的推理小说。 不过这本书给我印象更深刻的，反而是高栋的心理活动。追查真相和升职哪个更重要，真相有很多种：大多数人愿意相信的、对各方都好的、以及真实的。社会这所大学，才是真正的深不可测。 摘抄了部分书里的内容： 这在领导岗位上叫一张一弛。平时高栋见到这种情况，大可以骂他一通。现在办...

第一次看这个书名的时候，我就在想，宇宙间是没有风的，只有能吸收光的黑暗、以及比冰还要冷的真空，哪来的风？妈的，理科生的臭毛病又犯了。 但是这个书名却又莫名让人喜欢，浩渺的宇宙，不会被吹散，该有一颗多么笃定的内核和狂妄的灵魂。 冯唐说用美器消磨时间，相机是徕卡M9全画幅旁轴加50mm定焦饼干镜头；旧书店是伯克利大学旁的Moe’s书店；盏要讲宋瓷、钧窑、建窑，这些饮茶中的神器如锦缎、如孔雀翎、如雨水中的油滴、如珍珠贝母、如后脑被打闷棍后眼中所见、如夜晚浩瀚的星空，从一只盏里能看到整个宇宙的真相。 可惜这些美器，我们这些普通人不见其形，亦难解其意。很多人能感受到的，是生活的窘境、工作的压力，可能不会被风吹散，但却被现实压弯了腰。我想起来小时候去地里干活，看到庄稼中间的稻草人，大风吹过，...

最开始在作业帮做实时计算的时候，我经常会类比之前的经验来指导如何做系统，比如数据如何产出、数据的规范格式、运维的基础保障(监控、报警、日志三件套)等 类比学习是最初赖以仰仗的能力，不过两年下来，值得重新以一个小白的心态去重温一遍大数据，不再通过类比，而是从大数据的背景、趋势、发展、未来思考数据中台这个概念。 同时现在公司人员，基本都熟悉了 Word、Excel 这些 Office 软件（PPT可能跟晋升机制有关），而随着数据价值越来越得到认可，大数据分析是否也是公司内越来越多人需要掌握的技能？ 这是我想要读这本书的缘起。 很多书籍文章都会张口闭口闭环、生态、抓手，我会尽量用自己的理解白话文的介绍，不过受限于理解和表达能力，也难免会咬文嚼字一些。 1. 大中台 VS 大前台 ...

1. Row 里显式使用字符串的问题 在 20 年初最开始使用 Flink 1.9.1 时，有一些看似普通的 SQL 也会执行失败。比如下面这个: package cn.izualzhy import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment object LiteralInRowTest extends App { val env = StreamExecutionEnvironment.createLocalEnvironment(1) val tEnv = StreamTableEnviro...

C 代码编译时要经过词法分析、语法分析：比如提取关键字(int/for/#define, ETC.)，判断语法是否正确。 类似的，SQL 字符串解析为SqlNode也需要词法分析。 在 Calcite 中，这一过程借助于 javacc 完成。预配置的语法文件里，包含了需要的关键字以及对应的代码模板。随着解析字符串匹配到关键字，一步步生成需要的代码。 这篇笔记主要记录 javacc 以及 Calcite 里对应的源码分析。 1. javacc javacc1是一个 java 版本的语法解析库，我们可以用来定义自己的关键字，生成 java 代码。 举个例子，我们定义一个自解释的Explain关键字，输入形如： EXPLAIN javacc; 预期的输出是打印参数(java...

这几年，陆续开始看一些时间管理、工作方法、职场进阶类的书籍，其中像《单核工作法》印象最深，因为可操作性比较强。 也有很多书，反复陈述一个论调不断灌输，难免变成心灵鸡汤文。虽然每一句话都有道理，但是毕竟我们很难对书里的每一句话都做到感同身受、深入思考，因此收获反而很少。 读完《麦肯锡精英高效阅读法》，有一些共鸣，反思了自己读书时的一些坏习惯。合上书后，还能清楚的记得整本书作者的思路。 因此，我觉得这是一本好书。 1. 无法读书的理由 忙于工作，没时间读书 不知应该读什么 没读完的书不断增多 工作繁忙，不知是否应该读书 无法专注地读书 感触比较大的是 2，或者是说在其他几个理由的背景下，特别想读到一本“合适”的书。比如我有时候想去看但是不知道看哪本书： ...

这本书评价了中、美、欧洲、日朝韩、印度、东南亚、新加坡、中东等多个国家和地区，读着有一种青梅煮酒论英雄的感觉。 不知道世界上对李光耀中肯的评价是什么，我读完这本书后，第一印象是「一个思路清晰的实用主义者」。 整本书读下来，给人的感觉是思路清晰：在历史背景下的新加坡的定位、发展策略。 一个小细节可以看出实用主义，当有人问李光耀习惯读的书时，他是这么回答的： 我平时爱看有意思的人物传记。小说对我毫无吸引力，都是虚构的东西，或者是重建人们想象中的美好人生。 1. 外国人眼里的中国 毫无疑问，新中国取得的成绩在整个世界都是耀眼的。经济、人民的生活水平、国力都飞速发展。书里没有比较多的数字举例，但是对于改革开放的成绩，都充满了赞叹。 同时，这本书也足够客观，既肯定了成绩，也...