Home

Z-order curve，1966年就已经在应用了。但是在大数据崭露头角，似乎才是这几年的事情。最近看了数据湖的一些技术，想从细处着手，介绍下我理解的 Z-Order. 1. 背景 Z-Order 在地图的场景中应用非常常见，比如查找地图上某个点附近的信息。 假定我们的地图数据里有 N 个点，记录了对应的位置坐标（经纬度）、id、名称、信息等，要查找当前坐标附近 10 公里内的餐馆。最朴素的想法就是计算所有餐馆跟当前位置的距离，过滤 <= 10 公里的结果。不过数据量大肯定不行，太多的冗余计算了。 按照我的理解，坐标轴天然是递增的，所以二分法是一个不错的解决方案：如果在一维世界(x维度)，创建一个 x->id 的辅助数组，性能足够。类比到二维世界(x、y维度)，通...

对我来讲，历史变的有意思，不是看《明朝那些事儿》、混子哥的漫画读历史系列，虽然这些书确实很有趣。历史从一条条死记硬背的纪年事件，变得鲜活生动引人思考，是在看了《万历十五年》之后，通过一个个事件，看到背后的人。 看了《置身事内》，有一种似曾相识的感觉，政策制度的制定和执行，从来不是机械的，而是人跟人之间的协商和妥协，利益的冲突和解决。 这本书的大纲，分为上下两篇： 上篇解释微观机制，包括地方政府的基本事务、收入、支出、土地融资和开发、投资和债务等 下篇解释这些微观行为对宏观现象的影响，包括城市化和工业化、房价、地区差异、债务风险、国内经济结构失衡、国际贸易冲突等 作者没有引用一堆看不懂的名词，没有故作高深的预测，也没有强调宏大的构思，但是却详细的分析了政策的变化、时事...

想读这本书，是因为之前在读毛泽东传和林肯传时都提到了伟人读书的爱好： 毛泽东一直在读《伊索寓言》，在“善有恶报”中发现了冷酷无情的逻辑。农夫发现一条冻僵了的蛇。农夫可怜他，把它揣在怀里。这条蛇由于温暖而复苏，又恢复了通常的脾性，咬了可怜的农夫。 《伊索寓言》的讽刺与幽默让他对人性的弱点有了更深刻的认识，也对他的情商产生了深远的影响。 当时就很好奇，这里面的小故事，小学课本里就有，简单易懂，里面有什么魔力？ 注：《伊索寓言》有很多个版本，我是从微信读书上找的，可惜在豆瓣读书上没有找到对应的链接。 1. 看山还是山，看水还是水 寓言大多简单易懂，有的小故事我们耳熟能详，譬如《吃不到葡萄就说葡萄酸》的故事：狐狸🦊发现了葡萄林，上面结满了一串串水灵灵的🍇，于是狐狸想...

第一次看到一本小说居然引用了这么多参考文献，作者的严谨程度可见一般。 1. 人、社会、法律 很多推理小说，除了缜密的故事情节让人大呼叫好，故事本身也有着对社会的思考，比如东野圭吾《分身》里对于克隆技术、《恶意》里对于人性，《消失的13级台阶》这本书里思考的是法律-死刑。读书就像看电影一样，精彩的故事情节固然让人沉浸其中，更多的思考会让人意犹未尽二刷多刷，正所谓“好书不厌百回读，熟读深思子自知”。 我们相信“法网恢恢疏而不漏”，也会看到“法律这张网，太小的从网眼里溜走了，太大的网不住”的言论。社会在进步，法律也不断完善，然而手持法律武器的终究是人。 举几个摘抄的书里的原话： 检察官都是通过了司法考试的精英，是一些不交流感情、只将法律作为武器宣扬正义的人。 人在正...

2022年读完的第一本书📚，字里行间依然是作者浓浓的自恋感，不过这类书籍，作者越自信，读者越信。冯唐旁征博引曾国藩的语录，麦肯锡、华润、中信的多年经验，再加上文笔流畅直接，确实值得一读。 书名里的成事，不是勿以成败论英雄的成功，而是「坚其志、苦其心、勤其力、事无大小、必有所成」那种成事，当然很多时候这两者是关联的。不过无论成事还是成功，我还都够不着，读完这本书，我把一些共鸣分为工作方法、管理自我、修行三个部分。 1. 工作方法 Obligation to dissent：这是麦肯锡的一条铁律，无论对方职级高低，只要你想法不同且能自圆其说，都有责任提出反对意见，因为你最接近一线，了解的情况最直接。反过来，无论给你提意见的人职级高低，都要学会倾听。 开会：不开无准备的会、不...

上篇笔记介绍了 Checkpoint 相关的代码， 关于源码的分析网上文章很多，通过断点调试也能大概了解 Checkpoint 的实现。 Checkpoint 的原理，在 Lightweight Asynchronous Snapshots for Distributed Dataflows 里有系统的描述，思路来源于最开始的这篇文章：Chandy-Lamport algorithm，没错，就是发明 Paxos 算法的那位。 这篇笔记希望以简单易懂的方式介绍下我理解的 why checkpoint 以及解决思路。 1. Why 存储系统里的 snapshot，记录的是某个时间点存储的状态，存储可以恢复到这个时间点，用户也可以指定读取这个时间点时的存储内容。不同的 snapsh...

转眼21年已经过去了，无论是互联网还是所在的教育行业，这一年变化都挺大的。一年没有更新博客，主要是工作太忙，以及甩不掉的惰性。 1. 工作 1.1. 大数据实时计算 这两年在作业帮负责大数据实时计算，互联网正在经历很大的变化，包括在线教育。身处其中自然也会有一些特别的体验，我个人觉得这是一个很好的审视的机会。 工作内容上从业务架构转到大数据，虽然设计原则、衡量标准是通用的，但是实际执行起来不同路径差别很大。特别是对于中小公司，短期收益与长期收益同等重要，因此需要在经验较少的情况下摸索一条适合的路出来。这部分完成还算可以，既做架构又做平台再换位用户角度思考，同时抓平台功能、研发质量、稳定性，再加上人手较少，一年下来发际线有点后移。 今年关于工作有两个比较大的感悟： 找到适...

这本书在书架上已经有一段时间，一直没有什么动力翻开来读。我曾经惯性的以为这类书籍，都是心理暗示，不断的重复一个理论，直到你共鸣、相信、并且开始行动。读完之后，我把这本书作为今年目前为止最好的一本书，去年乃至更早是《万历十五年》、《心理罪》、《中国近代史》这些，想不到有一天会这么推崇一本自我管理的书籍。 与之前看过的精力管理的书籍不同，这本书里有众多的论据以及情景设定： 你有没有特别想去跑个步，但是懒得换运动服或者觉得健身房需要绕路太麻烦了，所以没有开始第一次的健身？ 你有没有因为某段时间工作太累，回家上床后就是刷手机看视频，从此养成了凌晨一点才入睡的习惯，从此很难改正，而之前你都保持了12点前入睡。 你会疯狂的追剧，会不断的拿起手机查看，直到你的时间被切成任意个碎片，明明过了一...