Home

leveldb笔记之11:LRUCache的实现

之前介绍multi_index_container时,使用了 LRU Cache 作为一个简单测试的例子。本文介绍下 LRU Cache 的原理以及 leveldb 里的实现。 1. 原理 Cache 用于提供对数据更高速的访问,因此存储上也更昂贵,例如 mem ssd 等,其容量通常都是有限的,因此就需要一定的缓存淘汰策略。LRU(Least recently used)就是其中一种,一句话介绍的话,就是: 淘汰最不常用的数据 wiki上有一个比较直观的例子: 读取的顺序为 A B C D E D F,缓存大小为4,括号内的数字表示排序,数字越小,表示 Least recently. 按照箭头的方向, 读取 E 时,缓存已满,因此淘汰最开始的 A. 读取 D 时,更新...

Read more

leveldb笔记之10:sstable读取

1. 简介 前面介绍了 sstable,包括 sstable 的结构组成及写入的源码分析,本文主要介绍下对应的读取过程,能够帮助读者更深入的理解一个 sstable 的数据格式。 2. 基本过程 sstable 的读取过程,简单总结就是四个字:按图索骥。 各个索引在这个过程发挥了很大的作用。 首先是 seek 到文件末尾读取固定48个字节大小的 footer,这也是为什么footer是定长的原因. 然后解析出 meta_index_block 以及 index_block。 通过 meta_index_block 解析出 filter block,通过 index_block 解析出 data_block. 查找时,先通过 filter block 查找是否存在,然后通...

Read more

2018-review-and-2019-plan

盼了很久,18年的网易云音乐还是没有年度报告。不过我自己想了下,听得最多的大概是这首《不谓侠》了,原版是萧忆情唱的,男声,我偏爱翻唱的这版,女声,听着听着仿佛有种穿越的错觉,纵马从塞外走到江南,路过树林外的小酒家,看满城飞花,对春风与红蜡。 从去年开始,便告诉自己,不再流水账似的记录总结与展望了。写这篇笔记之前,我翻了下去年笔记里的 flag,大概完成了一半不到,再往前翻,也大抵如此。然而越往前翻,感慨越多,只因看到多年前的自己,为一些事情开心、困惑、认真、烦恼,一路走来的脚印清晰起来。 1. 博客 去年定的博客更新目标是25篇,我数了下,完成了27篇。实际上早就忘了25这个数字,因此这27篇笔记,完完整整的是我想去写的,没有一篇凑数。 写的时候,我总是在想,一篇笔记写出来,怎...

Read more

3 Goals for Better Code

这篇笔记是关于 Sean Parent 在2013年的一篇演讲,题目就叫做《3 Goals for Better Code》,听完之后有比较多的共鸣和触动,因此专门记录下来。 关于 Sean Parent其人: Sean Parent is a principal scientist and software architect for Adobe Photoshop and mobile imaging applications. 1. No Raw Loops A raw loop is any loop inside a function where the function serves purpose larger than the algorithm ...

Read more

豆瓣笔记分析

豆瓣笔记是指形如https://www.douban.com/note/699086917/这样链接样式的帖子,严格来讲,我没有搞清楚豆瓣对于这款产品的定位,话题广场、日记、豆列下的文章似乎都在其中。 想做这个事情,缘起于单纯想看看这个文艺网站下的青年们在关注什么。 另外一个是很久不爬东西了手痒,厂长经常说不忘初心,我的初心有一部分大概也是 spider. 断断续续爬了130w+的文章,用的 scrapy,代码就不介绍了,放到了TinyTools这里,这里贴下一些结论。 1. 200 vs 404 个人觉得判断豆瓣是否重视这个产品可以看下死链率,从 scrapy 运行日志可以很轻松的拿到,匹配Crawled (200)或者Crawled (404)即可。 其中 404 页面...

Read more