Home

leveldb笔记之23:谈谈leveldb的一些魔数

代码里经常会有一些奇怪的数字设置,我们称之为魔数(magic number)。这些数字有的没有意义,有的则包含了线上实际经验。很多时候想清楚这些数字设置的原则,对于充分理解一个模块,以及线上优化,都有重要的作用。 这篇笔记,聊聊 leveldb 里的那些数字。 经验不足,有些只是纯粹靠着代码臆测,不对之处还请指正。 1. memtable 的最大大小 option.write_buffer_size表示一个 memtable 的最大大小,默认为 4M. 2. level 0 的文件大小及个数 level 0 的文件是无序的,每次查找 level 0都需要查找所有文件,因此需要严格控制个数。 当文件数目 >= config::kL0_SlowdownWritesTri...

Read more

扯扯 cpu idle 与 load average

最近值周遇到一个系统负载的问题,回溯了下问题大概已经持续了两个多月,这篇笔记记录下对于系统 CPU 负载的理解,不定期根据线上经历更新。 1. idle 与 load idle 表示 cpu 的闲置程度,数值越大表示 cpu 负载越低。对应的,load average 表示 CPU 的利用率,系统记录了过去 1min/5min/15min 的记录。 通过 top 可以看到这两个数值: 更细的,可以看到每个 cpu 的 idle: 严格来讲,load average 是指运行队列的平均长度,也就是等待 cpu 的进程数。这些进程是系统中的活动进程,也就是处于 TASK_RUNNING or TASK_UNINTERRUPTIBLE 的进程数。 系统的进程状态有这么几种...

Read more

神奇的锟斤拷

上个周末接到电话,说是线上有“锟斤拷”的结果出现,不再做电子书解析这些事情后,对这类问题逐渐淡忘了,这篇笔记就介绍下神奇的“锟斤拷”是如何产生的。 很多系统间的转换,例如编码的转换、时间的转换等,在我看来也是程序员的基本技能之一,比如当你开发一个评论系统时,不同时区的人回复后,应当怎么样记录这些时间,并且提供给别人用的时候最大可能的保证不会出错? 关于编码,有一次让我印象很深刻的 code review,之前在多看的时候,大概写了这么一段代码和注释: //最多允许填充63个字符或者31个汉字 char buffer[64]; ... 场景模糊记得是直接设置返回到前端一些提示语,用于在线更新时的提示,所以额外注释了下能写多少个汉字。code review 给的意见是希望限制的字...

Read more

《网络是怎样连接的》读书笔记

从输入网页到显示出网页内容,这个过程只有短短几秒的时间,作者却写成了一本书。作为一个半路出家的程序员,这本书就像一本科普读物一样,把我很多零碎的知识点串了起来。但即使作者没有展开来讲,很多地方已经看的让我云里雾里不知所云了,很佩服作者的知识面。 列下书籍大纲,权且备忘: 网络包的旅程:

Read more

leveldb笔记之22:Better Code

本文总结下 leveldb 一些好的代码习惯。 1. 返回信息丰富 leveldb::Status除了返回码,可以提供更丰富的返回信息。 例如,leveldb::DB::Put接口的返回值: virtual Status Put(const WriteOptions& options, const Slice& key, const Slice& value) = 0; 内部使用const char*来记录全部内容: // OK status has a null state_. Otherwise, state_ is a new[] array /...

Read more

leveldb笔记之21:二分法

二分法是个很有意思的话题,思路很简单,也能极大的提高程序的性能,之前我们介绍过如何写出正确的二分法以及分析 。因为二分法在 leveldb 使用非常常见,这篇笔记炒个冷饭,再结合着 leveldb 源码讲下二分法最重要的一个概念:循环不变式。 1. Block 内的 Seek 当我们查找 target 是否存在于某个 data block,用的就是二分法,二分的对象是 restart points. restart points 将 entry 分为多组: 每组包含多个key:value数据,每一个 restart point 指向一组里最小的那个 entry,我们称为 min-key entry. Seek的目标是找到第一个 >= target 的 entry. ...

Read more

leveldb笔记之20:写入与读取流程

这篇笔记介绍下写入和读取过程,前面已经铺垫了很多基础组件,写入介绍起来相对简单一些了。 1. Put 先用一张图片介绍下: 写入的key value首先被封装到WriteBatch // Default implementations of convenience methods that subclasses of DB // can call if they wish Status DB::Put(const WriteOptions& opt, const Slice& key, const Slice& value) { WriteBatch batch; //key,value数据更新到batch里 batch.Put(key,...

Read more

leveldb笔记之19:major compaction

minor compaction主要解决内存数据持久化磁盘。major compaction 则负责将磁盘上的数据合并,每合并一次,数据就落到更底一层。 1. 作用 随着数据合并到更大的 level,一个明显的好处就是清理冗余数据。 如果不同 level 的 sst 文件里,存在相同的 key,那么更底层的数据就可以删除不再保留(不考虑 snapshot的情况下)。为了充分利用磁盘高性能的顺序写,删除数据也是顺序写入删除标记,而真正删除数据,是在 major compact 的过程中。 所以,一个作用是能够节省磁盘空间。 level 0 的数据文件之间是无序的,每次查找都需要遍历所有可能重叠的文件,而归并到 level 1 之后,数据变得有序,待查找的文件变少。 所以,另外...

Read more