Home

1. coding 方式的变化 以这篇博客的 repo 为例，原来我加入一本正在读的书到书架，需要几个步骤： 在豆瓣搜索，找到书籍主页 如果书籍来自微信读书出品，豆瓣上可能搜不到，那就需要分析微信读书网页版的书籍主页 下载对应封面图片 修改 books.yaml 记录时间和图片地址 现在 izualzhy.cn.bookshelf 一个 skill 就搞定了。进一步，借助微信读书的官方 skill，书籍是从哪天开始阅读的、有多少条笔记、每条笔记写了什么，都可以通过 skill 完成了。 原来这种 固定步骤+人工分析 这种规律的工作，现在基本都通过对话完成 再就是平时用到的很多临时脚本，也是用 AI 生成。之前做过比较多代码 review 工作，所以 AI 1...

今年 2 月份 karpathy 发了一篇极简版gpt的文章，只有 200 行代码： 但是却完整模拟了 GPT 的训练（Training）和推理（Inference）流程，非常适合用来理解 GPT 的核心思想。 当时看完的感觉，就是能看懂每一行代码，但是关于为什么却完全不懂。最近看完GPT图解-大模型是怎样构建的，尝试解析下这 200 行代码。 gist 下面的讨论和 fork 很多，相信网上应该有很多的解析。这篇文章希望能从一个训推初学者的角度，提供一些见解。 1. Inference 推理的过程非常简单：从BOS开始预测下一个 token，直到token_id == BOS结束。 print("\n--- inference (new, hallucinate...