LEANN：伯克利开源 RAG 索引压缩，201GB 索引压到 6GB

RAG 的大头成本不在模型，在索引：每个文档块都要存一条高维向量，个人数据上千万块时索引体积轻松上百 GB——这也是「全本地 RAG」一直不现实的原因。伯克利团队的 LEANN（MIT，截至 2026-11-05 有 13,774 星，MLSys 2026 最佳论文，arXiv 2506.08276）反着设计：不存向量，检索时现场计算，换来 97% 的存储节省——消息里那句「201GB 压到 6GB」就是这个数字。零遥测、全本地，隐私 RAG 第一次在个人设备上成立。

核心功能

• 免存向量索引：以计算换存储，索引体积比传统 HNSW 类方案小一到两个数量级。
• 应用内集成：支持与 LLM 常见客户端（Ollama、LM Studio 等）搭配的 RAG 应用形态。
• MCP 原生集成：可作为 MCP 服务器挂给 Claude Code 等编码 Agent 使用。
• 零遥测：README 明言不收集任何数据，全本地运行。
• 跨平台：Ubuntu/Arch/WSL、macOS（ARM64/Intel）、Windows，Python 3.10–3.14。

典型使用场景

• 个人知识库问答：把几年的文档、聊天记录、代码库做成一个只有几 GB 的本地 RAG。
• 隐私敏感检索：企业内部文档不出内网，索引也不落地第三方。
• 边缘设备 RAG：存储受限的设备上首次可以放得下索引。

快速上手

pip install leann 后按文档建索引、接应用；MCP 集成让 Claude Code 直接查询你的本地知识库；论文（arXiv 2506.08276）给出算法细节与基准。原理一句话说清：传统索引把每个块的向量存下来，LEANN 只存图结构与元数据，查询时对候选邻居现场重算向量——存储从 O(N) 降到接近 O(边数)，代价是每次查询多一批模型前向计算。

小结

LEANN 适合想把 RAG 完整搬回个人设备的开发者与研究者；对延迟极敏感、检索 QPS 很高的线上服务场景，现算向量的延迟换存储的取舍要重新算账。它也不与现有向量数据库对立——库小到能放进笔记本后，很多「先上云再建索引」的默认动作本身就没了必要——建索引那一步也回到了你自己的盘上，不再有第三方副本。要点与边界：MIT、Python、MLSys 2026 最佳论文背书；检索速度依赖本地算力，大库首次建索引耗时可感知。它与站内写过的 auto-ontology 一起构成「Agent 的本地记忆」两块拼图：本体层管「依据什么」，LEANN 管「记得什么」——都在你自己的盘上。