MemoBase：面向 AI 智能体的本地知识库插件

MemoHood 项目近期发布了面向 hermes-agent 的本地知识库插件 MemoBase，主打「引用即答案、否则拒绝回答」的防幻觉检索增强生成（RAG）流程。与 NotebookLM 类似，但完全在本地运行，数据不离开用户机器。

项目定位与核心思路

MemoBase 被作者称作「图书馆员」而非「记忆」，它只处理文档、网页、音视频等外部资料的索引与检索，与 hermes-agent 自身的对话历史和用户档案互不冲突，二者可同时启用。设计目标直指两个常见 RAG 痛点：把整篇文档塞进 prompt 导致模型「丢掉中间」、费用高；以及让模型凭通用知识自由发挥、编造原文没有的内容。

支持的数据来源

插件的 memobase_ingest 模块覆盖的输入包括：

文件：PDF（pdfplumber，失败回退 pypdf）、DOCX（mammoth）、HTML/URL（trafilatura，带 SSRF 检查）、Markdown、TXT、CSV（按行处理，保留表头）。
YouTube：支持单视频或整个频道。优先通过 ScrapeCreators 拉取字幕，无字幕时回退 Apify 下载音频，再用 Groq Whisper（whisper-large-v3-turbo）转写并保留解码器自带的时间戳。频道超过默认 20 条视频上限时，插件会先给出美元预估费用请求确认。
音频/语音/视频：默认 Groq Whisper，长文件由 ffmpeg 切片后拼接还原文本；备选 Gemini 转写（其时间戳为模型估算，会被标记为低可信度）。
Obsidian：只读模式，自动识别 vault，支持 frontmatter 与 [[…]] 链接，跳过 .obsidian/、.trash/、templates/ 等目录，不会回写。

检索与防幻觉机制

文本经规范化、按结构切片（对代码块安全）、敏感信息扫描后，使用 Cloudflare BGE-M3 生成嵌入向量，统一存入 SQLite 的 FTS5 + vec0 扩展。问答流程（memobase_ask / memobase_query）如下：

混合检索：FTS5（BM25 + 俄语词干还原）与向量 KNN 同时执行，再用 RRF（k=60）融合。
重排序：经 Cohere rerank-v3.5 二次打分。
充分性门控：若检索结果不足以支撑回答，直接返回「知识库暂无相关内容」，不进入生成阶段。
仅基于片段生成：调用一个无工具权限的模型，只能根据传入片段作答，物理上无法「联想」额外信息。
引文校验：输出中的每条引文都需与原始片段严格匹配，否则转为模糊匹配；全部不通过则整体拒绝。

部署特性

项目刻意避免重型依赖：不依赖 PyTorch，也没有 AGPL 许可，因此可在低配 VPS 上快速安装。默认使用本地 ONNX 嵌入器（fastembed），无需任何付费 API Key 即可完成检索；只有在启用 Cohere 重排、Gemini 转写等可选能力时才需要相应凭据。所有数据落地为单一 SQLite 文件，配合本地嵌入器即可做到零外发。

小结

MemoBase 把「可验证引文 + 诚实拒答」作为核心产品约束，围绕 hermes-agent 提供了一套轻量、本地化的 RAG 工具链，对希望把自有资料装进 AI 工作流、又不愿依赖云端服务的开发者具备一定参考价值。