Otlet：把本地 LLM 推理塞进 Postgres 的开源实验

一位独立开发者在 Hacker News 上展示了名为 Otlet 的 Postgres 扩展原型，尝试把本地大模型推理直接放进数据库进程内运行：推理任务在 Postgres 的后台 worker 中执行，任务的输入、输出与执行回执则保存在数据库表中。作者在帖子中明确表示，这只是一个个人实验项目，尚未达到可用于生产环境的成熟度。

设计动机

作者介绍，Otlet 诞生于解决「实体识别」问题的实际场景：需要判断表中哪些行指向同一个实体。原始数据已经存放在 Postgres 中，但调用模型推理必须把行拉到外部进程，处理完再写回数据库。为了减少数据在进程间反复搬运，他希望把尽可能多的工作流留在数据库内、贴近数据本身完成，由此产生了把推理「内置」到 Postgres 的思路。

现有能力

根据仓库与帖子描述，Otlet 当前支持从 SQL 语句直接发起模型任务、要求模型按结构化格式输出、为每次运行保存记录，以及在写入源数据前对建议结果进行人工复核。仓库示例展示了「先用小模型做初筛、对不确定的样本再用更强的模型复核」的两阶段流程，方便在精度与成本之间做权衡。

项目现状

• 项目以 Docker 演示的方式提供试用，作者并未给出具体的性能、延迟或基准数据。
• 帖子在 Hacker News 上仅有 1 个点赞、0 条评论，社区关注度很低。
• 作者本人也强调项目「还很粗糙」，发帖的主要目的是分享思路并接受社区批评。

总体而言，Otlet 展示了一种「数据库内 AI 推理」的探索方向，但距离可投入使用的工具仍有相当距离，更多是一个值得关注的技术思路而非成熟产品。