开发者将 Gemma 4 E2B/E4B 端侧模型集成进电子阅读器

独立开发者 Boopity_Boob 在 r/LocalLLaMA 发布了一款集成本地大模型的电子阅读器 App「GardenReads」，直接把 Google Gemma 4 系列端侧模型嵌入阅读流程，用户无需联网或注册账号即可在阅读时向 AI 提问并保存回答。

技术栈与模型

App 基于 Google 的 LiteRT-LM（即 AI Edge）推理框架运行，用户首次使用时从 litert-community 公开仓库直接下载模型权重：

• E2B：约 2.5 GB
• E4B：约 3.6 GB
• 均为 INT4 量化版本，无需 token、无需登录

默认走 GPU 推理，CPU 作为兜底；为了控制内存占用，模型只在 AI 聊天界面打开时加载进内存，关闭后立即卸载，避免长期占据 RAM。

上下文与功能

App 会自动把当前图书的元数据和用户阅读到的段落位置注入到上下文里，用户无需手动组织提示词就能得到与正文相关的回答。功能层面包含：

• Deep Think 开关：在响应速度与上下文深度之间取舍
• Spoilers 开关：阅读小说时关闭可防止剧透泄漏
• 自动语言匹配：回答语言跟随用户当前所选文本
• 支持把回答保存到笔记与高亮体系

定位与边界

需要指出的是，这并非 Google 官方产品，而是开发者自行整合的开源/开放权重模型方案。作者在帖中直接附上了 GardenReads 官网链接并征求社区反馈，带有较强的个人项目展示与产品推广性质。该方案的技术价值在于展示了 Gemma 4 量化模型在低算力移动设备上的可行落地路径，但对整个 AI 行业或开发者生态的直接外溢影响较为有限。