AWS 案例:微调 Amazon Nova 提升电商邮件信息提取效率
AWS 与 Parcel Perform 合作微调 Amazon Nova 模型,将电商邮件实体提取准确率提升至 94.…
AWS 近日与全球电商物流 AI 平台 Parcel Perform 合作,借助 Amazon SageMaker AI 微调 Amazon Nova 模型,实现了从海量电商邮件中自动提取结构化信息。该方案在测试集上达到 94.77% 的提取准确率,相较基线提升最多 16.6 个百分点,同时将推理延迟降低超过 30%,并将成本缩减一半。
项目背景
Parcel Perform 每天需处理数百万封邮件,邮件格式从简单通知到包含大量 JavaScript 元素的复杂 HTML 文档不等。在信息提取过程中,模型容易出现「幻觉」输出、混淆相似字段(如订单号与物流单号),且处理 HTML 格式邮件的 token 成本居高不下。AWS Generative AI Innovation Center(GenAIIC)与 Parcel Perform 团队合作,针对这些问题对 Nova 模型进行定制化与参数优化。
技术方案
方案采用 Amazon SageMaker AI 的自定义模型微调能力,基于 Amazon Nova Lite 与 Nova Micro 进行有监督微调(SFT),并通过低秩适配(LoRA)实现参数高效微调(PEFT)。该组合允许在有限训练数据下完成模型定制,同时保持计算效率。
微调完成后,可将模型部署到 Amazon Bedrock,按 token 计价进行按需推理。Nova 自带的训练「配方」(recipes)为 YAML 配置文件,定义了基础模型名称、训练超参数与优化设置等。
数据准备与实验结果
实验准备了两组训练数据:较小的样本集含 1,300 条,较大的含 4,900 条,用于评估训练数据规模对模型性能的影响。训练数据需遵循 Amazon Bedrock 对话格式,以邮件内容作为用户输入、提取的结构化实体作为助手输出,并以 JSONL 格式存储。
Parcel Perform AI 团队负责人 Le Vy 表示,微调后的 Nova Micro 在测试集上达到 94.77% 的提取准确率,推理延迟较此前方案降低 30% 以上,成本减半,且性能可媲美或超过微调后的 Nova Lite,同时成本更低。该方案已投入生产,用于改善其电商物流运营。
部署流程概览
整体工作流包括五个步骤:
- 准备符合 Amazon Bedrock 对话格式的训练数据;
- 将数据上传到 Amazon S3;
- 在 SageMaker AI 中创建 LoRA 配置的微调任务;
- 部署到 Amazon Bedrock 进行按需推理;
- 对新邮件进行实体提取推理。
此外,使用前还需准备 AWS 账户、相应的 Bedrock 与 Nova 模型访问权限、IAM 服务角色、S3 桶以及充足的 SageMaker AI Training 服务配额。
