SageMaker AI 推出 MLflow 集成，自动流式记录推理基准结果
亚马逊云科技新增 Amazon SageMaker AI 与 MLflow 的集成，推理推荐与基准测试任务的参数、指标可…
AWS 近日在其 Amazon SageMaker AI 平台上线与 MLflow 的原生集成，允许用户将推理推荐（inference recommendations）与基准测试（benchmark）任务产生的参数、指标与图表实时流式写入指定的 SageMaker MLflow App，从而把分散的实验数据统一汇集到同一追踪界面，减少手工汇总负担，加快推理优化迭代周期。
新功能要点
SageMaker AI 的推理推荐与基准测试能力此前需要团队自行汇总不同实例类型、并行策略、推测解码（speculative decoding）等配置下的运行结果。此次更新后，用户在提交任务时仅需附带 MlflowConfig 参数，对应实验数据便会自动写入所选的 MLflow 实验。多个任务的运行可在 MLflow 实验视图中并排比较，过程中无需手动归集数据。
服务端采用无服务器化的 SageMaker MLflow App，任务运行期间 Latency、Throughput 等指标在 MLflow 界面持续刷新，团队无需等到任务结束即可观察配置变化带来的影响，并可据此决定是否提前终止不符合预期的推荐任务。
主要收益
- 消除手工数据汇总：同一实验名下的多次运行结果自动归集，可直接并排对比实例类型、批次大小、是否启用推测解码等配置对吞吐与延迟的影响。
- 实时可观测：基准与推荐任务通常耗时较长，MLflow UI 实时刷新指标，全程可观察。
- 完整审计追溯：每一次运行都会记录任务参数、时间戳、检查点指标与产出工件，可在数月内回查，方便团队协作与跨班次交接。
实施步骤概览
- 在 Amazon SageMaker Studio 中进入 MLflow，选择 Create MLflow App 创建 MLflow App。
- 在任务执行角色上授予
sagemaker-mlflow:*针对该 MLflow App ARN 的权限。 - 在创建基准测试或推荐任务时传入
MlflowConfig，指定目标 MLflow 实验。
示例：以 Qwen2-0.5B 验证配置选择
原博客以 Qwen/Qwen2-0.5B-Instruct 为示例模型，将其通过兼容 OpenAI 接口的推理栈部署在 ml.g6.12xlarge 实时端点上。基准测试任务评估现有端点表现，推荐任务则对存储在 Amazon S3 中的模型构件部署选项进行搜索排序。两者写入同一 MLflow 实验，方便团队在轻量聊天负载与较长 prompt/response 负载之间选择合适配置。完整演练通常耗时约 45 至 120 分钟，受端点就绪状态、模型规模、负载配置、实例可用性及推荐搜索空间影响。
前置条件方面，需先在 Amazon SageMaker AI 上配置好 SageMaker Studio 开发环境，并通过 SageMaker Unified Studio 创建 SageMaker MLflow App；同时准备一个处于 InService 状态、可调用 OpenAI 兼容接口的 SageMaker 端点，以及一份存放于 S3 的模型构件用于推荐任务。整体方案依托 AWS 自有组件，无需额外接入第三方追踪基础设施。