Agent 时代 AI 芯片估值逻辑生变
36 氪分析指出，Agent 工作负载正改变 AI 芯片投资逻辑，关注点从 tokens/s 等峰值指标转向可部署模型上…
随着 Agent 逐渐成为 AI 应用的主流形态，单颗芯片最容易传播的指标——TOPS、FLOPS、tokens/s——正在失去估值锚定能力。36 氪近日发表的分析认为，Agent 把一次推理变成不确定长度的工作流，可能经历多轮规划、工具调用、记忆检索、错误恢复与结果验证；用户问出的一句话，在后台可能对应几十轮动作，调用基础模型、LoRA Adapter、Embedding、检索、代码执行和外部工具，失败后还要回退、重试、反思。在这一背景下，峰值 Token 产出若没有转化为可接受的答案、可完成的任务和可持续的服务等级，就只是被电力、显存与折旧共同买下的中间产物。计算与存储领域的投资主线正在从「谁的单点规格最高」，转向「谁能把更强模型以更低系统成本送入真实产品」。
小模型加速芯片的估值瓶颈
把 3B 或 8B 模型跑到很高总并发，并不必然形成高价值芯片。随着 CPU 向量指令、GPU 推理引擎、集成 NPU 和统一内存持续进步，小模型往往是最先被通用平台高质量兼容的工作负载。对 OEM/ODM 而言，增加一颗独立芯片意味着主板空间、供电、散热、驱动、固件、系统镜像、供应链认证与售后体系都要随之调整；若新增器件只能把 3B 或 8B 模型做到 1000 tokens/s 总并发，而实际应用只需要一百 tokens/s，多出来的九成峰值性能既不能提高任务成功率，也无法形成消费者可感知的差异。3B、8B 模型在语音与视觉前处理、Embedding、Router、固定领域分类、设备控制、投机解码 Draft 模型以及对隐私与确定性 SLO 要求很高的边缘任务中仍有市场，但「让小模型跑得更快」一旦成为芯片的唯一壁垒，专用加速器的速度优势就容易被兼容性、供应链与开发成本抵消。
大模型推理 ASIC 的三道门槛
更具战略意义的大芯片，销售的是模型上限与产品代际。接近万亿参数的模型对权重容量、内存带宽、Chiplet 互联和并行策略提出系统级要求；能够把这类负载收敛到单卡或单逻辑设备，并提供接近 300 到 500 tokens/s 总并发的推理 ASIC，将让工作站、私有云、边缘数据中心与高端 OEM 整机获得过去只能由大型集群提供的智能能力。这类芯片需要跨过三道门槛：
- 模型装得下且喂得饱：Decode 阶段常受权重与 KV Cache 搬运影响，HBM 容量、带宽、Chiplet 与先进封装被推到系统中心。
- 编译器与 Runtime 跟得上架构变化：从 Dense Transformer 到 MoE、长上下文、多模态、Speculative Decoding 与 Mixture of LoRA，硬件必须快速支持新算子、低精度格式与多种并行方式。
- 生态可兑现：OEM/ODM 关心驱动兼容、PyTorch 与主流推理框架支持、模型库、工具链、故障恢复、供应稳定与生命周期支持。
Google TPU、Microsoft Maia 200、Google TPU Hypercomputer 等体系均显示，竞争单位越来越接近一块板卡、一个机架或一个完整 AI 系统。
Mixture of LoRA 重塑存储层级
Agent 不会永远只调用一个模型。共享一个或多个基础模型，再由 Model Router 按任务、用户、权限和成本选择 LoRA Adapter、专家、工具模型或不同精度版本——这种「Mixture of LoRA」乃至更广义的 Mixture of Models/MoE/Mixture of Anything 方向，让基础权重、Adapter、专家与上下文的驻留和切换成为关键问题。S-LoRA 把大量 Adapter 保存在主内存、只把当前请求所需 Adapter 取入 GPU；Punica 通过共享单份基础模型、批处理不同 LoRA 请求提升 GPU 利用率。当 Adapter、专家与 Prefix 数量持续增加，缓存层级会从 HBM 扩展到 DRAM、CXL、HBF、AI SSD 与对象存储：HBM 保存热权重与 KV，DRAM/CXL 承接可变 Adapter 池，AI SSD 保存冷 Adapter、专家、模型切片与可复用 Prefix。HBM 与先进封装提供热数据带宽，HBF 尝试在 HBM 与 SSD 之间建立大容量读密集层，CXL 提供内存扩展与池化，SSD 控制器承接缓存、压缩、索引与预取。
AI SSD 作为新变量
AI SSD 仍是标准 SSD，保持 PCIe/NVMe 形态即可直接进入计算机、工作站和服务器，再由中间件、Runtime 与固件开启模型切片、专家卸载、KV Cache 复用、压缩或预取等能力。相比需要专门主板适配的独立推理小芯片，AI SSD 对 OEM 的导入路径更接近现有存储升级，新增溢价有机会被更大容量、更少 DRAM 占用、更长上下文与更低重算共同吸收。其对大芯片并非替代关系：接近万亿参数模型仍需要强大矩阵计算、低精度算子、HBM 带宽、Chiplet 互联与成熟编译器；更合理的组合是大芯片负责高价值计算，AI SSD 以更低成本保存冷权重、Adapter、专家、Prefix 与 Agent Memory，并通过预取让数据尽量在计算窗口关闭前到达，共同压低有效 Token 成本。
文中提及的三条国产 AI SSD 路线——群联 aiDAPTIV 的「SSD + 中间件 + 系统集成」路线、江波龙的「SPU + iSA」存储执行层与智能调度层路线、以及围绕国产控制器与端侧大模型部署的探索——分别从容量扩容、推理节奏感知与近数据处理等不同方向切入，能否把流片、封装、HBM 供给、编译器成熟度与客户共同验证收拢到同一张里程碑表，将决定这些方案能否从演示数字走向持续出货与软件收入。