LoRA 学不会多步流程：过程性知识并非低秩

一篇发表于 arXiv 的研究对当下主流的参数高效微调方法 LoRA 提出了系统性挑战：在涉及多步、带条件分支、最终需落到终止状态的过程性任务上，LoRA 远不能复现全参数微调的效果。这一发现对正在用 LoRA 微调智能体（agent）的开发者具有直接参考价值。

核心实验：旅行预订任务全军覆没

研究者在 14 节点的程序化旅行预订任务上做了系统的 rank 消融（r = 16–128）。结果显示，所有 LoRA 配置的任务成功率均不超过 2.54，而全参数微调可达 4.11，差距在统计上高度显著（p < 0.001）。值得注意的是：

• 对话完成率仍维持在 95%–99%，意味着模型并不是「说不下去」，而是真的没学会按正确流程走完分支。
• 得分随 rank 增大反而下降，说明单纯提高 LoRA 秩并不能缓解问题。

跨域复现：问题在 8B 模型上同样存在

为排除任务特异性，研究在 3B 与 8B 模型上对另外两个领域做了复现：

• Zoom 客服支持任务（14 节点）
• 保险理赔任务（55 节点，复杂度更高）

在 r = 32 和 r = 128 两个设定下，LoRA 平均落后全参数微调 0.8–2.2 分，且流程越复杂、差距越大。把 rank 从 32 翻到 128 仅带来边际改善，完全无法弥合这一鸿沟。

SVD 分析：权重更新是「高秩」的

为什么 LoRA 不够用？研究者对全参数微调产生的权重增量做 SVD 分解，给出了非常直观的物理解释：

• 三个领域、3B 与 8B 模型上，权重更新的平均有效秩介于 761 到 1026 之间。
• 即便把 LoRA 秩提到 128，也只能捕获 43%–51% 的 Frobenius 范数平方，意味着超过一半的更新信号被强制丢弃。

换言之，过程性知识对应的权重调整本身就接近「全秩」，用低秩近似去拟合必然损失能力，这与人们在指令跟随、风格迁移上学到的「LoRA 够用」的直觉相矛盾。

对智能体开发的启示

研究的结论很明确：对于需要严格遵循多步流程的智能体场景，LoRA 已构成「根本性限制」。短期内，做流程型智能体的团队如果要微调，要么接受全参数微调带来的算力成本，要么需要探索新的参数高效方案来匹配高秩结构，而不能继续默认套用低秩 LoRA。