桃子桃子快讯
返回首页
工具

TorchJD 入选 PyTorch 生态,主打多损失训练

开源库 TorchJD 整合标量化与雅可比下降等多损失训练方法,并已正式加入 PyTorch Ecosystem,支持几…

2026.07.08 · 周三2 分钟阅读

近日,社区主导的开源库 TorchJD 宣布已正式加入 PyTorch Ecosystem,主打「多损失训练」(multi-loss training)场景,试图成为该方向上的事实标准库。多损失训练指模型同时受多个目标函数约束的情形,常见于多任务学习、带约束的训练、正则化项以及辅助损失等场景。

多损失训练的两种主流路径

传统做法是把多个损失「标量化」(scalarization):通过加权平均、可学习权重等方式折算成单个标量损失,再走标准梯度下降。这种方式显存占用低、实现简单,但在目标之间分歧较大时容易顾此失彼。

另一种思路是「雅可比下降」(Jacobian descent):先计算各损失对应的梯度,构成损失向量对参数的雅可比矩阵,再把多个梯度聚合成单一更新向量,使每个分量损失都能尽量下降,而不只优化平均值。该方向在文献中已有多种聚合方法,过去却分散在各自实现里。

TorchJD 的整合与定位

据项目作者介绍,得益于新加入的贡献者,TorchJD 已实现上述两大类文献中大部分主流方法,用户只需少量代码改动即可在不同策略间切换,而不必逐个手写。本次入选 PyTorch Ecosystem,意味着该项目在质量、文档与维护上获得了 PyTorch 官方一定程度的认可。

使用与参与方式

  • 项目源代码与说明文档托管在 GitHub,仓库 README 中包含 Discord 社区链接。
  • 团队表示还有多项效率优化计划,欢迎提交新思路、代码贡献、bug 报告与实验反馈。
  • 若认可该项目,作者请求在 GitHub 上给一颗 Star 以示支持。

目前 TorchJD 仍处于活跃开发阶段,对多损失训练有实际需求的从业者可关注其后续在效率、可扩展性方面的进展。

信源