川流知序Chovsue

腾讯混元团队深夜AMA回应700B参数选择与后训练挑战

2026-11-21

11月21日凌晨,北京时间刚过零点,腾讯首席AI科学家姚顺雨带着混元团队出现在海外社交媒体社区,开展了一场持续两个多小时的文字AMA(公开问答)。

关于参数规模与技术路线

在问答中,有来自全球的开发者提问,指出字节跳动和Kimi等模型的参数量似乎都在向3T甚至5T推进,询问腾讯混元为何停留在700B。对此,混元团队回应称,Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且成本更低。

团队同时表示,Hy4仍有很大的改进空间,尤其是通过后训练。目前,团队正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全,并计划训练更大规模的模型。

开发过程中的技术取舍

当被问及开发中最艰难的时刻,混元团队成员回答是,从Hy3到Hy4的过渡非常艰难。由于没有进行那么多详细消融实验研究,训练开始时存在很多不确定性,团队感到十分紧张。幸运的是,训练最后出乎意料地顺利。成员形容这种体验就像是在赌一把全押,结果居然赢了。

在技术架构方面,团队提到在MLA(多头潜在注意力)和GQA(分组查询注意力)之间反复权衡了相当长时间。MLA的计算强度远远高于GQA,使得在推理GPU上进行规格解码时受到计算限制。不过,在相同的KV缓存大小下,MLA能提供比GQA更好的模型质量。随着DSA(DeepSeek Sparse Attention)的引入,团队得以降低MLA在解码过程中的计算强度,最终决定选择MLA方案。

当被询问后训练里最难改善的行为时,混元团队仅回复了四个字:过度思考。

本文由 AI 基于公开信息自动生成,仅供学习参考,不构成任何投资建议。市场有风险,投资需谨慎。