张晨阳

针对混元模型（295B-A21B）在多轮及跨会话场景中的记忆问题，开展上下文理解 RL 训练与记忆消费优化，搭建从线上难例挖掘、Rubric 奖励构造、RL 训练到专项评测与数据飞轮的完整闭环。

• 多轮记忆数据与 Rubric 构建：通过三级清洗产出 1 万余条通用多轮对话；对真实对话轨迹进行多切点采样与判分，构建 2,000 余条记忆专项样本；将记忆能力拆解为信息回溯、指代消解、事实一致等维度，生成 3 万条 Rubric，并通过事实一致性与约束合理性校验保障奖励质量
• 上下文理解 RLVR 训练：基于细粒度 Rubric 进行 GRPO 训练，通过有效样本筛选提升梯度利用率；结合 Router Replay 与 IcePop 重要性修正缓解训推不一致，并设计融合硬约束门控与记忆 Rubric 评分的门控奖励机制；最终在验证集和短期记忆测试集上分别提升 3pp 和 8pp
• 真实用户记忆消费评测：基于真实用户跨会话历史，通过 Gold 记忆注入与反事实干扰记忆配对隔离抽取、检索变量，从有效性、选择性与得体性三个层面评估模型能否准确、克制且自然地使用用户记忆
• 记忆消费数据飞轮：基于消费 Rubric 持续挖掘“记忆漏用、无关信息误用”等 Badcase，采用“自反思修复—强模型兜底重写—Rubric Judge 验收”的分层修复策略构造高质量 SFT 数据，最终在测试集上综合提升 5pp

针对LLM在复杂环境下多步、多轮工具调用能力不足的问题，基于Qwen模型系统探索多轮Agent任务合成方法与多轮强化学习训练策略，为组内业务模型（35B-A3B）训练积累数据以及实践经验。

• 基于依赖图的长序列任务合成：构建有向工具依赖图，基于拓扑排序的动态解锁采样算法生成多步调用轨迹，逆向合成自然语言任务。构建 500+ 可执行 MCP 环境（包含 4500+ 工具）及 3000+ 条高质量训练数据
• 多轮工具调用的强化学习：将全局轨迹奖励解耦为 Local Advantage 与 Future Advantage，引入一致性门控机制抑制虚假正向收益；在 BFCL 与 Tau2Bench 上相较 GRPO 平均提升约 5pp

针对 LLM 在注意力机制和上下文长度的局限性，初步设计并实现面向 AI 角色对话的长期记忆系统；同时搭建自动化评测框架量化模型的长期记忆能力与角色扮演能力。

• 长期记忆构建与储存：基于 Mem0 构建向量（Milvus）与图（Neo4j）双路异构记忆结构，分别维护处理事实性记忆与实体关系图谱
• 记忆召回与重排：构建向量检索与图检索双路召回机制；设计融合相关性、时效性与重要性的多维 Re-ranking 策略，动态返回记忆信息
• 长期记忆能力评测：基于 LongMemEval 搭建端到端长期记忆自动化 QA 评测框架，最终框架相比 RAG 基线各项指标平均提升约 10%