揭密在线策略蒸馏：何时有益、何时有害及原因
Apple机器学习研究团队提出训练无关诊断框架，以每个token、每个问题、每个教师的分辨率分析on-policy蒸馏。通过可扩展targeted-rollout算法估计理想梯度，并计算蒸馏梯度与理想梯度的余弦相似度（梯度对齐分数）。实验发现，蒸馏指导在错误rollouts上的对齐程度显著高于正确rollouts；最优蒸馏上下文取决于学生模型容量和目标任务，无通用配置。这些发现推动每任务、每token的诊断分析。
今日精选
终端Kai日报
2026年7月10日 · 刚刚更新 · 已收录 3 条
TGPO：通过可验证奖励强化学习激励第一人称视频时序感知
多模态大语言模型（MLLM）在第一人称视频理解中缺乏时序感知，常依赖空间捷径。为此，研究者提出 Temporal Global Policy Optimization（TGPO），一种基于可验证奖励的强化学习算法。TGPO 通过对比模型在时序有序与打乱帧上的输出，生成全局归一化奖励信号，明确奖励时序连贯推理。TGPO 可集成 GRPO 和 GSPO，支持冷启动 RL 训练，抑制 MLLM 的空间捷径行为。在五个第一人称视频基准上，TGPO 一致提升时序定位与因果连贯性，优于此前基于 RL 的视频推理方法。
Apple 提出 SRLM：自反思程序搜索提升长上下文处理能力
Apple 机器学习研究团队提出 SRLM 框架，利用自一致性、推理链长度和口头置信度三种内在信号，让模型在推理时评估候选长上下文交互程序。实验表明，在相同时间预算下，SRLM 较传统递归语言模型（RLM）最高提升 22%。分析发现，递归本身并非 RLM 性能关键，简单的自反思程序搜索无需显式递归即可匹配或超越 RLM；在模型上下文窗口内，RLM 反而降低性能，而 SRLM 在短上下文和长上下文中均实现稳定增益。