赵阳

问题：奖励优化中多目标之间通常存在复杂权衡，固定标量化策略难以适应不同训练阶段与样本特性。

方法：提出基于元学习的自适应标量化估计方法，动态学习不同奖励目标之间的权衡系数。

价值：提升了奖励优化的适应性与稳定性，为高质量后训练提供了更灵活的目标协调机制。

问题：SFT 与 RL 阶段的数据作用往往交织在一起，缺乏对二者训练功能差异的系统理解。

方法：基于梯度集中性分析，刻画不同数据在后训练不同阶段中的功能分工与适配关系。

价值：有助于更精细地理解和设计后训练数据配比，为阶段化数据选择提供方法支持。

问题：强化学习阶段训练代价高昂，现有方法往往对所有样本一视同仁，导致数据利用效率不足。

方法：提出不确定性感知的数据选择框架，从样本学习价值出发动态筛选更关键的 RL 训练数据。

价值：在更少训练数据下实现更优或可比的强化学习效果，为高成本后训练提供了更高效的数据优化方案。

问题：现有指令调优数据选择方法大多依赖语义相似度，难以准确反映样本对模型更新的真实贡献。

方法：构建基于梯度关系的图方法，从优化视角建模样本间交互，选择更具训练价值的数据子集。

价值：突破了基于表面相似性的筛选范式，在减少训练数据规模的同时有效提升指令调优性能。

问题：监督微调为何能够在有限数据下快速带来广泛泛化，相关机制仍缺乏清晰解释。

方法：从注意力头激活模式出发，分析 SFT 过程中模型内部表征变化与能力迁移规律。

价值：为理解大模型快速泛化现象提供了机制层面的证据，也为后续数据选择与训练策略设计提供了分析依据。

问题：预训练数据如何影响大语言模型能力形成，长期以来缺乏可操作的直接分析路径。

方法：借助机器遗忘框架，从“移除数据后的能力变化”角度分析不同预训练数据的实际影响。

价值：为预训练数据归因与价值评估提供了新的研究路径，也为高价值数据筛选提供了理论与方法基础。