Improving Generalization through a Meta Integration-Enhanced Mechanism

一句话 —— 指数滑动平均（EMA）动量会快速遗忘历史梯度，因此无法维持"从尖锐极小值里爬出来"所需的持续方向信号。对梯度历史做多阶积分可以让这个推力持续存在，而积分系数可以用超梯度规则在线更新。

问题

平坦极小值与更好的泛化相关，基于 EMA 的动量正是为抵达平坦极小值而设计的标准机制。但 EMA 对历史梯度信息的衰减很快，阻碍了逃离尖锐极小值所必需的持续方向信号的累积。

方法

我们把优化器重新表述为带积分反馈的神经动力学系统。元积分增强（MIE）机制用多阶积分神经动力学替代 EMA 动量：每增加一阶积分，损失曲面就被进一步形变，从而产生持续的动量，使系统得以逃离尖锐极小值。

积分系数不是固定调度。我们提出超梯度元优化方法，依据瞬时梯度与历史积分状态之间的方向一致性自适应地更新系数。

理论

• 逃逸时间近似：证明搭载 MIE 的 SGD 比对应动量方法更快逃离尖锐极小值。
• 局部渐近稳定性：通过 Lyapunov 分析给出 MIE 动力学的稳定性结论。

结果

在多组数据集上的仿真与实验表明，基于 MIE 的优化器在优化性能与泛化性能上均优于基线。

审稿期间，完整稿件可通过邮件索取。