最佳学习率调度的变分估计
近日,笔者刷到一篇论文《Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-...
kexue.fm · AI & ML · zh-CN
苏剑林的个人博客,专注深度学习、大模型架构、数学推导与自然语言处理前沿研究。
苏剑林的个人博客,专注深度学习、大模型架构、数学推导与自然语言处理前沿研究。
近日,笔者刷到一篇论文《Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-...
前面的多篇文章中,我们已经表明了学习率调度对终点收敛的重要性。与此同时,“无调度(Schedule-Free)学习率”一直也是训练人的理想追求:不预设学习率曲线,也不预设训练步数,训练过程随时终...
在文章《将Softmax Attention线性化为Gated DeltaNet》中,我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程,它演示了我...
近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如Hyperball、HyperTransfer、ELR等,它们总体都是围绕着$\ell(\boldsymbol{w}...
Softmax Attention想必大家已经不陌生,它是定义在有限向量集合下的一个加权混合算子。近日,论文《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。...
在上一篇文章《慢即是快:1. Shampoo的尽头是Muon?》中,我们从凸优化的平均收敛结论出发,建立了“正交最慢下降”框架,并用于改进任意Kronecker积形式的预条件优化器。结果发现,在...
我们知道,DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵(参考《线性注意力简史:从模仿、创...
对于无约束的光滑函数来说,求极值的通用方法自然是求导(梯度)并让导数等于零了。那带等式约束的极值问题呢?很多读者应该也不陌生,标准方法是拉格朗日乘子法。然而,拉格朗日乘子总让人觉得是一种纯粹的代...
众所周知,Muon优化器流行起来已经有好一段时间,虽然说不上完全取代Adam,但已经算得上不能忽视的、极具竞争力的优化器。与此同时,这两年Shampoo系优化器也“不甘落后”,除了原始Shamp...
排序不等式是一个经典的不等式,本身不难理解,很多读者可能在中学阶段就已经了解过它,尤其是准备过数学竞赛的同学。但排序不等式也远不止表面上那么简单:它在矩阵世界中有一个深刻的对应物——冯·诺伊曼迹...