Back to Discover
科学科学空间

科学空间

RSS Healthy

kexue.fm · AI & ML · zh-CN

苏剑林的个人博客,专注深度学习、大模型架构、数学推导与自然语言处理前沿研究。

Visit Website
Indexed Posts
10
Update Frequency
Weekly
Last Fetched
Just now
Feed URL
https://kexue.fm/feed
https://kexue.fm
科学空间 homepage preview
kexue.fm

科学空间

苏剑林的个人博客,专注深度学习、大模型架构、数学推导与自然语言处理前沿研究。

Loading snapshot...·

Recent Articles

Nov 17, 2026苏剑林

最佳学习率调度的变分估计

近日,笔者刷到一篇论文《Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-...

Nov 9, 2026苏剑林

让炼丹更科学一些(十一):无调度学习率新思路

前面的多篇文章中,我们已经表明了学习率调度对终点收敛的重要性。与此同时,“无调度(Schedule-Free)学习率”一直也是训练人的理想追求:不预设学习率曲线,也不预设训练步数,训练过程随时终...

Nov 1, 2026苏剑林

平均之路:从Attention到TTT

在文章《将Softmax Attention线性化为Gated DeltaNet》中,我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程,它演示了我...

Oct 27, 2026苏剑林

从参数对称性到有效学习率

近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如Hyperball、HyperTransfer、ELR等,它们总体都是围绕着$\ell(\boldsymbol{w}...

Oct 19, 2026苏剑林

连续化 Softmax Attention

Softmax Attention想必大家已经不陌生,它是定义在有限向量集合下的一个加权混合算子。近日,论文《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。...

Oct 15, 2026苏剑林

慢即是快:2. Adam的尽头还是Muon?

在上一篇文章《慢即是快:1. Shampoo的尽头是Muon?》中,我们从凸优化的平均收敛结论出发,建立了“正交最慢下降”框架,并用于改进任意Kronecker积形式的预条件优化器。结果发现,在...

Oct 9, 2026苏剑林

如何让GDN2更稳定一些?

我们知道,DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵(参考《线性注意力简史:从模仿、创...

Oct 3, 2026苏剑林

通过微扰分析求解等式约束优化问题

对于无约束的光滑函数来说,求极值的通用方法自然是求导(梯度)并让导数等于零了。那带等式约束的极值问题呢?很多读者应该也不陌生,标准方法是拉格朗日乘子法。然而,拉格朗日乘子总让人觉得是一种纯粹的代...

Sep 28, 2026苏剑林

慢即是快:1. Shampoo的尽头是Muon?

众所周知,Muon优化器流行起来已经有好一段时间,虽然说不上完全取代Adam,但已经算得上不能忽视的、极具竞争力的优化器。与此同时,这两年Shampoo系优化器也“不甘落后”,除了原始Shamp...

Sep 21, 2026苏剑林

排序不等式及其推广

排序不等式是一个经典的不等式,本身不难理解,很多读者可能在中学阶段就已经了解过它,尤其是准备过数学竞赛的同学。但排序不等式也远不止表面上那么简单:它在矩阵世界中有一个深刻的对应物——冯·诺伊曼迹...