300 年经典牛顿法夜夜撸2014，迎来重磅升级！

三位普林斯顿数学家找到更快更强的解法，其中还有一位是华东谈主。

牛顿法是啥？学过高数的同学想必并不目生，它通过连接求导来寻找复杂函数 f（x）接近零点的最优解。

便是这样一个特地浅易的「近似求解」算法，因为抑止速率特地快，时于本日它仍被时常应用在谋划机视觉、物流、金融以致纯数常识题等各个领域，比如建立简略隔离交通讯号灯和泊车记号的自动驾驶汽车。

但即便这样巨大，牛顿法也存在一个纰谬，那便是不适用于悉数函数。

于是乎，当年几个世纪诸多半学家勇往直前企图在此基础之上进行优化。咫尺这三位数学家收效将可适用的函数范围一扩再扩。

比如像这个复杂的二元函数。

与传统牛顿法比拟，新设阐述现出来的更连贯，隐敝也很大。

一合著者默示，牛顿法在优化中有 1000 种不同的应用，而他们的算法有可能取代它。

来望望究竟是咋回事儿。

三位数学家改写经典牛顿法

牛顿法（Newton ’ s Method）降生于 17 世纪，由大名鼎鼎的英国数学家牛顿初次建议。

其中枢想想是，通过连接面临函数的根或极小值点，以寻找函数的最优解。

凡俗来说，这有点像在目生环境里蒙眼寻找最低点。在行走经由中，咱们唯一需要的信息在于两点：1）我方是否在上坡或者下坡，即斜率（函数的一阶导数）；2）以及坡度是加多照旧减少，即斜率自己的变化率（函数的二阶导数）。

期骗上述信息，咱们不错相对快速地得到一个近似值。

若将这依然由用数学设施来默示，则具体如下：

Make a guess（作念一个估量）：遴荐一个接近你以为可能是最小值的肇端点，看成寻找函数最小值的滥觞；

Model the curve（模拟弧线）：在该点隔壁构造一个抛物线，以近似原函数的花样；

Find the next point（找到下一个点）：谋划抛物线的最低点，以此看成新的迭代点；

Repeat（调换）：使用新的迭代点调换上述要领，缓缓面临函数的最小值；

Keep going（陆续进行）：握续迭代，直至找到函数的最小值。

牛顿阐述了，只须连接调换上述经由，最终就会面临原始复杂函数的最小值。

而且和雷同迭代设施（如梯度下落）比拟，牛顿法诚然每次迭代的谋划资本高于梯度下落，但在效力方面上风清亮。

浅易来说夜夜撸2014，牛顿法抑止速率比拟梯度下落法更快，即在更少的迭代次数内找到最小值，因此也适用于多种情况。

不外牛顿那时也辅导：

诚然这一设施在大多半情况下灵验，但如若一脱手从一个距离真确最小值太远的点脱手，则可能越跑越偏。

而且更繁难的是，牛顿法还存在一个权贵纰谬——不适用于悉数函数。

其中枢战略是将一个复杂函数飘摇为一个更浅易的函数，而一朝函数过于复杂，它也相同没辙了。

因而其后数学家们竭力于的标的在于，在不就义效力的前提下扩大算法使用范围。

直到昨年夏天，三位盘考东谈主员发表了对牛顿法的最新纠正。

将牛顿法延迟到迄今为止最时常的函数类别

具体而言，他们发现牛顿法在贬责某些复杂函数（如高次幂函数）时效力不好，这是因为它依赖于函数的泰勒伸开（一种使用求导和多项式面临原函数的妙技），而这个伸开并不老是能很好地形色原函数，迥殊是当函数有好多"山谷"（局部最小值）时。

于是他们建议，如若一个函数夸口两个条款，那么它就更容易找到最小值：

凸形（Convex）：函数的花样像一个碗，唯唯一个"山谷"

平方和（Sum of Squares）：函数不错默示为一些平方项的和

前者意味着如若从任何位置脱手寻找，齐不会堕入局部最小值的问题，因为唯唯一个最小值，而且岂论从哪个标的脱手，齐会滑向这个唯一的最低点。

后者意味着不错很容易地识别和谋划函数的最小值，因为平方和局势的函数迥殊容易贬责，其平方数总黑白负的，而且它们的最小值是 0。

接下来，为了夸口上述条款，他们使用了一种叫作念半定例划（Semidefinite Programming）的工夫来援救泰勒伸开，具体要领如下：

1、微调泰勒伸开。扞拒直使用函数的泰勒伸开，而是对其进行微调，使其既凸形又不错默示为平方和。

2、加多援救因子。在泰勒伸开中加入一个援救因子，这个因子不错匡助他们甘休伸开的花样，使其更接近原函数，同期夸口凸形和平方和的条款。

3、多导数抑止。他们的设施不错使用随便多个导数来进行泰勒伸开，这意味着他们不错更快地找到函数的最小值。使用更多的导数不错让算法以更高的速率（比如立方速率）抑止到最小值。

最终他们创造了这种更强版块的牛顿法，简略以更少的迭代次数找到最小值。

他们的算法如下：

不才面这个函数中，与传统牛顿法比拟，其纠正版块（第三阶牛顿法）在表面上提供了更快的抑止速率，何况在实验中可能比经典牛顿法更灵验，尤其是在启动点离最小值点较远的情况下。

一位华东谈主参与

这项职责是三位数学家在普林斯顿大学时间配合完成的。

其中华东谈主Jeffrey Zhang，咫尺是耶鲁大学生物医学信息学与数据科学博士后盘考员，盘考标的包括大型言语模子、数据科学和统计学、谋划复杂性、多项式优化、博弈论和机制狡计。

此前在普林斯顿大学取得运筹学和金融工程博士学位，导师恰是同为该论文作家的Amir Ali Ahmadi栽培。

更早之前，他在 2014 年取得耶鲁大学谋划机科学和经济学与数学学士学位。

另一位作家Abraar Chaudhry亦然 Amir Ali Ahmadi 栽培的学生，现乔治亚理工学院博士后盘考员。在普林斯顿攻读博士之前，他在布朗大学读本科。

事实上，在这三位数学家出现之前，有好多半学家齐进行了尝试。

最早 19 世纪，被称为「俄罗斯数学之父」的 Pafnuty Chebyshev 建议了一种牛顿法，用三次方程（指数为 3）近似函数。

不外当原始函数触及多个变量时，他的算法就会不起作用。

自慰自拍

更近的一次，2021 年俄罗斯数学家 Yurii Nesterov 展示了奈何使用三次方程灵验地面临任何数目的变量的函数。

但他的设施无法延迟到使用四次方程、五次方程等近似函数，不然会镌汰其效力。

咫尺，3 位数学家将内斯特罗夫的收尾又推动了一步。

与牛顿法的原始版块一样，这种新算法的每次迭代在谋划上仍然比梯度下落等设施资本更高。

因此，咫尺这项新职责不会编削自动驾驶汽车、机器学习算法或空中交通治理系统的运作花样。在这些情况下，最佳的遴荐仍然是梯度下落。

宾夕法尼亚大学 Jason Altschuler 默示：许多优化理念需要破耗数年时间智商竣工付诸实验。不外这似乎是个全新的视角。

如若跟着时间的推移，运行牛顿法所需的底层谋划工夫变得愈加高效，使得每次迭代的谋划资本更低，那么 Ahmadi、Chaudhry 和 Zhang 建立的算法最终不错在包括机器学习在内的多样应用中杰出梯度下落。

合著者默示，从表面上讲，他们咫尺的算法如实更快。

论文：

https://arxiv.org/pdf/2311.06374

参考聚首：

https://www.quantamagazine.org/three-hundred-years-later-a-tool-from-isaac-newton-gets-an-update-20250324/

一键三连「点赞」「转发」「注意心」

迎接在指摘区留住你的主义！

—  完  —

终末一周！2025 年值得关心的 AIGC 企业产物 报名行将截止 � �

下一个 AI "国产之光"将会是谁？迎接报告奖项！

本次评比收尾将于 4 月 16 日中国 AIGC 产业峰会上公布。

� � 一键星标 � �

科技前沿弘扬逐日见夜夜撸2014