欢迎访问言轻SEO博客,本网站提供SEO知识分享SEO培训、SEO教程、SEO外包以及指导,欢迎前来咨询,电话:13186598823
当前位置:首页 > SEO算法 > 正文

【SEO算法】SEO算法-bfgs优化算法

05-21 SEO算法

   【SEO算法】SEO算法-bfgs优化算法

     BFGS是一种二阶优化算法。它是一种局部搜索算法,旨在解决单个最优值的凸优化问题。最好把BFGS算法理解为属于一组算法,是牛顿优化算法(称为拟牛顿法)的扩展。

 
  牛顿法是一种利用海森矩阵的二阶优化算法。牛顿法的局限性在于需要计算Hessian矩阵的逆。这是一个计算量很大的操作,可能不稳定,具体取决于目标函数的属性。

 
  拟牛顿法是一种二阶优化算法,它利用梯度来逼近Hessian矩阵的逆,这意味着Hessian矩阵及其逆不必可用,或者对于算法的每一步都不能精确计算。

 
  拟牛顿法是非线性优化中应用最广泛的方法之一。它们被并入到很多软件库中,可以有效解决各种中小规模的问题,尤其是很难计算的Hessian的情况。

 
  BFGS算法是更新逆黑森计算的具体方法,而不是每次迭代都重新计算。它或它的扩展可能是最流行的拟牛顿算法,甚至是数值优化的二阶优化算法之一。

 
  使用Hessian(如果有的话)的好处是可以用来确定移动的方向和步长,从而改变输入参数,使目标函数最小化(或最大化)。

 
  BFGS等拟牛顿法类似于逆黑森法,然后可以用来确定其运动方向,但我们不再有步长。

 
  BFGS算法通过在选定的方向上使用线搜索来确定该方向上的移动距离,从而解决了这个问题。

 
  L-BFGS是BFGS算法的扩展,它解决了拥有大量参数的代价。通过假设在算法的前一次迭代中使用逆Hessian的简化(用于逼近),不需要存储逆矩阵的整个逼近来完成这个运算。

 
  注意表扬,收集评论是一种美德。您的支持是我们不断分享和学习知识的动力。感谢大家的支持!!

版权保护: 本文由言轻亲自撰写,转载请保留链接: https://www.yanqingseo.com/seosf/74.html