对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

对源码进行了优化，增加了注释； 性能优于UFLDL网站上的minFunc函数。 希望各位大佬进行采纳！

L-BFGS-B 是 Fortran 77 例程的集合，用于解决具有变量边界约束的非线性优化问题。 非线性求解器的主要特征之一是不需要 Hessian。 我为 L-BFGS-B 求解器设计了一个接口，以便可以像 MATLAB 中的任何其他函数一样调用它。

多批次LBFGS 该代码是用于神经网络训练的革命性优化器的实现。 它的全名是“带CUDA的多批次L-BFGS优化器”。 如今，著名的机器学习框架（例如Tensorflow）通常提供“基于梯度”的优化器（GradientDescent，AdaGrad），该优化器通过计算梯度并将其应用于网络来发挥作用。 该代码为Tensorflow实现了一个经过优化的优化器，它采用了“多批L-BFGS”算法（一种基于准牛顿算法的变体），我覆盖了Tensorflow的优化器的默认实现，并定义了一种用于梯度计算的拟新方法，该方法结合了二阶信息，其执行方式比默认优化器更好。 此外，我通过介绍CUDA技术来优化此优化器。 我在GPU上分配计算步骤。 它将优化器的性能提高至少20％。

L-BFGS 代码，Matlab程序，有限内存的BFGS

pylbfgs ## usage的python实现 from lbfgs import * def new_Evaluate ( w , g , n , step ): ... def progress ( x , g , fx , xnorm , gnorm , step , n , k , ls ): ... param = lbfgs_parameters ( new_Evaluate , progress ) lb = lbfgs ( N , x , fx , param ) ret = lb . do_lbfgs () ## API class lbfgs : def __init__ ( self , n , x , ptr_fx , lbfgs_parameters ): n变量数。 x变量数组。 客户端程序可以设置优化的默认值，并通过该数组接收优化结果。 ptr

注意，正在建设中！ 使用普通STL的基本C ++ L-BFGS实现

matlab中存档算法代码L-BFGS-B 大规模约束优化软件 是用于边界约束优化的有限内存准牛顿代码，即，用于仅约束形式为l <= x <= u 。 它适用于难以获得有关Hessian矩阵的信息的问题，或适用于大型密集问题。 L-BFGS-B也可以用于不受约束的问题，在这种情况下，其执行方式与其先前的算法（Harwell例程VA15）相似。 该算法在Fortran 77中实现。 作者 理查德·伯德 相关刊物 RH Byrd，P.Lu，J.Nocedal和C.Zhu。 （1995），SIAM科学与统计计算杂志，第1卷。 16号5，第1190-1208页 C. Zhu，RH Byrd和J. Nocedal。 （1997），ACM Transactions on Mathematical Software，第一卷。 23号4，第550-560页 JL莫拉莱斯（JL Morales）和J. Nocedal。 （2011），ACM Transactions on Mathematical Software，第一卷。 38，Num。 1个 RH Byrd，J。Nocedal和RB Schnabe

L-BFGS-B的代码，是一种基于梯度的非线性优化方法。

本资源是对抗样本领域中首次提出对抗样本概念并提出使用L-BFGS攻击算法的一篇文章的代码实现，使用的语言是Pytorch语言，文件为Jupyter notebook文件，在电脑环境配置无问题的情况下，可以直接运行此代码文件，内含详细注释。