非线性最优化理论与方法 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

本书系统地介绍了非线性*化问题的有关理论与方法，主要包括一些传统理论与经典方法，如非线性*化问题的*性理论，无约束优化问题的线搜索方法、共轭梯度法、拟牛顿方法，约束优化问题的可行方法、罚函数方法和SQP方法等，同时也吸收了新近发展成熟并得到广泛应用的成果，如信赖域方法、投影方法等．

本书在编写过程中既注重基础理论的严谨性和方法的实用性，又保持内容的新颖性．该书内容丰富、系统性强，可作为运筹学专业的研究生和数学专业高年级本科生从事非线性*化研究的入门教材或参考书，也可作为相关专业科研人员的工具参考书．

第1章 引论

　1.1　化问题

　1.2 方法概述

　1.3 凸集与凸函数

　1.4 无约束优化性条件

　习题

第2章 线搜索方法与信赖域方法

2.1 精确线搜索方法

2.2 非精确线搜索方法

2.3　信赖域方法

习题

第3章 速下降法与牛顿方法

3.1　速下降法

3.2 牛顿方法

习题

第4章 共轭梯度法

4.1 线性共轭方向法

4.2线性共轭梯度法

4.3 非线性共轭梯度法

4.4共轭梯度法的收敛性

习题

第5章 拟牛顿方法

5.1 方法概述与校正公式

5.2 拟牛顿方法的全局收敛性

5.3 一般拟牛顿方法的超线性收敛性

5.4 DFP，BFGS方法的超线性收敛性

习题

第6章 小二乘问题

　6.1 线性小二乘问题

　6.2 非线性小二乘问题

　习题

第7章 约束优化性条件

　7.1 等式约束优化一阶性条件

　7.2 不等式约束优化一阶性条件

　7.3　Lagrange函数的鞍点

　7.4 凸规划性条件

　7.5 Lagrange对偶

　7.6 约束优化二阶性条件

　习题

第8章 二次规划

　8.1 模型与基本性质

　8.2 对偶理论

　8.3 等式约束二次规划的求解方法

　8.4 不等式约束二次规划的有效集方法

　习题

第9章 约束优化的可行方法

9.1　Zoutendijk可行方向法

9.2　Topkis—Veinott可行方向法

9.3 投影算子

9.4　约束优化梯度投影方法

习题

第10章 约束优化的罚函数方法

　10.1 外点罚函数方法

　10.2 内点罚函数方法

　10.3乘子罚函数方法

　习题

第11章 序N--次规划方法

11.1 SQP方法的基本形式

11.2 SQP方法的收敛性质

11.3　既约sqP方法

11.4　信赖域SQP方之

习题

参考文献

凌文华，男，中山大学公共卫生学院营养学系教授，博士生导师，国务院特殊津贴专家。现任广东省营养学会理事长。主要从事代谢性疾病的营养膳食防治研 究。主持国家科技支撑计划、国家重点基础研究发展计划、国家自然科学杰出青年基金和重点项目等多项国家级重要科研项目。获得广东省科技进步一等奖和教育部 自然科学一等奖各1项。

暂无出版社相关信息，正在全力查找中！

　　第 1 章 引 论

　　本章首先介绍了非线性化问题的理论与方法中常用的一些基本概念和基

础知识, 然后介绍了一些常见的求解方法及性能分析, 给出了凸集和凸函数的概念

和有关性质, 后给出了无约束优化问题的性条件.

　　1.1 化问题

　　在现实生活中, 经常会遇到这样一类实际问题, 要求在众多的方案中选择一个

方案. 例如, 在工程设计中, 如何选择参数使设计方案既满足设计要求, 又能降

低成本; 资源分配时, 怎样分配现有资源才能使得分配方案既满足要求, 又能获得

好的经济效益; 加工产品时, 如何搭配各种原料的比例才能既降低成本, 又能提高

产品的质量; 农田规划中, 如何安排农作物的布局, 才能使农田高产稳产, 发挥地区

优势. 这类基于现有资源使效益极大化或为实现某目标使成本化的问题称为

化问题.

　　上述问题在数学上可写成如下形式的化问题

min f(x);

s:t: x 2 -:

(1:1:1)

　　对于极大化目标函数的情形, 可通过在目标函数前添加负号等价地转化为极小化目

标函数. 因此, 这里只考虑极小化目标函数的情形.

在 (1.1.1) 式中, s.t. 是英文 subject to 的缩写; 数值函数 f : Rn ! R 称为目标

函数, 又称费用函数 (或效益函数); - μ Rn 称为可行域或决策集, 它是在极小化目

标函数的过程中对决策变量 x 取值范围的界定.

可行域有多种表述形式, 一般常用等式和不等式来定义, 即

- = fx 2 Rn j ci(x) = 0; i 2 E; ci(x) > 0; i 2 Ig:

对 i 2 E, ci(x) = 0 称为等式约束, E 称为等式约束指标集; 对 i 2 I, ci(x) > 0

称为

不等式约束, I 称为不等式约束指标集.

化问题形形色色, 对应的化模型多种多样, 人们从不同角度对其进行

分类.

(1) 根据有无约束划分. 若 - = Rn, 即 x 是自由变量, 则称 (1.1.1) 式为无约束

￠ 2 ￠ 第 1 章 引 论

优化问题; 若 - . Rn 且 - 6= Rn, 则称 (1.1.1) 式为约束优化问题.

约束优化问题和无约束优化问题在某些情形可以互相转化. 如对于 n 阶实对

称正定矩阵 A, 下述两化问题等价：

min

x2Rn

xTAx

xTx

; minfxTAx j xTx = 1g:

这两类问题在理论分析和算法设计方面有很大不同, 而且约束优化问题比无约

束优化难求解. 因此, 约束优化问题的一种求解策略是将约束优化问题转化为无约

束优化问题, 或通过一个近似的无约束优化问题求解.

(2) 根据约束函数和目标函数的线性与否划分. 若目标函数及约束函数都是线

性的, 则称 (1.1.1) 式为线性规划问题; 若目标函数与约束函数中至少有一个函数是

非线性的, 则称 (1.1.1) 式为非线性化问题. 特别地, 若目标函数是二次函数, 约

束函数是线性的, 则称 (1.1.1) 式为二次规划问题. 线性规划和二次规划问题是

化问题中简单的两类优化问题. 对这两类问题, 目前已建立起比较完善的理论和

有效的算法.

(3) 根据目标函数和可行域的凸性与否划分. 若目标函数为凸函数且可行域为

非空闭凸集, 则称 (1.1.1) 式为凸规划问题, 否则称之为非凸优化问题. 凸规划问题

的特点是其稳定点、局部值点和全局值点是一致的.

(4) 根据函数的可微性质划分. 若目标函数及约束函数都是连续可微的, 则称

(1.1.1) 式为光滑优化问题; 若目标函数与约束函数中至少有一个函数是不可微的,

称 (1.1.1) 式为非光滑优化问题. 对光滑优化问题, 可利用目标函数和约束函数的梯

度信息来估计其邻域内点的函数值信息, 从而建立起梯度型数值方法, 而对非光滑

优化问题要建立类似的求解方法, 则需要借助次梯度或光滑化等技术.

(5) 根据可行域中含有可行点的个数划分. 若可行域中含有无穷多个不可数的

点且可行域中的点连续变化, 则称 (1.1.1) 式为连续优化问题; 若可行域中含有有限

个或可数个点, 即该优化问题在由有限个点或可数个点组成的可行域中寻求

解, 则称 (1.1.1) 式为离散优化问题. 在很多情况下, 离散优化问题可行域中的点是

通过某些元素的排列组合产生的, 因此, 又称其为组合优化问题.

对离散优化问题, 根据变量的取值, 又分离出整数规划问题, 即变量只能取整

数的规划问题. 在整数规划问题中, 若变量只能取 0 和 1, 则称其为 0-1 规划问题.

在优化问题中, 如果部分变量为整数变量, 而部分变量为连续变量, 则称其为混合

整数规划问题.

对连续优化问题, 特别是光滑的连续优化问题可以利用目标函数与约束函数的

连续性质建立求解方法. 而离散优化问题则不然, 这是因为可行域中邻近两点对应

的目标函数值差别可能很大. 对于整数规划问题, 若用松弛技术将离散变量连续化,

1.1 化问题 ￠ 3 ￠

即将离散优化问题中的变量取整约束放松为取实数, 而其他约束条件不变, 那么求

解后者得到的解无论通过什么方式取整都不能保证它是原问题的解. 这

就是说, 离散优化问题一般只能用离散优化问题的方法解决. 尽管如此, 这两类优

化问题还是密切相关的, 这一方面表现在有些离散优化问题, 如 0-1 规划, 可以通

过约束条件 x(x . 1) = 0 将其化为连续优化问题; 另一方面, 连续优化问题的一些

研究方法和技术, 如对偶, 可移植到离散优化问题的求解算法中.

(6) 根据变量的确定性划分. 若优化问题 (1.1.1) 中的所有系数都是确定的, 则

称其为确定型规划问题; 若优化问题 (1.1.1) 中的某些系数具有某种不确定性, 则称

其为不确定规划问题. 常见的不确定规划问题主要有随机规划和模糊规划.

化问题还有其他一些分类. 从 1947 年线性规划的产生至今, 人们对

化问题的研究先后经历了从线性到非线性、从连续到离散、从确定到动态、随机和

模糊的发展过程. 本书主要讨论目标函数和约束函数均连续可微的确定型非线性

化问题, 并简单地称之为非线性化问题, 有时又称之非线性规划问题.

下面给出非线性化问题解的定义.

(1) 对于约束优化问题 (1.1.1), 可行域 - 中的点称为可行解或可行点.

(2) 设 x¤ 2 -. 若对任意 x 2 -, 有 f(x¤) 6 f(x); 则称 x¤ 为 (1.1.1)

式的全局

解或全局值点, 对应的目标函数值称为全局值或全局小值, 并记

x¤ = arg min

x2-

f(x);

这里, arg min 取自英文 the argument of the minimum. 若 x¤ 还满足对任意 x

2

-; x 6= x¤ 有 f(x¤)

有些优化问题没有解, 但目标函数在可行域上有下界, 那么目标函数在可

行域上的下确界称为该优化问题的值. 如二元函数 f(x) = x21

+ (1 . x1x2)2 在

R2 上的值为零, 但其只能在 x1 =

1

x2

且 x2 ! 1 时达到. 基于上述情况, 有时

把化问题 (1.1.1) 写成

infff(x) j x 2 -g:

(3) 设 x¤ 2 -. 若存在 x¤ 点的邻域 N(x¤; ±), 使对任意 x 2 N(x¤; ±) -, 有

f(x¤) 6 f(x), 则称 x¤ 为 (1.1.1) 式的局部解或局部值点. 若 x¤ 还满足对

任意 x 2 N(x¤; ±)-; x 6= x¤; 有 f(x¤)

式的严格局部

优解.

非线性化问题的研究核心是解的存在性及其结构性质、求解算法及

其性能分析. 对于一般的非线性化问题, 求解和验证其全局解是一件非常

棘手甚至是不可能的事情. 因此, 人们寄希望于求得问题的局部解. 即便如此,

由于计算误差等因素, 几乎所有的数值算法只能给出近似解.

1.2 方 法 概 述

如同一元二次方程的求根公式, 对于非线性化问题, 一个直接的想法是借

助微分学和变分法等数学工具, 通过逻辑推理和分析运算给出问题的解, 这就

是所谓的解析方法. 该方法得到的解称为解析解. 解析解精确、简洁、直观, 并有

助于问题的理论分析. 但它仅适用于特殊形式的非线性优化问题, 而且有时不实用.

如对下述二次规划问题

min

x2Rn

1

2xTAx . bTx;

当矩阵 A 对称正定时, 其解析解为 x = A.1b. 但该解析解在实际计算时不但计算

量大而且稳定性差. 所以, 在实际中, 人们选择 Guass 消元法、三角分解法或线性

共轭梯度法求解该问题.

求解非线性优化问题的第二类方法是图解法和实验法. 这类 手工作坊" 式的

方法操作简单、通俗易懂, 但效率较低, 且仅适用于变量维数很小的情况. 尽管如

此, 我国运筹学的奠基人华罗庚于 20 世纪 60 年代提出的 优选法" 在科技相对落

后的时代在我国的工农业生产中发挥了巨大作用.

求解非线性优化问题的第三类方法是形式转化法. 该方法首先利用非线性

优化问题的结构性质或性条件将其转化成有别于原问题的另一类数学问题, 然

后对后者套用现有的方法求解. 不过, 形式转化法只是找到了解决问题的一种途径,

它并非完全有效, 因为等价转化一般是需要条件的, 而且转化后的问题也并不总存

在有效算法.

求解非线性化问题的第四类方法是迭代方法. 该方法从当前的一个近似

解点, 利用目标函数和约束函数在该点的函数值或梯度信息, 通过调优产生更好的

近似解点, 直到不能改进为止. 这类算法属于数值方法. 与解析解相对应, 通过这种

方法得到的解称为数值解. 一般情况下, 它是近似解.

对于工程技术中的非线性化问题, 其求解方法以迭代形式的数值方法为

典型和常见. 这种方法大多与计算机结合, 它们不仅能够计算较复杂的非线性

化问题, 而且计算效率较高并能进行大规模计算, 因而成为非线性化问题的首

选方法. 根据迭代过程中下一迭代点的确定性, 它又分为随机搜索型方法和确定型

方法.

随机搜索型方法是一种仿生智能优化方法. 它是人们受自然界规律的启迪, 根

据其原理来模拟自然界的一些自然现象而建立的优化方法. 这类方法在计算过程

中主要利用目标函数的函数值信息, 其有效性可以借助马尔可夫链的遍历理论等概

率论和随机过程的知识来给它以数学上的描述, 并在概率意义下得到问题的全局

优解. 它适用于组合优化问题和规模较小的连续优化问题. 目前应用比较广泛的这

类方法主要有遗传方法、模拟退火方法、蚁群方法和神经网络方法等.

根据利用函数信息的程度, 确定型方法分为模式搜索方法和梯度型方法. 模式

搜索法又称为直接搜索法. 它主要根据函数值的变化规律探测目标函数的下降方

向, 并沿该方向寻求更优的点. 模式搜索法简单、直观, 它不需要计算目标函数的梯

度, 主要适用于变量较少、约束简单、目标函数结构比较复杂且梯度不易计算的非

线性化问题. 常见的主要有坐标轮换法、Hooke-Jeeves 法、Powell 共轭方向法

和单纯形调优法等. 与模式搜索法不同, 梯度型方法在计算过程中主要利用函数在

当前迭代点或已有迭代点的函数值信息、梯度信息甚至 Hesse 矩阵信息. 因此, 与

模式搜索方法相比, 梯度型方法对目标函数和约束函数的解析性质要求较高. 它一

般有快的收敛速度, 而且更容易建立算法的理论性质.

对于梯度型数值方法, 一般通过两种策略来由当前迭代点产生下一迭代点：线

搜索方法和信赖域方法. 线搜索方法是常见也是研究多的一类方法. 在算法的

每一迭代步, 首先基于目标函数在当前迭代点或已有迭代点的梯度信息, 产生一个

搜索方向, 然后沿该方向寻求一个更靠近值点的迭代点, 使目标函数值有某种

程度的下降. 当前迭代点与新迭代点之间的 距离" 称为步长. 由于这种过程执行

一次之后并不能得到目标函数的解, 所以要重复执行, 直到满足某种条件为止.

具体地, 对无约束优化问题, 线搜索方法的基本框架如下.

算法 1.2.1

步 1. 取初始点 x0 及有关参数, 令 k = 0:

步 2. 验证停机准则.

步 3. 求 xk 点的搜索方向 dk.

步 4. 计算迭代步长 .k, 使满足 f(xk + .kdk)

步 5. 产生下一迭代点, 即令 xk+1 = xk + .kdk; k = k + 1, 转步 2.

下面对该算法框架的有关问题作一说明.

对于初始点, 其选取不但会影响算法的效率, 而且当目标函数在可行域内含有

多个极值点时对终的数值结果也有较大影响. 习惯上, 取零点或分量全为 1 的点

为初始点, 或随机产生初始点. 一个理想的初始点取法是通过挖掘问题的结构性质

在值点附近取到初始点.

对于算法中的参数, 其不同取值会影响算法的计算效率. 借助理论分析可得参

数合理的取值范围, 而通过大量的数值实验可得其经验值. 如果参数能根据迭代状

况自动调整, 无疑会有好的数值效果.

对于该下降算法, 无论设置多么苛刻的条件, 都很难在有限迭代步内得到问题

的精确解. 因此, 一般选择在算法的迭代进程停滞不前时终止计算. 据此, 常用的停

机准则主要有性条件准则、点距准则和函数下降量准则. 具体来讲, 就是当优

化问题一旦近似满足某性条件, 或算法产生的迭代点进展非常缓慢 (相邻两迭

代点之间的距离很小), 或目标函数值下降非常缓慢 (相邻两迭代点的目标函数值

相差很小) 时算法就终止.

对于搜索方向, 其选取原则是要保证从当前迭代点沿该方向移动时目标函数值

有所下降. 也就是说, 搜索方向应是下降方向.

定义 1.2.1 称 d 2 Rn 为函数 f : Rn ! R 在 x 2 Rn 点的下降方向, 如果存

在 ± > 0, 使对任意的 t 2 (0; ±],

f(x + td)

对于连续可微函数 f : Rn ! R, 借助其梯度可判断一个方向是否为下降方向.

具体地, 设 x 2 Rn, 若 d 2 Rn 满足 dTrf(x)

f(x + .d) = f(x) + .rf(x)Td + o(.)

因此, d 是目标函数 f(x) 在 x 点的下降方向. 特别地, 当搜索方向取负梯度方向时,

该搜索方向为目标函数在该点函数值下降快的方向, 故称为速下降方向. 由于

搜索方向的下降性大小与其长度无关, 所以有时将搜索方向设置成单位长度.

搜索方向确定后, 需要通过线搜索, 也就是计算函数 f(xk + .dk) 关于 . > 0

的 (近似) 小值求得步长. 一般地, 该算法产生的迭代点列对应的目标函数值数

列是单调下降的, 因此线搜索方法又称为下降算法.

线搜索方法的核心是搜索方向的选取和迭代步长的计算. 但就它们对算法效率

的影响力而言, 搜索方向要大于迭代步长. 也就是说, 在线搜索过程中, 方向比速度

重要.

与线搜索方法不同, 信赖域方法是利用目标函数 f(x) 在 xk 点的信息构造二

次模型 mk(d), 使其在 xk 点附近与 f(x) 有好的近似, 然后根据该二次模型的小

值点来产生下一迭代点, 并视二次模型与目标函数的近似程度来调整信赖域半径的

大小.

具体地, 先求二次模型 mk(d) 在信赖域内的小值点 dk, 即求解子问题

min fmk(d) j d 2 Rn; kdk 6 ￠kg;

其中, ￠k > 0 为信赖域半径. 如果试探点 ^xk+1 = xk + dk 能使目标函数值有 充

在线阅读地址：非线性最优化理论与方法在线阅读

在线听书地址：非线性最优化理论与方法在线收听

在线购买地址：非线性最优化理论与方法在线购买

暂无原文赏析，正在全力查找中！

书摘插图

书籍介绍

《膳食花色苷与健康(附光盘)》是一本较为系统而又全面地阐述花色苷理化特性、食物来源及其生理保健作用的专著。本书的内容包括两篇，第一篇是花色 苷概述。主要对花色苷的天然分布、化学结构、理化性质、食物来源、提取纯化、开发利用技术及在人体中的吸收代谢情况做了叙述；第二篇是介绍花色苷的生物活 性，对花色苷的抗氧化、抗炎、调节血脂、改善胰岛素抵抗、抗突变及抗肿瘤等作用做了阐述。

《膳食花色苷与健康(附光盘)》集专业性和通俗性于一体，既可供食品和医药等领域的专业技术人员参考使用，也可作为普通读者的兴趣读物，增进其对花色苷类植物化学物的了解。