优化理论与实用算法

封面

版权页

彩插

作者简介

译者序

前言

致谢

第1章 引言

1.1 优化算法的历史

1.2 优化过程

1.3 基本优化问题

1.4 约束

1.5 极值点

1.6 局部极小值的条件

1.6.1 一元问题

1.6.2 多元问题

1.7 等高线图

1.8 概述

1.9 小结

1.10 练习

第2章 导数和梯度

2.1 导数

2.2 多维导数

2.3 数值微分

2.3.1 有限差分法

2.3.2 复数步长法

2.4 自动微分

2.4.1 前向累积

2.4.2 反向累积

2.5 小结

2.6 练习

第3章 包围

3.1 单模态

3.2 确定初始包围

3.3 斐波那契搜索

3.4 黄金分割搜索

3.5 二次拟合搜索

3.6 Shubert-Piyavskii方法

3.7 二分法

3.8 小结

3.9 练习

第4章 局部下降

4.1 下降方向迭代

4.2 线搜索

4.3 近似线搜索

4.4 信赖域方法

4.5 终止条件

4.6 小结

4.7 练习

第5章 一阶方法

5.1 梯度下降

5.2 共轭梯度

5.3 动量

5.4 Nesterov动量

5.5 Adagrad方法

5.6 RMSProp

5.7 Adadelta

5.8 Adam

5.9 超梯度下降

5.10 小结

5.11 练习

第6章 二阶方法

6.1 牛顿法

6.2 割线法

6.3 拟牛顿法

6.4 小结

6.5 练习

第7章 直接方法

7.1 循环坐标搜索

7.2 鲍威尔搜索法

7.3 胡可-吉夫斯搜索法

7.4 广义模式搜索法

7.5 尼尔德-米德单纯形法

7.6 分割矩形法

7.6.1 单变量DIRECT

7.6.2 多变量DIRECT

7.6.3 实施

7.7 小结

7.8 练习

第8章 随机方法

8.1 噪声下降

8.2 网格自适应直接搜索

8.3 模拟退火

8.4 交叉熵法

8.5 自然进化策略

8.6 自适应协方差矩阵

8.7 小结

8.8 练习

第9章 种群方法

9.1 初始化

9.2 遗传算法

9.2.1 染色体

9.2.2 初始化

9.2.3 选择

9.2.4 交叉

9.2.5 变异

9.3 微分进化

9.4 粒子群优化

9.5 萤火虫算法

9.6 布谷鸟搜索