- 机器学习与数据科学中的优化算法/数学应用系列
- - 作者：(美)斯蒂芬·J.赖特//本杰明·雷希特|责编:刘锋//章承林|译者:张璐//陈畅
  - 出版社：机械工业
  - ISBN：9787111787655
  - 出版日期：2025/08/01
  - 页数：214
- 售价：31.6

内容大纲
在人工智能与大数据时代，优化算法已成为机器学习与数据科学的核心支柱。本书以独特的应用视角，将抽象的数学理论与实际工程问题紧密结合，为读者架起了一座从理论到实践的桥梁。
本书由优化领域权威学者Stephen J.Wright和Benjamin Recht撰写，旨在为读者提供一本条理清晰、系统全面的优化技术指南，尤其聚焦数据科学与机器学习领域的核心优化技术。书中详细阐述了基本优化算法，并分析了它们的收敛性和复杂度。全书共11章，第1章通过典型案例阐释优化在现代数据分析中的应用；第2～10章深入剖析多种核心算法，包括加速梯度法、随机梯度法（机器学习的核心算法）、坐标下降法（高效处理高维问题的利器）、简单约束问题的梯度法、具有非平滑项的凸优化问题的理论和算法，以及约束优化问题的对偶方法；第11章拓展至深度学习与控制领域的梯度计算方法（如自动微分、反向传播的优化视角）。
作者介绍
目录
译者序
前言
第1章  概述
  1.1  数据分析和优化
  1.2  最小二乘法
  1.3  矩阵因子分解问题
  1.4  支持向量机
  1.5  逻辑回归
  1.6  深度学习
  1.7  重点
  注释和参考
第2章  平滑优化的基础
  2.1  优化问题的解的分类
  2.2  泰勒定理
  2.3  刻画平滑函数的最小值
  2.4  凸集和函数
  2.5  强凸函数
  注释和参考
  习题
第3章  下降法
  3.1  下降方向
  3.2  最速下降法
    3.2.1  一般情况
    3.2.2  凸函数情况
    3.2.3  强凸函数情况
    3.2.4  收敛速率的比较
  3.3  下降法：收敛性
  3.4  线搜索法：方向选择
  3.5  线搜索法：步长选择
  3.6  收敛到近似的二阶必要点
  3.7  镜像下降
  3.8  KL和PL属性
  注释和参考
  习题
第4章  使用动量的梯度法
  4.1  来自微分方程的启发
  4.2  Nesterov法：凸二次方程
  4.3  强凸函数的收敛性
  4.4  弱凸函数的收敛性
  4.5  共轭梯度法
  4.6  收敛速率的下界
  注释和参考
  习题
第5章  随机梯度法
  5.1  示例与启发
    5.1.1  噪声梯度
    5.1.2  增量梯度法
    5.1.3  分类和感知器
    5.1.4  经验风险最小化
  5.2  随机性和步长：深入分析

    5.2.1  示例：计算均值
    5.2.2  随机Kaczmarz法
  5.3  收敛分析的关键假设
    5.3.1  案例1：有界梯度（Lg=0）
    5.3.2  案例2：随机Kaczmarz（B=0，Lg=0）
    5.3.3  案例3：加性高斯噪声
    5.3.4  案例4：增量梯度
  5.4  收敛分析
    5.4.1  案例1：Lg=0
    5.4.2  案例2：B=0
    5.4.3  案例3：B和Lg都非零
  5.5  实施方面的问题
    5.5.1  轮次
    5.5.2  迷你批量处理
    5.5.3  使用动量加速
  注释和参考
  习题
第6章  坐标下降法
  6.1  机器学习中的坐标下降法
  6.2  平滑凸函数的坐标下降法
    6.2.1  利普希茨常数
    6.2.2  随机坐标下降法：有放回抽样
    6.2.3  循环坐标下降法
    6.2.4  随机排列坐标下降法：无放回抽样
  6.3  块坐标下降法
  注释和参考
  习题
第7章  约束优化的一阶方法
  7.1  最优性条件
  7.2  欧几里得投影
  7.3  投影梯度算法
    7.3.1  一般情况：一种短步法
    7.3.2  一般情况：回溯法
    7.3.3  平滑强凸情形
    7.3.4  动量变体
    7.3.5  其他搜索方向
  7.4  条件梯度（Frank-Wolfe）法
  注释和参考
  习题
第8章  非平滑函数和次梯度
  8.1  次梯度和次微分
  8.2  次微分和方向导数
  8.3  次微分运算
  8.4  凸集和凸约束优化
  8.5  复合非平滑函数的最优性条件
  8.6  近端算子和莫罗包络
  注释和参考
  习题
第9章  非平滑优化方法
  9.1  次梯度下降

  9.2  次梯度法
  9.3  正则化优化的近端梯度法
  9.4  结构化非平滑函数的近端坐标下降法
  9.5  近端点法
  注释和参考
  习题
第10章  对偶性和算法
  10.1  二次惩罚函数
  10.2  拉格朗日函数和对偶性
  10.3  一阶最优性条件
  10.4  强对偶
  10.5  对偶算法
    10.5.1  对偶次梯度
    10.5.2  增广拉格朗日函数法
    10.5.3  交替方向乘数法
  10.6  对偶算法的一些应用
    10.6.1  共识优化
    10.6.2  效用最大化
    10.6.3  线性和二次规划
  注释和参考
  习题
第11章  微分和伴随
  11.1  向量函数嵌套组合的链式法则
  11.2  伴随法
  11.3  深度学习中的伴随
  11.4  自动微分
  11.5  通过拉格朗日函数和隐函数定理推导
    11.5.1  渐进式函数的约束优化公式
    11.5.2  无约束和约束公式的一般观点
    11.5.3  扩展：控制
  注释和参考
  习题
附录  一些背景信息
参考文献

内容大纲

作者介绍

目录

同类热销排行榜

推荐书目