[
-
内容大纲
本书重点突出深度强化学习理论的基本概念、前沿基础理论和Python应用实现。首先介绍马尔可夫决策、基于模型的算法、无模型方法、动态规划、蒙特卡洛和函数逼近等基础知识；然后详细阐述强化学习、深度强化学习、多智能体强化学习等算法，及其Python应用实现。本书既阐述奖励、价值函数、模型和策略等重要概念和基础知识，又介绍深度强化学习理论的前沿研究和热点方向。本书英文版出版之后，广受好评，已成为深度强化学习领域畅销教材，也可为人工智能和机器学习等领域的科研工作者、技术工程师提供参考。 -
作者介绍
Nimish Sanghi（尼米什·桑吉），一位充满激情的技术领导者，专注于使用技术解决客户问题，在软件和咨询领域拥有超过25年的工作经验，拥有人工智能和深度学习的多项证书，获得印度理工学院电气工程学士学位、印度管理学院工商管理硕士学位。曾在普华永道、IBM和Oracle等公司担任领导职务，负责盈亏管理。2006年，在SOAIS公司开启软件咨询创业之旅，为《财富》100强的众多公司提供自动化和数字化转型服务，实现从本地应用到云计算的转型。人工智能和自动化驱动的初创公司领域的天使投资人，联合创立面向印度市场的SaaS人力资源和薪资Paybooks平台，联合创立提供人工智能驱动的工作流ZipperAgent自动化平台和视频营销ZipperHQ自动化平台（总部位于波士顿的初创公司），现任这两个平台的首席技术官和首席数据科学家。 -
目录
第1章 强化学习导论
1.1 强化学习概述
1.2 机器学习分类
1.2.1 监督学习
1.2.2 无监督学习
1.2.3 强化学习
1.2.4 核心元素
1.3 基于强化学习的深度学习
1.4 实例和案例研究
1.4.1 自动驾驶汽车
1.4.2 机器人
1.4.3 推荐系统
1.4.4 金融和贸易
1.4.5 医疗保健
1.4.6 游戏
1.5 库与环境设置
1.6 总结
第2章 马尔可夫决策
2.1 强化学习的定义
2.2 智能体和环境
2.3 奖励
2.4 马尔可夫过程
2.4.1 马尔可夫链
2.4.2 马尔可夫奖励过程
2.4.3 马尔可夫决策过程
2.5 策略和价值函数
2.6 贝尔曼方程
2.6.1 贝尔曼最优方程
2.6.2 解决方法类型的思维导图
2.7 总结
第3章 基于模型的算法
3.1 OpenAI Gym
3.2 动态规划
3.3 策略评估/预测
3.4 策略改进和迭代
3.5 价值迭代
3.6 广义策略迭代
3.7 异步回溯
3.8 总结
第4章 无模型方法
4.1 蒙特卡洛估计/预测
4.2 蒙特卡洛控制
4.3 离线策略MC控制
4.4 TD学习方法
4.5 TD控制
4.6 在线策略SARSA
4.7 Q-学习： 离线策略TD控制
4.8 最大偏差和双重学习
4.9 期望SARSA控制
4.10 回放池和离线策略学习
4.11 连续状态空间的Q-学习
4.12 n-步回报
4.13 资格迹和TD（λ）
4.14 DP、MC和TD之间的关系
4.15 总结
第5章 函数逼近
5.1 概述
5.2 逼近理论
5.2.1 粗编码
5.2.2 瓦片编码
5.2.3 逼近中的挑战
5.3 增量预测： MC、TD和TD（λ）
5.4 增量控制
5.4.1 n-步半梯度SARSA控制
5.4.2 半梯度SARSA（λ）控制
5.5 函数逼近的收敛性
5.6 梯度时序差分学习
5.7 批处理方法
5.8 线性最小二乘法
5.9 深度学习库
5.10 总结
第6章 深度Q-学习
6.1 DQN
6.2 优先回放
6.3 双Q-学习
6.4 竞争DQN
6.5 噪声网DQN
6.6 C
6.7 分位数回归DQN
6.8 事后经验回放
6.9 总结
第7章 策略梯度算法
7.1 引言
7.1.1 基于策略的方法的利弊
7.1.2 策略表征
7.2 策略梯度推导
7.2.1 目标函数
7.2.2 导数更新规则
7.2.3 更新规则的运算原理
7.3 强化算法
7.3.1 带奖励因子的方差减少
7.3.2 进一步减少基线差异
7.4 演员-评论家方法
7.4.1 定义优势
7.4.2 优势演员-评论家
7.4.3 A2C算法的实现
7.4.4 异步优势演员-评论家
7.5 信赖域策略优化算法
7.6 近似策略优化算法
7.7 总结
第8章 结合策略梯度和Q-学习
8.1 策略梯度与Q-学习的权衡
8.2 结合策略梯度与Q-学习的一般框架
8.3 深度确定性策略梯度
8.3.1 Q-学习在DDPG中的应用（评论家）
8.3.2 DDPG中的策略学习（演员）
8.3.3 伪代码和实现
8.3.4 代码实现
8.4 双延迟DDPG
8.4.1 目标-策略平滑
8.4.2 Q-损失（评论家）
8.4.3 策略损失（演员）
8.4.4 延迟更新
8.4.5 伪代码和实现
8.4.6 代码实现
8.5 重参数化技巧
8.5.1 分数/强化方法
8.5.2 重参数化技巧与路径导数
8.5.3 实验
8.6 熵解释
8.7 软演员-评论家
8.7.1 SAC与TD
8.7.2 熵-正则化下的Q-损失
8.7.3 具有重参数技巧的策略损失
8.7.4 伪代码及其实现
8.7.5 代码实现
8.8 总结
第9章 综合规划与学习
9.1 基于模型的强化学习
9.1.1 使用学习的模型进行规划
9.1.2 集成学习与规划
9.1.3 Dyna Q和变化的环境
9.1.4 Dyna Q+
9.1.5 期望与示例更新
9.2 探索vs利用
9.2.1 多臂强盗
9.2.2 后悔值： 探索质量的衡量标准
9.3 决策时间规划和蒙特卡洛树搜索
9.4 AlphaGo模拟实验
9.5 总结
第10章 进一步的探索与后续工作
10.1 基于模型的强化学习其他方法
10.1.1 世界模型
10.1.2 想象力增强智能体
10.1.3 基于模型的强化学习和无模型微调
10.1.4 基于模型的价值扩展
10.2 模仿学习和逆强化学习
10.3 无导数方法
10.4 迁移学习和多任务学习
10.5 元学习
10.6 流行的强化学习库
10.7 如何继续学习
10.8 总结
术语
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...