-
-
- 深度学习(新一代信息技术人工智能战略性新兴领域十四五高等教育系列教材)
-
- 作者:编者:方勇纯//许静//张敬林//李欢//郭宪|责编:吉玲
- 出版社:机械工业
- ISBN:9787111776109
-
售价:23.92
-
内容大纲
本书主要介绍深度学习方面的基本理论和方法,包括基础性内容、提高性内容和应用三部分。其中,第一部分基础性内容是深度学习最核心的部分,具体包括深度学习基础、全连接网络、卷积神经网络、循环神经网络以及优化算法。第二部分是提高性内容,主要阐述最新发展的一些技术,可供课时充足的专业进行学习。这部分主要包括生成对抗网络与扩散模型、图神经网络、Transformer与Mamba架构以及强化学习。第三部分是应用部分,具体包括计算机视觉、自然语言处理以及大语言模型。
本书可作为普通高等院校人工智能、智能科学与技术、计算机、自动化等专业深度学习课程的教材和参考书,也可供从事深度学习等方面工作的研究生和工程技术人员参考使用。
-
作者介绍
-
目录
前言
第1章 深度学习基础
1.1 深度学习应用举例
1.1.1 ChatGPT
1.1.2 图像及视频生成
1.1.3 古卷轴破译
1.2 机器学习基础
1.2.1 机器学习简介与基本概念
1.2.2 机器学习问题分类
1.2.3 数据准备和预处理
1.2.4 构建机器学习模型
1.2.5 模型训练与评估
1.2.6 模型泛化能力
1.3 微积分基础
1.3.1 微分与导数
1.3.2 函数近似与泰勒展开
1.3.3 多元函数及其偏导数
1.3.4 复合函数及链式法则
1.4 线性代数基础
1.4.1 向量
1.4.2 矩阵
1.4.3 梯度
1.4.4 特征分解与奇异值分解
1.5 概率统计基础
1.5.1 随机变量
1.5.2 概率分布
1.5.3 期望与方差
1.5.4 条件概率与贝叶斯法则
1.5.5 极大似然估计
本章小结
思考题与习题
参考文献
第2章 全连接网络
2.1 网络结构
2.1.1 生物神经结构
2.1.2 隐藏层
2.2 激活函数
2.2.1 ReLU函数
2.2.2 SoftPlus函数
2.2.3 Sigmoid函数
2.2.4 tanh函数
2.2.5 GeLU函数
2.2.6 其他激活函数
2.3 损失函数
2.3.1 均方误差损失
2.3.2 平均绝对误差损失
2.3.3 平滑L1损失
2.3.4 交叉熵损失
2.3.5 KL散度损失
2.3.6 其他损失函数
2.4 反向传播
2.4.1 标量形式的反向传播
2.4.2 梯度消失与梯度爆炸
2.4.3 计算图
2.4.4 向量形式的反向传播
2.5 异或问题
本章小结
思考题与习题
参考文献
第3章 卷积神经网络
3.1 卷积层
3.1.1 卷积运算
3.1.2 卷积的特点
3.1.3 卷积的数学性
3.2 其他卷积类型
3.2.1 转置卷积
3.2.2 空洞卷积
3.2.3 分组卷积
3.2.4 可分离卷积
3.3 池化层
3.3.1 平均池化
3.3.2 最大池化
3.3.3 最大池化和平均池化的区别
3.3.4 PyTorch实现
3.4 卷积层与全连接层比较
3.5 经典网络结构
3.5.1 LeNet
3.5.2 AlexNet
3.5.3 VGG
3.5.4 GoogleNet
3.5.5 ResNet
3.6 卷积神经网络代码实现
本章小结
思考题与习题
参考文献
第4章 循环神经网络
4.1 序列问题
4.2 循环神经网络结构
4.2.1 隐状态
4.2.2 权值共享
4.2.3 输入与输出编码
4.2.4 深度循环网络
4.2.5 双向循环网络
4.2.6 梯度消失与爆炸
4.2.7 PyTorch实现
4.3 门控循环单元
4.3.1 GRU单元
4.3.2 PyTorch实现
4.4 长短时记忆网络
4.4.1 长短时记忆网络中的门控单元
4.4.2 LSTM的历史和相关变体
4.4.3 PyTorch实现
4.5 编码器-解码器架构
本章小结
思考题与习题
参考文献
第5章 优化算法
5.1 训练深度网络的挑战
5.1.1 凸函数与非凸函数
5.1.2 局部极小值点与鞍点
5.1.3 深度学习训练中的其他挑战
5.2 随机梯度下降
5.2.1 梯度下降
5.2.2 随机梯度下降
5.2.3 小批量SGD
5.2.4 初始化
5.2.5 学习率
5.2.6 梯度截断
5.3 动量法
5.3.1 重球法
5.3.2 指数移动平均
5.3.3 Nesterov加速法
5.3.4 PyTorch实现
5.4 自适应学习率算法
5.4.1 AdaGrad
5.4.2 RMSProp
5.4.3 Adam
5.4.4 AdamW
5.5 批量规范化和层规范化
本章小结
思考题与习题
参考文献
第6章 生成对抗网络与扩散模型
6.1 生成对抗网络
6.1.1 什么是生成对抗网络
6.1.2 生成对抗网络的应用范围
6.2 生成对抗网络的原理
6.2.1 生成模型
6.2.2 判别模型
6.2.3 训练过程
6.3 生成对抗网络的可视化与实践
6.3.1 生成对抗网络训练过程可视化
6.3.2 生成对抗网络的衍生结构
6.4 扩散模型
6.4.1 什么是扩散模型
6.4.2 扩散模型的使用范围
6.5 扩散模型的原理
6.5.1 扩散模型的基础
6.5.2 扩散模型的核心思想
6.5.3 扩散模型的数学原理
6.6 生成对抗网络与扩散模型的结合
6.6.1 结合的优势
6.6.2 结合的改进策略
6.6.3 扩散模型与AIGC应用
本章小结
思考题与习题
参考文献
第7章 图神经网络
7.1 图嵌入向量
7.1.1 节点嵌入
7.1.2 边嵌入
7.1.3 图嵌入
7.1.4 图嵌入方法
7.2 图生成模型
7.2.1 一种图生成网络IDGL
7.2.2 GAN在图上的应用
7.2.3 基于VAE的图生成模型(GraphVAE)
7.2.4 基于GAN的图生成模型(GraphGAN)
7.3 图神经网络方法
7.3.1 图卷积神经网络
7.3.2 图注意力网络
7.3.3 动态图神经网络
7.3.4 异构图神经网络
7.3.5 大规模图神经网络训练策略
7.4 图神经网络设计——以GCN为例
7.4.1 模型构建
7.4.2 基于PyTorch的GCN模型实现
7.4.3 网络训练
7.5 典型应用举例
7.5.1 图神经网络用于节点分类
7.5.2 图神经网络用于链接预测
7.5.3 图神经网络用于图分类
7.5.4 图神经网络在推荐系统中的应用
7.5.5 图神经网络在交通预测中的应用
7.5.6 图神经网络在计算化学和药物发现中的应用
7.5.7 图神经网络在社交网络分析中的应用
本章小结
思考题与习题
参考文献
第8章 Transformer与Mamba架构
8.1 自注意力机制
8.1.1 自注意力机制的定义
8.1.2 自注意力机制的数学逻辑
8.1.3 多头自注意力
8.2 Transformer
8.2.1 定义与原理
8.2.2 模型结构
8.2.3 架构分析
8.3 Vision Transformer
8.3.1 定义与原理
8.3.2 模型结构
8.3.3 架构分析
8.4 Mamba架构
8.4.1 定义与原理
8.4.2 模型结构
8.4.3 架构分析
8.5 Vision Mamba
8.6 性能对比
8.6.1 Transformer性能分析
8.6.2 Mamba架构性能分析
8.6.3 对比与展望
本章小结
思考题与习题
参考文献
第9章 强化学习
9.1 有限马尔可夫决策过程
9.1.1 形式化定义
9.1.2 策略与值函数
9.1.3 最优策略与最优值函数
9.2 深度值函数强化学习
9.2.1 Q学习算法
9.2.2 深度Q网络
9.2.3 DQN的改进算法
9.3 直接策略搜索方法
9.3.1 策略梯度算法
9.3.2 近端策略优化算法
9.3.3 深度确定性策略梯度算法
9.4 多智能体强化学习
9.4.1 多智能体系统的挑战性
9.4.2 MADDPG算法
9.4.3 值分解强化学习算法
9.4.4 MAPPO算法
9.5 典型应用举例
9.5.1 可控核聚变
9.5.2 AlphaGo系列机器人
9.5.3 AlphaStar
本章小结
思考题与习题
参考文献
第10章 计算机视觉
10.1 概述
10.2 图像分类
10.2.1 基本概念
10.2.2 图像分类基本方法
10.2.3 应用场景
10.2.4 发展趋势
10.3 目标检测
10.3.1 基本概念
10.3.2 常用数据集
10.3.3 R-CNN系列模型
10.3.4 YOLO系列模型
10.3.5 评价指标
10.3.6 应用场景
10.3.7 发展趋势
10.4 语义分割
10.4.1 基本概念
10.4.2 常用数据集
10.4.3 经典语义分割模型
10.4.4 评价指标
10.4.5 应用场景
10.4.6 发展趋势
本章小结
思考题与习题
参考文献
第11章 自然语言处理
11.1 概述
11.2 NLP问题简介
11.2.1 自然语言理解
11.2.2 自然语言生成
11.3 词嵌入
11.3.1 预训练
11.3.2 Word2Vec
11.3.3 负采样
11.4 情感分析
11.4.1 情感分析及数据预处理
11.4.2 使用循环神经网络
11.4.3 使用卷积神经网络
11.4.4 使用Transformer
11.5 NLP应用——聊天机器人
11.5.1 问答系统简介
11.5.2 基于大语言模型的聊天机器人实践
本章小结
思考题与习题
参考文献
第12章 大语言模型
12.1 BERT模型
12.1.1 BERT模型架构
12.1.2 BERT预训练技术
12.1.3 用BERT表示文本
12.2 GPT模型
12.2.1 GPT模型架构
12.2.2 GPT预训练
12.2.3 GPT1到GPT4的联系与区别
12.3 大语言模型微调方法
12.3.1 提示词调优
12.3.2 前缀调优
12.3.3 LoRA
12.3.4 适配器调优
12.4 多模态语言大模型
12.4.1 模型架构
12.4.2 多模态大模型训练
12.4.3 多模态语言大模型实例
12.5 大语言模型驱动的智能体系统
12.5.1 AI Agent架构
12.5.2 推理关键技术
12.5.3 智能系统实例
本章小结
思考题与习题
参考文献