-
内容大纲
“PyTorch深度学习指南”丛书循序渐进地详细讲解了与深度学习相关的重要概念、算法和模型,并着重展示了PyTorch是如何实现这些算法和模型的。其共分三卷:编程基础、计算机视觉、序列与自然语言处理。
本书为该套丛书的第三卷:序列与自然语言处理。本书主要介绍了循环神经网络(RNN、GRU和LSTM)和一维卷积;Seq2Seq模型、注意力、自注意力、掩码和位置编码;Transformer、层归一化和视觉Transformer(ViT);BERT、GPT-2、单词嵌入和HuggingFace库等内容。
本书适用于对深度学习感兴趣,并希望使用PyTorch实现深度学习的Python程序员阅读学习。 -
作者介绍
-
目录
前言
致谢
关于作者
译者序
常见问题
为什么选择PyTorch?
为什么选择这套书?
谁应该读这套书?
我需要知道什么?
如何阅读这套书?
下一步是什么?
设置指南
官方资料库
环境
谷歌Colab
Binder
本地安装
继续
第8章 序列
剧透
Jupyter Notebook
导入
序列
数据生成
循环神经网络(RNN)
RNN单元
RNN层
形状
堆叠RNN
双向RNN
正方形模型
可视化模型
我们能做得更好吗?
门控循环单元(GRU)
GRU单元
GRU层
正方形模型Ⅱ——速成
模型配置和训练
可视化模型
我们能做得更好吗?
长短期记忆(LSTM)
LSTM单元
LSTM层
正方形模型Ⅲ——巫师
模型配置和训练
可视化隐藏状态
可变长度序列
填充
打包
解包(至填充)
打包(从填充)
可变长度数据集
数据准备
正方形模型Ⅳ——打包
模型配置和训练
一维卷积
形状
多特征或通道
膨胀
数据准备
模型配置和训练
可视化模型
归纳总结
固定长度数据集
可变长度数据集
选择一个合适的模型
模型配置和训练
回顾
第9章(上):序列到序列
剧透
Jupyter Notebook
导入
序列到序列
数据生成
编码器-解码器架构
编码器
解码器
编码器+解码器
数据准备
模型配置和训练
可视化预测
我们能做得更好吗?
注意力
“值”
“键”和“查询”
计算上下文向量
评分方法
注意力分数
缩放点积
注意力机制
源掩码
解码器
编码器+解码器+注意力机制
模型配置和训练
可视化预测
可视化注意力
多头注意力
第9章(下):序列到序列
剧透
自注意力
编码器
交叉注意力
解码器
编码器+解码器+自注意力机制
模型配置和训练
可视化预测
不再有序
位置编码(PE)
编码器+解码器+位置编码
模型配置和训练
可视化预测
可视化注意力
归纳总结
数据准备
模型组装
编码器+解码器+位置编码
自注意力的“层”
注意力头
模型配置和训练
回顾
第10章 转换和转出
剧透
Jupyter Notebook
导入
转换和转出
狭义注意力
分块
多头注意力
堆叠编码器和解码器
包裹“子层”
Transformer编码器
Transformer解码器
层归一化
批量与层
我们的Seq2Seq问题
投影或嵌入
Transformer
数据准备
模型配置和训练
可视化预测
PyTorch的Transformer
模型配置和训练
可视化预测
视觉Transformer
数据生成和准备
补丁
特殊分类器词元
模型
模型配置和训练
归纳总结
数据准备
模型组装
模型配置和训练
回顾
第11章 Down the Yellow Brick Rabbit Hole
剧透
Jupyter Notebook
附加设置
导入
“掉进黄砖兔子洞(Down the Yellow Brick Rabbit Hole)”
构建数据集
句子词元化
HuggingFace的数据集
加载数据集
单词词元化
词汇表
HuggingFace的词元化器
单词嵌入之前
独热(One-Hot)编码(OHE)
词袋(BoW)
语言模型
N元(N-gram)
连续词袋(CBoW)
单词嵌入
Word2Vec
什么是嵌入?
预训练的Word2Vec
全局向量(GloVe)
使用单词嵌入
模型Ⅰ——GloVE+分类器
模型Ⅱ——GloVe+Transformer
上下文单词嵌入
ELMo
BERT
文档嵌入
模型Ⅲ——预处理嵌入
BERT
词元化
输入嵌入
预训练任务
输出
模型Ⅳ——使用BERT进行分类
使用HuggingFace进行微调
序列分类(或回归)
词元化数据集
训练器
预测
管道
更多管道
GPT-2
归纳总结
数据准备
模型配置和训练
生成文本
回顾
谢谢您!
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...