-
内容大纲
本书针对当前火热且应用前景广阔的自然语言处理(NLP),介绍了深度学习的技术原理及其在自然语言处理中的应用;简要分析了该领域各个应用方向上的相关模型和关键技术,包括Transformer、BERT、GPT,等等;汇集了众多论文中的重要思想和研究成果;系统梳理了技术发展脉络。此外,本书还介绍了如何使用深度学习技术来训练模型,并分析了其在应用中的表现及优化手段,以帮助读者更好地将理论应用于实践。本书内容通俗易懂,可作为入门自然语言处理的参考书。
本书适合对深度学习以及自然语言处理感兴趣的人士阅读。 -
作者介绍
张镭,目前在Meta公司从事机器学习算法研发。美国伊利诺伊大学芝加哥分校计算机科学博士,主要研究领域为自然语言处理、机器学习和数据挖掘。在国内外学术期刊和会议上已发表20多篇学术文章,获得多项美国专利,合著有MiningText Data等4本关于文本数据挖掘和大数据计算的图书,并长期受邀担任自然语言处理国际期刊评委和国际会议程序委员会委员。 -
目录
第1章 绪论
1.1 机器学习简介
1.1.1 机器学习的发展历程
1.1.2 机器学习的算法分类
1.2 深度学习简介
1.3 自然语言处理简介
1.3.1 自然语言处理的发展历程
1.3.2 自然语言处理的研究方向
1.3.3 自然语言理解的主要任务
1.3.4 自然语言生成的任务
1.3.5 自然语言处理面临的挑战
1.4 自然语言处理与机器学习和深度学习
第2章 深度学习基础
2.1 前馈神经网络
2.2 卷积神经网络
2.3 循环神经网络
2.4 长短期记忆网络
2.5 记忆网络和神经图灵机
2.6 图神经网络
2.7 深度生成模型
2.7.1 自编码器和变分自编码器
2.7.2 生成对抗网络
2.8 Transformer
2.8.1 Transformer的编码模块
2.8.2 Transformer的解码模块
第3章 词表征
3.1 语言模型
3.2 基于矩阵的词分布表征模型
3.2.1 潜在语义分析
3.2.2 GloVe
3.3 基于聚类的词分布表征模型
3.4 基于神经网络的词分布表征模型
3.4.1 NNLM
3.4.2 RNNLM
3.4.3 Collobert-Weston模型
3.4.4 Word2Vec
3.4.5 ELMo
3.4.6 ULMFit
3.4.7 GPT
3.4.8 BERT
3.4.9 T5
3.5 跨语言的词嵌入模型
3.5.1 基于词对齐
3.5.2 基于预训练的方法
3.6 其他表征
第4章 注意力机制
4.1 注意力机制的由来
4.2 注意力机制的扩展
4.2.1 全局注意力和局部注意力
4.2.2 自注意力
4.3 NTM和MemNN的注意力机制
4.3.1 NTM的注意力机制
4.3.2 MemN2N的注意力机制
4.4 指针网络的注意力机制
第5章 迁移学习
5.1 迁移学习的定义和分类
5.2 领域自适应
5.2.1 基于样本的迁移学习
5.2.2 基于特征映射的迁移学习
5.2.3 基于对抗的深度迁移学习
5.3 多任务学习
5.4 序列迁移学习
5.4.1 预训练语言模型
5.4.2 微调
5.5 跨语言的迁移学习
第6章 强化学习
6.1 强化学习的定义
6.1.1 马尔可夫决策过程
6.1.2 强化学习的模型
6.1.3 智能体的策略
6.1.4 价值函数
6.2 贝尔曼方程
6.3 强化学习的分类
6.3.1 有模型学习
6.3.2 免模型学习
6.3.3 基于值函数和基于策略函数的学习
6.4 深度强化学习
6.5 深度强化学习在NLP中的应用
第7章 机器翻译
7.1 机器翻译的发展历程
7.2 神经机器翻译
7.3 基于RNN的Seq2Seq模型
7.4 基于CNN的Seq2Seq模型
7.5 神经机器翻译的策略
7.5.1 解码策略
7.5.2 估计softmax函数计算
7.5.3 缩小词典
7.5.4 处理生僻词和未知词
7.6 机器翻译的评价方法
7.6.1 人工评价
7.6.2 下游系统评价
7.6.3 BLEU
第8章 文本摘要
8.1 抽取式摘要
8.1.1 传统机器学习方法
8.1.2 深度学习方法
8.2 生成式摘要
8.2.1 传统机器学习方法
8.2.2 深度学习方法
8.3 文本摘要的评价
第9章 自动问答
9.1 基于检索的自动问答
9.1.1 文本检索模块
9.1.2 文本理解模块
9.2 基于知识库的自动问答
9.3 基于社区的自动问答
9.3.1 专家推荐
9.3.2 相似问题检索
9.3.3 答案质量评估
9.4 深度自动问答系统
9.4.1 抽取式机器阅读理解
9.4.2 生成式机器阅读理解
9.5 自动问答系统的评价
第10章 对话系统
10.1 面向任务的对话系统
10.1.1 自然语言理解
10.1.2 对话管理
10.1.3 自然语言生成
10.2 开放域对话系统
10.2.1 检索式方法
10.2.2 生成式方法
10.2.3 混合方法
10.2.4 开放域对话系统的关键问题
10.3 对话系统的评测
第11章 情感分析
11.1 情感分析的分类
11.1.1 文档级情感分析
11.1.2 句子级情感分析
11.1.3 方面级情感分析
11.1.4 监督学习和基于词典的方法比较
11.2 方面和实体提取
11.2.1 挖掘频繁出现的名词短语
11.2.2 利用情感词与目标词之间的语法关系
11.2.3 应用监督学习模型
11.2.4 使用主题模型
11.3 情感词典
11.3.1 基于词典的方法
11.3.2 基于语料库的方法
11.4 多模态情感分析
第12章 ChatGPT
12.1 大型语言模型
12.1.1 语言模型的演化
12.1.2 大型语言模型的最优训练
12.1.3 语境学习
12.1.4 提示工程
12.2 基于人工反馈的强化学习方法
12.3 生成ChatGPT
12.3.1 步骤1:微调GPT-3.5
12.3.2 步骤2:训练奖励模型
12.3.3 步骤3:利用强化学习微调ChatGPT
12.4 ChatGPT的发展
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...