[
-
内容大纲
本书总结了以神经网络为代表的现代自然语言生成的基本思想、模型和框架。本书共12章，首先介绍了自然语言生成的研究背景、从统计语言模型到神经网络语言建模的过程，以及自然语言建模的思想与技术演化过程；其次从基础模型角度介绍了基于循环神经网络、基于Transfomer的语言生成模型，从优化方法角度介绍了基于变分自编码器、基于生成式对抗网络的语言生成模型，从生成方式角度介绍了非自回归语言生成的基本模型和框架；然后介绍了融合规划的自然语言生成、融合知识的自然语言生成、常见的自然语言生成任务和数据资源，以及自然语言生成的评价方法；最后总结了本书的写作思路及对自然语言生成领域未来发展趋势的展望。
本书可作为高等院校计算机科学与技术、人工智能、大数据等相关专业高年级本科生、研究生相关课程的教材，也适合从事自然语言处理研究、应用实践的科研人员和工程技术人员参考。 -
作者介绍
黄民烈，博士，清华大学计算机科学与技术系长聘副教授。主要研究兴趣包括人工智能、自然语言处理，尤其是对话系统、语言生成。曾获中国人工智能学会吴文俊人工智能科技进步奖一等奖（排名第一）、中文信息学会汉王青年创新奖，多次在国际主流会议获得最佳或杰出论文奖。研发对话系统平台ConvLab和ConvLab-2，获得NTCIR 2017年组织的短文本对话生成评测冠军。担任神经领域顶级期刊TNNLS（SCI一区，影响因子>11）编委，自然语言处理领域顶级期刊TACL执行编辑，多次担任自然语言处理顶级会议ACL、EMNLP的领域主席或资深领域主席。 -
目录
第1章 自然语言生成的研究背景
1.1 自然语言生成的背景概述
1.2 基本定义与研究范畴
1.3 自然语言生成与自然语言理解
1.4 传统的模块化生成框架
1.5 端到端的自然语言生成框架
1.6 典型的自然语言生成任务
1.7 自然语言生成的可控性
1.8 本书结构
第2章 从统计语言模型到神经网络语言建模
2.1 统计语言模型
2.1.1 基本原理
2.1.2 平滑技术
2.1.3 语言模型评价
2.1.4 统计语言模型的缺点
2.2 神经网络语言模型
2.2.1 前馈神经网络语言模型
2.2.2 基于循环神经网络的神经语言模型
2.2.3 基于Transformer的神经语言模型
2.3 静态词向量模型
2.3.1 分布假设与分布式表示
2.3.2 词向量模型CBOW和Skip-gram
2.3.3 词向量模型训练优化：负采样
2.3.4 词向量模型训练优化：层次化softmax
2.3.5 静态词向量的缺陷
2.4 语境化语言表示模型
2.4.1 ELMo
2.4.2 BERT
2.4.3 XLNet
2.5 本章小结
第3章 基于RNN的语言生成模型
3.1 RNN的基本原理
3.2 RNN的训练算法
3.3 长短期记忆神经网络与门控循环单元
3.4 RNN的架构设计
3.4.1 多层RNN
3.4.2 双向RNN
3.5 基于RNN的语言模型
3.5.1 模型结构
3.5.2 主要问题
3.5.3 模型改进
3.6 序列到序列模型
3.6.1 基本原理
3.6.2 模型结构
3.6.3 注意力机制
3.7 解码器的解码方法
3.7.1 基于搜索的解码方法
3.7.2 基于采样的解码方法
3.8 序列到序列模型存在的问题
3.9 本章小结
第4章 基于Transformer的语言生成模型
4.1 Transformer模型的基本原理
4.1.1 多头注意力机制
4.1.2 Transformer基本单元
4.2 基于Transformer的编码器——解码器结构
4.2.1 基本原理
4.2.2 位置编码模块
4.2.3 Transformer编码器
4.2.4 Transformer解码器
4.3 Transformer模型与RNN模型的比较
4.4 Transformer模型问题与解决方案
4.4.1 长距离依赖问题
4.4.2 运算复杂度问题
4.5 基于Transformer的预训练语言生成模型
4.5.1 GPT模型
4.5.2 GPT-2和GPT-3
4.5.3 GPT模型的扩展
4.6 本章小结
第5章 基于变分自编码器的语言生成模型
5.1 自编码器
5.2 变分自编码器
5.3 条件变分自编码器
5.4 解码器设计
5.5 变分自编码器在语言生成
任务上的应用实例
5.5.1 含类别约束的条件变分自编码器模型
5.5.2 含隐变量序列的条件变分自编码器模型
5.6 主要问题及解决方案
5.6.1 隐变量消失
5.6.2 可解释性增强
5.7 本章小结
第6章 基于生成式对抗网络的语言生成模型
6.1 生成式对抗网络的背景
6.2 生成式对抗网络的基本原理
6.3 生成式对抗网络的基本结构
6.4 生成式对抗网络的优化问题
6.4.1 使用强化学习方法训练生成式对抗网络
6.4.2 使用近似方法训练生成式对抗网络
6.5 生成式对抗模型在文本与图像中的区别
6.6 生成式对抗网络的应用
6.6.1 对话生成
6.6.2 无监督的风格迁移
6.7 本章小结
第7章 非自回归语言生成
7.1 基本原理
7.1.1 适用场景的问题定义
7.1.2 自回归模型和非自回归模型
7.1.3 模型结构
7.2 非自回归模型的挑战
7.2.1 一对多问题
7.2.2 内部依赖问题
7.3 非自回归模型的改进
7.3.1 网络结构的改进
7.3.2 模型理论的改进
7.3.3 后处理的方法
7.3.4 半自回归方法
7.4 应用与拓展
7.5 本章小结
第8章 融合规划的自然语言生成
8.1 数据到文本生成任务中的规划
8.1.1 数据到文本生成任务的定义
8.1.2 传统的模块化方法
8.1.3 神经网络方法
8.2 故事生成任务中的规划
8.2.1 故事生成任务的定义
8.2.2 传统方法
8.2.3 神经网络方法
8.3 本章小结
第9章 融合知识的自然语言生成
9.1 引入知识的动机
9.2 引入知识面临的挑战
9.3 知识的编码与表示
9.3.1 结构化知识表示
9.3.2 非结构化知识表示
9.4 融合知识的解码方法
9.4.1 拷贝网络
9.4.2 生成式预训练
9.5 应用实例
9.5.1 基于多跳常识推理的语言生成
9.5.2 故事生成
9.6 发展趋势
9.6.1 语言模型与知识的融合
9.6.2 预训练模型与知识的融合
9.7 本章小结
第10章 常见的自然语言生成任务和数据资源
10.1 机器翻译
10.1.1 常规机器翻译
10.1.2 低资源机器翻译
10.1.3 无监督机器翻译
10.2 生成式文本摘要
10.2.1 短文本摘要
10.2.2 长文本摘要
10.2.3 多文档摘要
10.2.4 跨语言文本摘要
10.2.5 对话摘要
10.2.6 细粒度文本摘要
10.3 意义到文本生成
10.3.1 抽象语义表示到文本生成
10.3.2 逻辑表达式到文本生成
10.4 数据到文本生成
10.5 故事生成
10.5.1 条件故事生成
10.5.2 故事结局生成
10.5.3 故事补全
10.5.4 反事实故事生成
10.6 对话生成
10.6.1 常规对话生成
10.6.2 知识导引的对话生成
10.6.3 个性化对话生成
10.6.4 情感对话生成
10.7 多模态语言生成
10.7.1 图像描述生成
10.7.2 视频描述生成
10.7.3 视觉故事生成
10.7.4 视觉对话
10.8 无约束语言生成
10.9 本章小结
第11章 自然语言生成的评价方法
11.1 语言生成评价的角度
11.2 人工评价
11.2.1 人工评价的分类
11.2.2 标注一致性
11.2.3 人工评价的问题与挑战
11.3 自动评价
11.3.1 无需学习的自动评价方法
11.3.2 可学习的自动评价方法
11.4 自动评价与人工评价的结合
11.5 自动评价与人工评价的统计相关性
11.5.1 Pearson相关系数
11.5.2 Spearman相关系数
11.5.3 Kendall相关系数
11.5.4 相关系数的显著性
11.6 本章小结
第12章 自然语言生成的趋势展望
12.1 现状分析
12.2 趋势展望
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...