-
内容大纲
本书系统介绍自然语言处理(即自然语言理解)的经典和前沿技术内容,包括学科发展的简要背景、基础的建模方法和典型的语言处理任务。本书围绕语言模型展开并贯穿其中,包括n元语言模型、连续空间语言模型(词嵌入)以及前沿的预训练语言模型。
现代自然语言处理建立在机器学习的基础之上。无论针对传统机器学习还是针对现代深度学习,本书统一以结构化学习的脉络展开,统一阐述典型的语言处理任务的普遍性机器学习建模方式,包括词切分、序列标注以及树结构解析。同时,本书以一种统一的观点梳理机器学习和深度学习方法的要点,服务于自然语言处理任务的建模方法。最后,本书综述了经典和前沿的语言处理任务:句法分析、语义分析、阅读理解和大语言模型。以阅读理解为代表的自然语言理解任务赋予传统的学科自然语言理解新的内涵。
本书适合作为高等学校相关专业高年级本科生和研究生的自然语言理解相关课程的教材,也可供自然语言理解研究人员阅读参考。 -
作者介绍
-
目录
第1章 自然语言处理概要
1.1 自然语言处理的概念和术语
1.1.1 自然语言
1.1.2 自然语言处理与自然语言理解
1.1.3 计算语言学
1.2 自然语言处理的技术性挑战
1.3 机器翻译
1.4 语言处理层次
1.5 应用型自然语言处理:人机对话系统
1.6 自然语言处理的学术出版体系
参考文献
第2章 n元语言模型
2.1 概率论基础
2.2 语言模型用于语言生成
2.3 n元语言模型的工作方式及马尔可夫假设
2.3.1 n元机制
2.3.2 马尔可夫假设
2.4 评价指标:困惑度
2.5 n元语言模型的平滑方法
2.5.1 Laplace平滑(加一平滑)
2.5.2 Good-Turing平滑
2.5.3 Jelinek-Mercer平滑
2.5.4 Katz平滑
2.5.5 Kneser-Ney平滑
2.5.6 Pitman-Yor语言模型
2.6 非n元机制的平滑方法
2.6.1 缓存
2.6.2 跳词
2.6.3 聚类
2.7 平滑方法的经验结果
2.8 n元语言模型的建模工具
参考文献
第3章 语言编码表示
3.1 独热表示
3.2 特征函数
3.3 通用特征模板
3.4 加权的独热表示:TF-IDF
参考文献
第4章 非监督的结构化学习
4.1 自然语言处理的方法构成
4.2 简单任务:词/子词切分
4.3 切分算法
4.3.1 通用切分框架
4.3.2 全局优度最大化:Viterbi解码算法
4.3.3 局部优度最大化:贪心解码算法
4.4 优度度量
4.4.1 频率
4.4.2 邻接多样性
4.4.3 分支熵
4.4.4 描述长度增益
4.4.5 点互信息
4.4.6 学生t测试
4.5 非监督分词
4.5.1 数据集和评估指标
4.5.2 词典预处理技巧
4.5.3 性能
4.6 推广的字节对编码切分算法
参考文献
第5章 结构化学习
5.1 机器学习的粒度和语言单元
5.2 结构化学习的必要性
5.3 自然语言处理中的结构化学习任务
5.4 退化为分类任务
5.5 结构分解
5.6 共时结构分解:图模型
5.7 历时结构分解:转移模型
5.8 两类结构化分解方式的优劣
5.9 结构化学习的简化情形
参考文献
第6章 结构上的标注任务
6.1 从结构标注到序列标注
6.2 局部马尔可夫模型
6.3 全局马尔可夫模型和条件随机场
6.3.1 全局马尔可夫模型
6.3.2 马尔可夫随机场
6.3.3 条件随机场
6.4 隐马尔可夫模型
6.4.1 从马尔可夫链到隐马尔可夫模型
6.4.2 隐马尔可夫模型的基本计算任务:概率估计
6.4.3 隐马尔可夫模型的训练:参数估计
6.4.4 隐马尔可夫模型的解码:Viterbi算法
6.5 自然语言处理中的结构标注任务
6.5.1 再标注的序列标注任务
6.5.2 词性标注任务的隐马尔可夫模型实现示例
6.5.3 推广的分词建模:不等单元的结构分解
参考文献
第7章 机器学习模型
7.1 机器学习模型的要素配置
7.2 损失函数
7.3 k近邻方法
7.4 感知机
7.5 铰链损失与支持向量机
7.5.1 最大化间隔
7.5.2 惩罚项导出的软边界
7.5.3 映射到高维空间
7.5.4 核函数
7.5.5 支持向量机的训练算法
7.5.6 多类支持向量机
7.5.7 支持向量机工具包
7.5.8 支持向量机总结
7.6 交叉熵损失与最大熵模型
7.6.1 最大似然估计:对数-线性模型
7.6.2 最大熵原理
7.6.3 平滑
7.6.4 最大熵模型的工具包
7.7 从神经元学习到神经网络
参考文献
第8章 深度学习模型
8.1 表示学习
8.2 连续空间语言模型:词嵌入或词向量
8.2.1 连续空间语言模型
8.2.2 连续空间语言模型的机器学习解释
8.2.3 Word2Vec和GloVe词嵌入
8.2.4 评估词向量
8.3 神经网络的结构配置
8.3.1 神经网络的拓扑连接方式
3.3.2 激活函数
8.4 深度学习模型的训练
8.4.1 训练目标:输出表示和损失函数
8.4.2 误差反向传播算法
8.4.3 深度学习的训练管理器
8.5 编码器-解码器建模
8.6 编码器架构:循环神经网络
8.6.1 循环神经网络的BPTT训练算法
8.6.2 长短时记忆网络
8.7 编码器架构:卷积神经网络
8.7.1 卷积
8.7.2 池化
8.7.3 卷积神经网络的结构
8.8 编码器架构:Transformer
8.8.1 自注意力机制
8.8.2 Transformer网络结构
8.9 编码器比较:RNN、CNN和Transformer
8.10 序列生成的解码过程
8.11 符号主义对阵联结主义
8.12 深度学习工具包
参考文献
第9章 预训练语言模型
9.1 从表示学习到自监督学习
9.2 从n元语言模型到预训练语言模型
9.3 输入单元管理
9.4 预训练语言模型的自回归解释
9.5 以编辑操作定义自监督学习
9.6 采样与预测目标的单元选择
9.7 编码器架构
9.8 预训练语言模型方法的普适化
9.9 预训练语言模型的强化策略
9.9.1 知识增强
9.9.2 多模态预训练语言模型
9.9.3 模型优化
9.10 典型的预训练语言模型
参考文献
第10章 句法分析
10.1 句法分析概要
10.2 成分/短语句法分析
10.2.1 乔姆斯基文法层次体系
10.2.2 上下文无关文法
10.2.3 概率上下文无关文法
10.3 依存句法
10.3.1 带中心词标注的成分句法
10.3.2 依存结构
10.3.3 成分/短语结构到依存结构的转换
10.4 句法标注语料:树库
10.5 成分/短语句法分析算法
10.5.1 CYK算法
10.5.2 Earley算法
10.6 依存句法分析算法
10.6.1 基于图模型的依存句法分析
10.6.2 基于转换模型的依存句法分析
10.6.3 非投影型依存分析
10.7 句法分析的深度学习方法改进
10.8 依存分析的序列到序列建模
10.9 从容易优先分析到全局贪心分析
10.10 句法分析的经验结果
参考文献
第11章 语义角色标注
11.1 从语义分析到语义角色标注
11.2 句法分析树上的语义图
11.3 语义角色标注的规范和语料
11.4 语义角色标注的建模方式
11.5 句法特征集成:传统机器学习模型
11.6 句法编码器:深度学习模型
11.7 句法裁剪
11.8 统一建模成分和依存语义角色标注
11.9 语义角色标注中的句法角色变迁
11.10 语义角色标注的经验结果
参考文献
第12章 机器阅读理解
12.1 机器阅读理解任务的类型和评价指标
12.2 机器阅读理解的深度学习建模
12.2.1 编码器
12.2.2 解码器
12.3 对话理解
12.4 面向推理的阅读理解
12.5 常识问答
12.6 开放域问答
参考文献
第13章 大语言模型及其前沿应用
13.1 脑计划与预训练语言模型
13.2 从预训练语言模型到大语言模型
13.3 从提示学习到思维链推理
13.4 对话式大语言模型ChatGPT
13.5 知识边界
参考文献
后记
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...