-
内容大纲
本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用,涵盖大语言模型的广泛主题,从基础到前沿,从方法到应用,涉及从方法论到应用场景方方面面的内容。首先,本书介绍了人工智能领域的进展和趋势;其次,探讨了语言模型的基本概念和架构、Transformer、预训练目标和解码策略、上下文学习和轻量级微调、稀疏专家模型、检索增强型语言模型、对齐语言模型与人类偏好、减少偏见和有害性以及视觉语言模型等内容;最后,讨论了语言模型对环境的影响。
本书内容全面、系统性强,适合高年级本科生和研究生、博士后研究人员、讲师以及行业从业者阅读与参考。 -
作者介绍
熊涛 美国明尼苏达大学双城分校电子与计算机工程博士。曾在多家中美知名高科技公司担任高级管理职位和首席科学家,在人工智能的多个领域,包括大语言模型、图神经网络等从事研发和管理工作多年。 -
目录
第1章 大语言模型:辩论、争议与未来发展方向
1.1 新时代的曙光
1.2 LLM有意识吗
1.2.1 理解LLM的层次结构
1.2.2 意识是否需要碳基生物学
1.2.3 具身化与落地
1.2.4 世界模型
1.2.5 沟通意图
1.2.6 系统性和全面泛化
1.3 未来发展方向
1.4 小结
第2章 语言模型和分词
2.1 语言建模的挑战
2.2 统计语言建模
2.3 神经语言模型
2.4 评估语言模型
2.5 分词
2.5.1 按空格分割
2.5.2 字符分词
2.5.3 子词分词
2.5.4 无分词器
2.5.5 可学习的分词
2.6 小结
第3章 Transformer
3.1 Transformer编码器模块
3.2 编码器-解码器架构
3.3 位置嵌入
3.3.1 绝对位置编码
3.3.2 相对位置编码
3.4 更长的上下文
3.5 外部记忆
3.6 更快、更小的Transformer
3.6.1 高效注意力
3.6.2 条件计算
3.6.3 搜索高效Transformer
3.6.4 在单个GPU上一天内训练一个语言模型
3.7 推理优化
3.7.1 推测解码
3.7.2 简化Transformer
3.7.3 修剪
3.7.4 蒸馏
3.7.5 混合精度
3.7.6 高效扩展Transformer推理
3.8 小结
第4章 预训练目标和解码策略
4.1 模型架构
4.2 预训练目标
4.3 具有代表性的语言模型
4.4 解码策略
4.5 小结
第5章 上下文学习和轻量级微调
5.1 上下文学习
5.1.1 示范样本选择
5.1.2 样本排序
5.1.3 指令生成
5.1.4 思维链
5.1.5 递归提示
5.1.6 为什么ICL有效
5.1.7 评估
5.2 提示语言模型的校准
5.3 轻量级微调
5.3.1 基于添加的方法
5.3.2 基于规范的方法
5.3.3 基于重新参数化的方法
5.3.4 混合方法
5.4 小结
第6章 训练更大的模型
6.1 扩大尺度法则
6.1.1 预训练Transformer扩大尺度的启示
6.1.2 预训练和微调Transformer带来的新启示
6.1.3 k比特推理扩大尺度法则
6.1.4 挑战与机遇
6.2 涌现能力
6.3 人工智能加速器
6.4 并行
6.4.1 数据并行
6.4.2 流水线并行
6.4.3 张量模型并行
6.4.4 专家混合
6.5 混合训练和低精度训练
6.5.1 单位缩放
6.5.2 FP8与INT
6.6 其他节省内存的设计
6.7 小结
第7章 稀疏专家模型
7.1 为什么采用稀疏专家模型
7.2 路由算法
7.2.1 每个词元选择top-k个专家
7.2.2 每个专家选择top-k个词元
7.2.3 全局最优分配
7.2.4 随机路由
7.2.5 双层路由
7.2.6 针对不同预训练领域的不同专家
7.3 其他改进措施
7.3.1 加快训练速度
7.3.2 高效的MoE架构
7.3.3 生产规模部署
7.3.4 通过稀疏MoE扩展视觉语言模型
7.3.5 MoE与集成
7.4 小结
第8章 检索增强型语言模型
8.1 预训练检索增强型语言模型
8.2 词元级检索
8.3 通过高效和精简检索进行问答和多跳推理
8.4 检索增强型Transformer
8.5 检索增强型黑盒语言模型
8.6 视觉增强语言建模
8.7 小结
第9章 对齐语言模型与人类偏好
9.1 基于人类反馈进行微调
9.1.1 基于人类反馈的强化学习
9.1.2 KL散度:前向与反向
9.1.3 REINFORCE、TRPO和PPO
9.1.4 带有KL惩罚的强化学习:贝叶斯推理观点
9.1.5 通过分布控制生成进行语言模型对齐
9.1.6 通过f散度最小化统一RLHF和GDC方法
9.2 基于语言反馈进行微调
9.3 基于监督学习进行微调
9.4 基于人工智能反馈的强化学习
9.5 基于自我反馈进行迭代优化
9.6 基于人类偏好进行预训练
9.7 小结
第10章 减少偏见和有害性
10.1 偏见
10.2 有害性
10.3 偏见和有害性的检测与减少
10.3.1 基于解码的策略
10.3.2 基于提示的脱毒
10.3.3 基于数据的策略
10.3.4 基于投影和正则化的方法
10.3.5 基于风格转换的方法
10.3.6 基于强化学习的微调和基于人类偏好的预训练
10.4 小结
第11章 视觉语言模型
11.1 语言处理的多模态落地
11.2 不需要额外训练即可利用预训练模型
11.2.1 视觉引导解码策略
11.2.2 作为大语言模型提示的视觉输入
11.2.3 基于相似性搜索的多模态对齐
11.3 轻量级适配
11.3.1 锁定图像调优
11.3.2 作为(冻结)语言模型前缀的学习视觉嵌入
11.3.3 视觉-文本交叉注意力融合
11.4 图文联合训练
11.5 检索增强视觉语言模型
11.6 视觉指令调整
11.7 小结
第12章 环境影响
12.1 能源消耗和温室气体排放
12.2 估算训练模型的排放量
12.3 小结
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...