-
内容大纲
本书是一本系统介绍大语言模型原理、训练及应用的书,共7章,主要内容包括:认识大语言模型、大语言模型训练、GPU池化——构建大语言模型算力基础、GPT的优化与编排、GPT应用开发实践、Copilot应用开发实践、语言模型小型化及在边缘端的部署。本书详尽阐述了大语言模型的起源、定义及其与传统深度学习方法间的关键差异,深入探讨了主流训练框架如何为大语言模型提供动力,并介绍了优化策略以及高效建立算力基础设施所要考虑的因素。内容涵盖从基础概念介绍到复杂系统编排,再到具体行业应用与开发等多个层面。
本书适合从事大语言模型开发及应用的读者参考,无论初学者还是经验丰富的实践者,都能从本书中学到实用的知识和技能。 -
作者介绍
-
目录
推荐序
前言
第1章 认识大语言模型
1.1 大语言模型概述
1.1.1 AI技术的发展
1.1.2 生成式AI、NLP、GPT的关系
1.1.3 大语言模型的发展
1.2 大语言模型的训练
1.2.1 预训练
1.2.2 微调
1.2.3 人类反馈强化学习
1.3 大语言模型的核心应用场景
1.3.1 内容创作
1.3.2 摘要生成
1.3.3 语义检索
1.3.4 代码生成
1.4 大语言模型的多模态场景
1.4.1 文生图
1.4.2 图片与视频理解
1.4.3 语音转文字
1.4.4 大语言模型与数字人/虚拟人的集成
1.4.5 视频生成
1.5 大语言模型的现状和未来
1.6 本章小结
第2章 大语言模型训练
2.1 Transformer网络架构
2.1.1 传统Transformer架构
2.1.2 Casual-decoder架构
2.1.3 Transformer Embedding和位置编码
2.1.4 Attention层和Attention机制
2.1.5 FFN/MLP网络
2.2 模型参数量与计算量评估
2.2.1 算力资源计算方法
2.2.2 显存资源计算方法
2.3 分布式训练介绍
2.3.1 通信原语
2.3.2 数据并行
2.3.3 模型并行
2.3.4 DeepSpeed Zero优化
2.4 如何训练大语言模型
2.4.1 预训练
2.4.2 微调
2.4.3 RLHF/RLAIF
2.5 Casual-decoder 大语言模型训练案例
2.5.1 预训练
2.5.2 DPO
2.6 本章小结
第3章 GPU池化——构建大语言模型算力基础
3.1 GPU池化建设目标
3.2 GPU与网卡的选择
3.2.1 GPU的选择
3.2.2 RDMA网络
3.3 基础架构环境的验证
3.3.1 Perftest测试网卡
3.3.2 NCCL测试性能
3.4 分布式训练与推理
3.4.1 训练环境选择
3.4.2 Azure GPU VM的创建
3.4.3 训练框架的选择
3.4.4 在Azure GPU VM中安装驱动
3.4.5 使用NeMo训练文本分类模型
3.4.6 使用DeepSpeed-Chat训练OPT
3.4.7 使用DeepSpeed-Training训练Stable Diffusion
3.4.8 深度学习推理环境搭建
3.5 本章小结
第4章 GPT的优化与编排
4.1 GPT的优化
4.1.1 提示工程
4.1.2 GPT微调
4.1.3 基于Azure OpenAI实现RAG
4.1.4 实现开源RAG
4.1.5 基于Assistants API实现AI助手
4.1.6 通过流程工程自动生成代码
4.2 GPT的调度与编排
4.2.1 大语言模型主流编排工具
4.2.2 基于AutoGen调度开源模型实现AI助手
4.3 本章小结
第5章 GPT应用开发实践
5.1 GPT的典型应用场景
5.2 基于RAG构建知识库
5.2.1 RAG的主要优势
5.2.2 RAG的主要工作方式
5.2.3 实现RAG的常用框架
5.2.4 RAG开发示例
5.3 基于ChatGPT优化电商商品详情页
5.3.1 电商商品详情页优化概述
5.3.2 亚马逊电商商品详情页概述
5.3.3 数据的准备
5.3.4 标题的优化
5.3.5 商品要点的优化
5.3.6 结果验证
5.4 基于开源框架搭建智能体应用
5.4.1 智能体的概念
5.4.2 AutoAgents框架
5.4.3 MetaGPT 框架
5.4.4 AutoGen 框架
5.4.5 基于AutoGen 实现智能体应用
5.5 本章小结
第6章 Copilot应用开发实践
6.1 Copilot概述
6.2 Copilot的应用
6.2.1 网络协助工具
6.2.2 生产力协助工具
6.2.3 创意协助工具
6.2.4 日常协助工具
6.2.5 低代码/无代码开发协助工具
6.3 开发一个Copilot
6.3.1 Copilot的架构
6.3.2 Copilot开发示例
6.4 GitHub Copilot辅助编程
6.4.1 GitHub Copilot的功能
6.4.2 GitHub Copilot的配置与验证
6.5 垂直领域的Copilot
6.5.1 索菲亚项目介绍
6.5.2 索菲亚项目效果展示
6.6 本章小结
第7章 语言模型小型化及在边缘端的部署
7.1 语言模型小型化的关键因素
7.1.1 基础模型的选取
7.1.2 模型量化的方法
7.1.3 BitsandBytes和GPTQ量化对比
7.1.4 GPTQ 和AWQ量化对比
7.1.5 模型的微调
7.1.6 推理模型的选择
7.1.7 使用TGI运行GPTQ量化后的模型
7.1.8 使用vLLM进行量化推理优化
7.1.9 使用ExLlamaV2对LLaMA-2进行量化推理优化
7.1.10 使用llama.cpp进行量化推理优化
7.2 小语言模型Phi
7.2.1 Phi-2的执行模式和内存消耗
7.2.2 Phi-2的微调
7.2.3 Phi-3的量化与推理验证
7.3 Mistral AI模型
7.3.1 Mixtral 8x7B的性能数据
7.3.2 Mixtral 8x7B的架构
7.3.3 Mixtral 8x7B的Q-LoRA微调
7.3.4 基于Mistral 7B实现聊天机器人
7.4 本章小结
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...