-
内容大纲
本书详尽地覆盖了多模态大模型的算法原理和应用实战,提供了丰富的微调技术细节和实际案例,适合对多模态大模型有兴趣的技术人员深入学习及应用。
本书分为两篇:
第一篇算法原理:详细介绍了先进的深度学习模型,包括Transformer、GPT系列、深度生成模型,从基本架构、训练方法到特定应用,包括但不限于Seq2Seq结构、位置编码、注意力机制、残差连接、变分自编码器、GAN、ViT、CLIP、Stable Diffusion、各模型训练实践的知识点。此外,探讨了预训练模型的涌现能力、模型参数和通信数据量的估算,以及分布式训练的各种技术,如数据并行、模型并行和混合精度训练等。
第二篇应用实战:聚焦于深度学习模型的实际应用,特别是文本和图像生成,以及代码生成的应用实战。通过具体实战项目,如利用Stable Diffusion进行图像生成和Code Llama进行代码生成,提供了微调技术的详细细节,介绍了LangChain等大模型应用框架。 -
作者介绍
刘兆峰 中国电信多模态算法工程师,基于多模态大模型提升长尾业务能力。天津科技大学人工智能专业硕士研究生。曾在京东科技担任算法工程师,从事京东白条申请评分卡开发。后加入创业公司,从事大规模预训练语言模型的分布式微调和AIGC相关衍生产品的系统开发,对LLM的训练和推理有深厚的理论基础和实战经验。 现主要研究方向为多模态大模型与Aqent以及AGI系统研究,聚焦于多模态大模型的行业场景落地。工作期间技术成果丰硕,发表多篇论文,有多个软件著作权。 -
目录
前言
第一篇 算法原理
第1章 Transformer模型
1.1 Seq2Seq结构
1.1.1 分词器
1.1.2 编码器-解码器结构
1.1.3 注意力机制
1.1.4 实战:日期转换
1.2 Transformer模型介绍
1.2.1 位置编码
1.2.2 模型架构
1.2.3 标准化和残差连接
1.2.4 线性层和softmax层
1.2.5 损失函数
1.2.6 实战:日期转换
1.2.7 小结
1.3 ViT模型介绍
1.3.1 注意力机制在图像上的应用
1.3.2 ViT模型架构
1.3.3 大数据预训练
1.3.4 ViT模型训练实践
1.4 本章总结
第2章 GPT系列模型
2.1 GPT
2.1.1 语言模型
2.1.2 训练框架
2.1.3 模型效果分析
2.2 GPT
2.2.1 模型架构分析
2.2.2 构造训练数据集
2.2.3 模型效果分析
2.3 GPT
2.3.1 上下文学习
2.3.2 构造训练数据集
2.3.3 训练停止判定
2.3.4 重要潜力
2.4 GPT
2.4.1 代码生成模型Codex
2.4.2 强化学习
2.4.3 ChatGPT的“孪生兄弟”:InstructGPT
2.4.4 RLAIF
2.5 GPT
2.5.1 GPT-4的非凡表现
2.5.2 基于规则的奖励模型
2.5.3 多模态架构
2.5.4 训练流程
2.5.5 局限性
2.6 语言模型的未来
2.6.1 自我学习与自我核实
2.6.2 稀疏专家模型
2.7 GPT系列的其他应用
2.7.1 MiniGPT
2.7.2 minGPT与nanoGPT
2.7.3 AutoGPT与AgentGPT
2.8 本章总结
……
第二篇 应用实战
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...