[
-
内容大纲
本书系统地介绍了高效模型压缩和模型设计的方法，在编写上兼顾理论和实践。本书主体部分详细介绍了模型压缩的方法论，包括高效模块设计、模型剪枝、模型量化、模型二值化、神经网络架构搜索、知识蒸馏几大部分。另外，简要介绍了定制化硬件加速器的设计及大语言模型的加速和压缩。 -
作者介绍
-
目录
第1部分 基础
1 绪论
1.1 神经网络技术的发展
1.2 神经网络的高效化需求
1.3 神经网络的高效化路径
1.4 本书主要内容
2 基础知识
2.1 优化问题
2.1.1 优化问题的定义和分类
2.1.2 优化方法的分类
2.2 卷积神经网络模型
2.2.1 基础模块
2.2.2 代表性模型介绍
2.3 视觉Transformer模型
2.3.1 基础模块
2.3.2 模型分类与总结
第2部分 高效模型压缩方法论
3 高效模块设计
3.1 概述
3.2 代表性模型介绍
3.2.1 SqueezeNet
3.2.2 MobileNet系列
3.2.3 ShuffleNet系列
3.2.4 GhostNet
3.2.5 ConvNeXt
3.2.6 VoVNet系列
3.2.7 RepVGG
3.3 高效模块的5个设计维度
3.4 本章小结
4 模型剪枝
4.1 模型剪枝的定义和分类
4.2 模型敏感度分析方法
4.2.1 层内和层间敏感度分析
4.2.2 层内敏感度分析指标
4.3 结构化剪枝方法
4.3.1 基于权重正则的结构化剪枝方法
4.3.2 基于搜索的结构化剪枝方法
4.3.3 给定资源限制的条件下的结构化剪枝方法
4.4 近似低秩分解方法
4.5 非结构化剪枝方法
4.6 半结构化剪枝方法
4.7 针对激活值的剪枝方法
4.8 剪枝方法的经验性选择
4.8.1 剪枝流程的选择
4.8.2 剪枝稀疏模式的选择
4.8.3 关于任务性能的经验
4.9 GroupLasso结构化剪枝的实践案例
4.10 本章小结
5 模型量化
5.1 模型量化的定义和分类
5.2 模型量化过程和量化推理过程
5.3 量化格式和操作
5.3.1 均匀量化格式
5.3.2 非均匀量化格式
5.3.3 三种量化操作
5.4 量化参数
5.4.1 缩放系数
5.4.2 零点位置
5.4.3 量化位宽
5.5 训练后量化
5.5.1 训练后量化的流程
5.5.2 重参数化
5.5.3 缩放系数的选取方法
5.5.4 量化值调整
5.6 量化感知训练
5.6.1 基础与流程
5.6.2 调整模型架构的方法
5.6.3 量化器设计的技巧
5.6.4 常用的训练技巧
5.7 混合位宽量化
5.7.1 基于敏感度指标的混合位宽量化
5.7.2 基于搜索的混合位宽量化
5.8 量化方法的经验性选择
5.8.1 量化流程的选择
5.8.2 数据表示的设计和决定
5.8.3 算子的选择与处理和计算图的调整
5.8.4 关于任务性能的经验
5.9 拓展：低比特推理硬件实现
5.9.1 定点计算的硬件效率
5.9.2 浮点计算转定点计算的原理
5.9.3 非均匀量化格式的计算
5.9.4 典型的计算单元和加速器架构
5.10 拓展：低比特训练简介
5.10.1 应用背景
5.10.2 挑战分析
5.10.3 相关工作
5.11 本章小结
6 模型二值化
6.1 模型二值化的定义和分类
6.2 模型二值化的基础：以XNOR-Net为例
6.3 二值化方式
6.3.1 朴素二值化方式
6.3.2 间接二值化方式
6.4 训练技巧
6.4.1 修改损失函数
6.4.2 降低梯度估计误差
6.4.3 多阶段的训练方法
6.4.4 训练经验
6.5 架构设计
6.5.1 模型架构的调整
6.5.2 模型架构搜索
6.5.3 集成方法与动态模型
6.6 模型二值化在其他任务与架构中的应用
6.7 本章小结
7 神经网络架构搜索
7.1 神经网络架构搜索的定义和分类
7.2 搜索空间
7.2.1 人工设计搜索空间
7.2.2 自动设计搜索空间
7.2.3 总结
7.3 搜索策略
7.3.1 基于强化学习的搜索策略
7.3.2 基于进化算法的搜索策略
7.3.3 随机搜索策略
7.3.4 基于架构性能预测器的搜索策略
7.3.5 总结
7.4 评估策略
7.4.1 独立训练策略
7.4.2 基于权重共享的单次评估策略
7.4.3 基于权重生成的单次评估策略
7.4.4 零次评估策略
7.5 可微分神经网络架构搜索
7.5.1 连续松弛方法
7.5.2 优化方法
7.5.3 搜索坍缩问题
7.5.4 更高效的可微分搜索算法
7.6 考虑硬件效率的神经网络架构搜索
7.6.1 考虑硬件效率的搜索空间设计
7.6.2 硬件效率指标的加速评估方法
7.6.3 考虑多种硬件效率目标的搜索策略
7.6.4 面向多种硬件设备及约束的神经网络架构搜索方法
7.7 本章小结
8 知识蒸馏
8.1 知识蒸馏的定义和分类
8.2 知识类型和知识分量：“学什么”
8.2.1 基于响应的知识
8.2.2 基于特征的知识
8.2.3 基于关系的知识
8.3 知识来源：“向谁学”
8.3.1 离线蒸馏
8.3.2 互学习
8.3.3 自蒸馏
8.4 本章小结
第3部分 拓展和前沿
9 相关领域：高效灵活的AI推理硬件和系统
9.1 概述
9.2 硬件加速器设计和软硬件协同优化
9.2.1 从CPU到硬件加速器
9.2.2 AI加速器中的软硬件协同优化
9.2.3 Roofline分析模型
9.2.4 基于指令集的AI加速器
9.3 神经网络计算资源虚拟化
9.3.1 虚拟化的概念
9.3.2 AI加速器的时分复用与空分复用虚拟化
9.3.3 相关工作简介
9.4 本章小结
10 前沿应用：大语言模型的加速和压缩
10.1 大语言模型的发展
10.2 大语言模型的架构和推理过程
10.3 大语言模型的高效性分析
10.3.1 效率瓶颈
10.3.2 优化路径
10.4 典型的大语言模型的压缩方法：量化
10.5 本章小结
后记
参考文献
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...