[
-
内容大纲
本书由浅入深、系统性地介绍了深度学习模型压缩与优化的核心技术。本书共9章，主要内容有：深度学习模型性能评估、模型可视化、轻量级模型设计、模型剪枝、模型量化、迁移学习与知识蒸馏、自动化模型设计、模型优化与部署工具。本书理论知识体系完备，同时提供了大量实例，供读者实战演练。
本书适合深度学习相关领域的算法技术人员、教职员工，以及人工智能方向的本科生、研究生阅读。读者既可以将本书作为核心算法书籍学习理论知识，也可以将其作为工程参考手册查阅相关技术。 -
作者介绍
-
目录
第1章 引言
1.1 人工智能时代背景
1.2 数据处理
1.2.1 大数据时代背景
1.2.2 数据获取
1.2.3 数据清洗与整理
1.3 算法基础
1.3.1 卷积的概念
1.3.2 CNN基本概念
1.4 计算芯片
1.4.1 GPU
1.4.2 ARM
1.5 深度学习框架
1.5.1 Caffe
1.5.2 TensorFlow
1.5.3 PyTorch
第2章 模型性能评估
2.1 性能指标
2.1.1 基准模型
2.1.2 参数量
2.1.3 计算量与内存访问代价
2.1.4 计算速度
2.1.5 并行化程度
2.1.6 能耗
2.2 学术与产业竞赛
第3章 模型可视化
3.1 模型可视化基础
3.1.1 为什么要研究模型可视化
3.1.2 模型可视化的研究方向
3.2 模型结构可视化
3.2.1 Netscope可视化方法
3.2.2 TensorBoard模型结构可视化
3.2.3 Graphiz可视化工具
3.2.4 Netron可视化工具
3.3 模型参数与特征可视化
3.3.1 参数可视化
3.3.2 激活值可视化
3.3.3 工具
3.4 输入区域重要性可视化
3.4.1 基本原理
3.4.2 基于反向传播的输入可视化
3.4.3 类激活映射可视化
3.5 输入激活模式可视化
3.5.1 概述
3.5.2 梯度计算法
3.5.3 反卷积法
3.5.4 网络反转法
3.5.5 小结
3.6 模型可视化分析实践
3.6.1 基于梯度计算法的可视化
3.6.2 反卷积可视化
3.6.3 CAM可视化
3.6.4 小结
第4章 轻量级模型设计
4.1 卷积核的使用和设计
4.1.1 全连接层的压缩
4.1.2 小卷积核的应用
4.2 卷积拆分与分组
4.2.1 卷积拆分操作
4.2.2 分组卷积Xception与MobileNet
4.2.3 ShuffleNet
4.2.4 级连通道分组网络
4.2.5 多分辨率卷积核通道分组网络
4.2.6 多尺度通道分组网络
4.2.7 多精度分组网络
4.3 特征与参数重用设计
4.3.1 特征重用
4.3.2 参数重用
4.4 动态自适应模型设计
4.4.1 什么是动态模型
4.4.2 基于提前终止与模块丢弃原理的动态模型
4.4.3 基于注意力感知的动态模型
4.5 卷积乘法操作优化和设计
4.5.1 移位网络
4.5.2 加法网络
4.5.3 移位网络与加法网络结合
4.6 重参数化技巧
4.6.1 网络层合并
4.6.2 分支合并
4.7 新颖算子设计
4.8 低秩稀疏化设计
第5章 模型剪枝
5.1 模型剪枝基础
5.1.1 什么是模型剪枝
5.1.2 模型剪枝的粒度
5.2 模型稀疏学习
5.2.1 权重正则化约束
5.2.2 基于网络结构的设计
5.3 非结构化剪枝技术
5.3.1 基于优化目标的方法
5.3.2 基于权重幅度的方法
5.3.3 向量剪枝技术
5.4 结构化剪枝技术
5.4.1 基于重要性因子的剪枝算法
5.4.2 基于输出重建误差的通道剪枝算法
5.4.3 基于优化目标敏感性的剪枝算法
5.4.4 卷积核剪枝和通道剪枝的差异
5.5 模型剪枝的一些问题
5.5.1 剪枝的必要性
5.5.2 训练策略
5.5.3 整个网络同时剪枝
5.5.4 运行时剪枝
5.6 图像分类模型结构化剪枝实战
5.6.1 模型定义与数据集
5.6.2 模型训练
5.6.3 模型剪枝
5.6.4 残差网络
5.6.5 小结
第6章 模型量化
6.1 模型量化基础
6.1.1 什么是模型量化
6.1.2 量化的优势
6.2 二值量化算法
6.2.1 基于阈值映射函数的方法
6.2.2 基于重建误差的方法
6.2.3 从二值量化模型到三值量化模型
6.2.4 二值量化的主要问题
6.3 8bit量化
6.3.1 基于变换函数的非对称量化
6.3.2 基于信息损失的对称量化
6.4 混合精度量化算法
6.4.1 一般混合精度量化算法
6.4.2 自动位宽学习
6.5 半精度浮点数训练算法
6.6 模型量化的一些其他问题
6.6.1 非均匀量化
6.6.2 更稳定地训练量化模型
6.6.3 量化训练与离线量化的比较
6.7 基于TensorRT框架的模型量化推理实践
6.7.1 项目简介
6.7.2 量化算法实现
6.7.3 TensorRT模型量化与推理
第7章 迁移学习与知识蒸馏
7.1 迁移学习与知识蒸馏基础
7.1.1 迁移学习的基本概念
7.1.2 知识蒸馏的基本概念
7.2 基于优化目标驱动的知识蒸馏
7.2.1 预训练大模型框架
7.2.2 大模型与小模型共同学习框架
7.2.3 小结
7.3 基于特征匹配的知识蒸馏
7.3.1 基本框架
7.3.2 注意力机制的使用
7.4 自蒸馏框架
7.4.1 深度协同学习
7.4.2 自监督学习
7.4.3 自进化学习
7.5 知识蒸馏的一些问题
7.5.1 教师模型是否越强越好
7.5.2 学生模型与教师模型的相互学习
7.6 基于经典知识蒸馏的图像分类实战
7.6.1 基准模型定义
7.6.2 基准模型训练
7.6.3 知识蒸馏学习
7.6.4 小结
第8章 自动化模型设计
8.1 自动化机器学习基础
8.1.1 什么是AutoML
8.1.2 AutoML在数据工程中的应用
8.1.3 AutoML在超参数优化中的典型应用
8.1.4 现有的AutoML系统
8.2 神经网络结构搜索基础
8.2.1 什么是NAS
8.2.2 NAS的搜索空间
8.2.3 NAS的搜索策略
8.2.4 NAS的评估
8.3 基于栅格搜索的NAS
8.3.1 网络基础参数搜索
8.3.2 网络拓扑结构搜索
8.4 基于强化学习的NAS
8.4.1 强化学习基础
8.4.2 基本方法
8.4.3 NASNet
8.4.4 MNASNet
8.5 基于进化算法的NAS
8.5.1 进化算法简介
8.5.2 Genetic CNN算法
8.5.3 与NASNet的结合
8.6 可微分NAS
8.7 NAS与其他模型压缩方法结合
8.7.1 自动化模型剪枝
8.7.2 自动化模型量化
8.7.3 自动化模型蒸馏
8.8 当前NAS的一些问题
第9章 模型优化与部署工具
9.1 模型优化工具
9.1.1 TensorFlow和PocketFlow框架
9.1.2 PaddlePaddle框架
9.1.3 PyTorch和Distiller框架
9.1.4 NNI框架
9.1.5 小结
9.2 模型部署工具
9.2.1 模型部署基础
9.2.2 ONNX标准
9.2.3 NVIDIA GPU推理框架TensorRT
9.2.4 特定框架专用模型推理框架
9.2.5 通用移动端模型推理框架
9.2.6 小结
9.3 基于NCNN的模型优化部署实战
9.3.1 软硬件平台介绍
9.3.2 模型格式转换
9.3.3 模型部署测试
9.3.4 小结
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...