- CUDA并行编程与性能优化
- - 作者：徐佳宁|责编:王金柱
  - 出版社：清华大学
  - ISBN：9787302691396
  - 出版日期：2025/06/01
  - 页数：336
- 售价：47.6

内容大纲
本书采用“原理剖析—代码实现—性能调优”的教学设计，通过大量经过验证的代码实例与典型工程案例，帮助读者深入理解并掌握CUDA编程技术。本书分为3部分12章，第1部分介绍CUDA的基本原理与编程模型，涵盖GPU硬件架构、线程模型、内存管理等基础内容，并提供开发环境配置与性能优化的方法，帮助读者快速上手CUDA编程。第2部分介绍高级并行编程技术，深入讲解共享内存优化、线程同步、原子操作等性能调优技巧，并通过案例演示如何提升程序效率。第3部分介绍多GPU协同计算和分布式并行任务的解决方案，通过分子动力学案例演示CUDA在实际科学计算中的应用实践。
本书适用于希望快速上手GPU编程的初学者和开发人员，亦可作为高校开设CUDA编程和并行计算课程的教学用书或参考书。
作者介绍
徐佳宁/博士，就职于哈尔滨工业大学，副研究员。专注于电动汽车电池的大规模数据处理和储能系统设计的大数据驱动智能优化。近年来该研究将大型模型训练加速、计算能力调度和异构计算优化作为优先事项，旨在提高计算效率和资源利用率，以促进大规模人工智能模型的有效部署和应用。
目录
绪论
    一、NVIDIA与GPU的崛起：驱动计算革新的核心力量
    二、并行编程的意义：从串行计算到高性能计算的转型
    三、CUDA的诞生与发展：统一架构下的并行计算
第1部分  CUDA基础理论与优化方法
  第1章  GPU硬件架构与CUDA开发环境配置
    1.1  CUDA设备架构详解：流式多处理器、Warp机制与寄存器
      1.1.1  SM的线程调度单元与计算核心分析
      1.1.2  Warp与线程的并行执行模式与分支处理机制
      1.1.3  寄存器分配与线程数的关系对性能的影响
      1.1.4  初步演练：基于CUDA的核函数设计
    1.2  CUDA工具链剖析：nvcc编译器、CUDA运行时与驱动程序的差异
      1.2.1  nvcc编译器的优化选项与目标代码生成分析
      1.2.2  CUDA运行时API与驱动API的调用流程与性能对比
      1.2.3  不同CUDA版本的驱动兼容性与迁移
    1.3  多平台开发环境配置：Windows、Linux与容器化环境的安装与调试
      1.3.1  Windows与Linux平台CUDA开发环境的配置与常见问题
      1.3.2  使用容器化工具（如Docker）搭建跨平台CUDA开发环境
    1.4  使用nvidia-smi进行GPU监控与设置：设备状态查询、温度与功耗优化
      1.4.1  查询GPU内存占用、温度与功耗的实时状态信息
      1.4.2  动态调整GPU的性能状态与功耗限制
      1.4.3  利用脚本自动化监控与批量配置多GPU设备
    1.5  本章小结
    1.6  思考题
  第2章  线程与网格组织
    2.1  CUDA线程模型：线程、线程块与网格的硬件绑定
      2.1.1  线程块与SM映射关系对并行计算的影响
      2.1.2  CUDA线程的生命周期与线程分组的硬件依赖
    2.2  多维网格设计：线程索引计算与数据映射案例（矩阵乘法）
      2.2.1  多维线程网格的设计方法与索引计算逻辑
      2.2.2  基于二维和三维网格的矩阵乘法性能优化
    2.3  线程块大小的选择与资源分配：共享内存与寄存器利用率的平衡
      2.3.1  如何根据GPU硬件限制选择线程块大小
      2.3.2  分析寄存器与共享内存对线程块大小的影响
    2.4  动态并行实现：在核函数中启动新的网格
      2.4.1  动态并行API调用的性能分析与应用场景
      2.4.2  动态网格嵌套的调度与资源分配优化
    2.5  Warp机制深度详解与分支发散优化
      2.5.1  Warp分支发散的检测与分支规约技术
      2.5.2  使用Warp Shuffle指令优化线程间数据交换
    2.6  本章小结
    2.7  思考题
  第3章  内存管理与优化
    3.1  CUDA内存层级剖析：全局内存、共享内存、寄存器与局部内存的特性
      3.1.1  全局内存与共享内存的访问特性与延迟分析
      3.1.2  寄存器分配与局部内存溢出对性能的影响
    3.2  全局内存合并访问：矩阵转置性能优化
      3.2.1  访存对齐与内存带宽利用率优化技术
      3.
      3.3.1  动态共享内存分配的机制与对线程块的影响
      3.3.2  使用共享内存实现高效归约计算的步骤与优化
    3.4  L1、L2缓存行为优化：减少内存访问延迟
      3.4.1  缓存配置选项与性能优化
      3.4.2  使用缓存命中率分析工具评估访存效率
    3.5  本章小结
    3.6  思考题
  第4章  CUDA程序的框架与数据传输
    4.1  核函数设计与线程调度：基于线程索引的数据分片处理
      4.1.1  使用线程索引分配数据块与循环展开优化
      4.1.2  核函数内存带宽与线程调度的优化实例
    4.2  主机与设备之间的数据传输优化：锁页内存与异步传输
      4.2.1  使用锁页内存减少数据传输开销的方法
      4.2.2  异步数据传输的实现与核函数执行的重叠
    4.3  内存分配与释放：Unified Memory、cudaMallocManaged与cudaMemcpy的对比
      4.3.1  Unified Memory与传统显式内存分配的对比案例
      4.3.2  使用cudaMallocManaged实现跨设备数据共享
    4.4  本章小结
    4.5  思考题
  第5章  常见错误检测与调试工具
    5.1  利用CUDA运行时API检测错误：宏定义实现通用错误处理
      5.1.1  常见CUDA错误代码及其含义与处理方法
      5.1.2  基于宏函数的通用错误检测与日志记录实现
    5.2  CUDA-MEMCHECK的使用：定位内存溢出与数据竞争问题
      5.2.1  使用CUDA-MEMCHECK工具检测内存越界访问与未初始化变量
      5.2.2  数据竞争检测与消除方法的实际案例
    5.3  核函数中的线程调试：Warp分支发散的识别与优化
      5.3.1  使用printf调试核函数中的线程执行路径
      5.3.2  使用Nsight工具分析分支发散和Warp效率
    5.4  使用Nsight调试工具分析性能瓶颈
      5.4.1  Nsight Compute的热点分析与性能优化步骤
      5.4.2  使用Nsight Systems分析异步任务与流的重叠执行
      5.4.3  案例：综合使用调试与分析工具优化CUDA程序
    5.5  本章小结
    5.6  思考题
  第6章  并行程序性能优化
    6.1  数据传输与计算比例的优化：流式大规模矩阵乘法
      6.1.1  数据传输与计算比值的分析与优化模型
      6.1.2  流式分块矩阵乘法的数据调度与计算重叠
    6.2  算术强度与GPU利用率：高算术强度的算法设计原则
      6.2.1  高算术强度算法的特征与GPU硬件适配
      6.2.2  使用合并操作优化算术强度不足的算法
    6.3  Warp收敛性与指令效率：解决线程分支发散的实际案例
      6.3.1  Warp收敛效率分析与优化技术
      6.3.2  指令融合与条件分支规约的性能提升方法
    6.4  并行规模的调优：块矩阵分解的性能优化
      6.4.1  分块策略与线程块规模对性能的影响
      6.4.2  动态调整并
第2部分  高级优化与并行技术
  第7章  全局内存与共享内存的深入应用
    7.1  全局内存访问对齐与合并
      7.1.1  合并访问的硬件机制与对齐优化技巧
      7.1.2  非对齐访问场景的性能分析与规避
    7.2  共享内存的Bank冲突解决：矩阵块划分与线程分组优化案例
      7.2.1  共享内存Bank冲突的检测与分析工具使用
      7.2.2  矩阵块划分与线程分组对Bank冲突的消除
    7.3  使用共享内存进行复杂计算：块矩阵转置与求和
      7.3.1  块矩阵操作中的共享内存分配与使用
      7.3.2  使用共享内存提升矩阵转置与求和性能
      7.3.3  求解大型矩阵的奇异值分解加速运算
    7.4  本章小结
    7.5  思考题
  第8章  原子操作与线程同步
    8.1  CUDA原子函数的实现机制：基于原子加的直方图计算
      8.1.1  原子函数在硬件上的实现原理与性能影响
      8.1.2  使用原子加实现并行直方图的完整代码示例
    8.2  Warp级同步与线程块同步：避免数据竞争的高效实现
      8.2.1  Warp级同步的实现与性能提升案例
      8.2.2  使用__syncthreads避免线程块间数据竞争
    8.3  高效归约算法：基于Shuffle指令的无锁归约实现
      8.3.1  Shuffle指令的实现机制与无锁归约的应用
      8.3.2  Warp级归约在大规模数据处理中的优化应用
    8.4  协作组的高级用法：使用线程块协作完成前缀和
      8.4.1  使用协作组完成高效数据共享与同步
      8.4.2  基于线程块的前缀和计算案例实现
    8.5  本章小结
    8.6  思考题
  第9章  CUDA流与异步操作
    9.1  非默认流的设计与实现：多核函数异步并发执行案例
      9.1.1  非默认流的创建与核函数绑定技术
      9.1.2  多流并发执行的性能对比与优化
    9.2  异步数据传输与核函数执行的重叠：优化矩阵分块传输
      9.2.1  异步API实现数据传输与核函数的并行
      9.2.2  流内任务重叠的矩阵分块传输优化实现
    9.3  流优先级与调度策略：复杂场景下的多任务优化案例
      9.3.1  设置流优先级的策略与实现细节
      9.3.2  多任务场景下的流调度与资源分配优化
      9.3.3  基于CUDA流和异步操作优化大规模矩阵加法
    9.4  本章小结
    9.5  思考题
  第10章  标准库与算法优化
    10.1  Thrust库：设备向量与迭代器
      10.1.1  Thrust设备向量的存储与操作详解
      10.1.2  使用Thrust迭代器实现复杂数据转换
    10.2  cuBLAS库：大规模矩阵乘法
      10.2.1  cuBLAS矩阵运算API解析与参数配置
      10.2.2  使用cuBLAS库实现高效矩阵乘法
    10.3  cuRAND库：伪随机数与高斯分布的生成算法

      10.3.1  cuRAND库伪随机数生成的原理与实现
      10.3.2  高斯分布生成在数据模拟中的实际应用
      10.3.3  基于CUDA的FR共轭梯度下降最优算法优化案例
    10.4  本章小结
    10.5  思考题
第3部分  分布式计算与实践应用
  第11章  高级并行编程技术
    11.1  多GPU并行计算：矩阵分块处理与设备间数据传输
      11.1.1  基于多GPU的矩阵分块传输与计算调度
      11.1.2  使用MPI实现多GPU间的数据分配与同步
    11.2  GPU与CPU协同计算：通过异构并行实现复杂任务分解
      11.2.1  异构计算的任务划分策略与性能对比
      11.2.2  CPU与GPU协同执行复杂计算的完整实现
    11.3  分布式CUDA程序：基于MPI的多节点计算
      11.3.1  使用MPI与CUDA实现多节点矩阵计算
      11.3.2  分布式CUDA程序的性能测试与优化
    11.4  动态调度与负载均衡：解决多任务分配的性能瓶颈
      11.4.1  任务动态分配与负载均衡算法实现
      11.4.2  高并发环境下的资源调度优化
    11.5  本章小结
    11.6  思考题
  第12章  应用案例：分子动力学模拟
    12.1  基础算法分析：分子间作用力计算的并行实现
      12.1.1  分子间作用力计算的GPU并行化
      12.1.2  数据分块与作用力求解中的线程分配
    12.2  CUDA优化：使用块分解法加速力矩与能量计算
      12.2.1  基于块分解法的能量计算优化
      12.2.2  使用共享内存加速力矩计算的案例实现
    12.3  性能测试与验证：能量守恒与计算效率分析
      12.3.1  分子动力学模拟中能量守恒的验证方法
      12.3.2  使用性能分析工具评估模拟效率
    12.4  综合优化：多GPU版本分子动力学模拟的完整实现
      12.4.1  使用多GPU分解模型进行并行计算的实现
      12.4.2  多GPU协同计算下的性能优化与结果验证
    12.5  本章小结
    12.6  思考题

内容大纲

作者介绍

目录

同类热销排行榜

推荐书目