[
-
内容大纲
本书围绕大语言模型应用程序的安全问题展开，共12章，分三个部分层层递进。第一部分（第1-3章）以真实案例引入大语言模型应用程序面临的安全挑战，介绍作者创立的应对项目及经验，同时探讨大语言模型应用架构与数据流控制的重要性，搭建知识框架。第二部分（第4-9章）剖析开发大语言模型应用程序的主要风险，既包含注入攻击、敏感信息泄露等传统安全风险，也涵盖训练数据投毒、幻觉等新兴AI系统特有的问题，每章通过实际案例分析，揭示风险及影响，并给出预防和减轻风险的建议。第三部分（第10-12章）通过科幻故事案例警示安全漏洞叠加的危害，阐述将安全实践融入软件开发全流程的方法，并展望大语言模型与AI技术的发展趋势，引入负责任的人工智能软件工程（RAISE）框架，助力读者维护软件安全。 -
作者介绍
史蒂夫·威尔逊（Steve Wilson）是人工智能、网络安全和云计算领域的领导者和创新者，拥有超过20年的行业经验。他主导了“OWASP大语言模型应用十大安全风险”项目，这是一份关于生成式人工智能安全研究的权威指南，为开发者、设计师、架构师及相关机构提供了在部署和管理大语言模型技术时需要关注的关键安全漏洞和风险指导。 史蒂夫现任全球网络安全公司Exabeam的首席产品官，该公司利用人工智能和机器学习技术进行威胁检测和调查。他曾在思杰（Citrix）和甲骨文（Oracle）公司任职，并曾是Sun Microsystems公司Java开发团队的早期成员。他拥有圣地亚哥大学工商管理学位，也是美国跆拳道协会认证的二段黑带。 -
目录
前言
第1章 聊天机器人之殇
1.1 让我们谈谈Tay
1.2 Tay的光速堕落
1.3 为什么Tay会失控
1.4 这是一个棘手的问题
第2章 OWASP大语言模型应用十大安全风险
2.1 关于OWASP
2.2 大语言模型应用十大风险项目
2.2.1 项目执行
2.2.2 反响
2.2.3 成功的关键
2.3 本书与十大风险榜单
第3章 架构与信任边界
3.1 人工智能、神经网络和大语言模型：三者有何区别
3.2 Transformer革命：起源、影响及其与LLM的关系
3.2.1 Transformer的起源
3.2.2 Transformer架构对AI的影响
3.3 基于大语言模型的应用类型
3.4 大语言模型应用架构
3.4.1 信任边界
3.4.2 模型
3.4.3 用户交互
3.4.4 训练数据
3.4.5 访问实时外部数据源
3.4.6 访问内部服务
3.5 结论
第4章 提示词注入
4.1 提示词注入攻击案例
4.1.1 强势诱导
4.1.2 反向心理学
4.1.3 误导
4.1.4 通用和自动化对抗性提示
4.2 提示词注入的影响
4.3 直接与间接提示词注入
4.3.1 直接提示词注入
4.3.2 间接提示词注入
4.3.3 关键差异
4.4 缓解提示词注入风险
4.4.1 速率限制
4.4.2 基于规则的输入过滤
4.4.3 使用专用大语言模型进行过滤
4.4.4 添加提示结构
4.4.5 对抗性训练
4.4.6 悲观信任边界定义
4.5 结论
第5章 你的大语言模型是否知道得太多了
5.1 现实世界中的案例
5.1.1 Lee Luda案例
5.1.2 GitHub Copilot和OpenAI的Codex
5.2 知识获取方法
5.3 模型训练
5.3.1 基础模型训练
5.3.2 基础模型的安全考虑
5.3.3 模型微调
5.3.4 训练风险
5.4 检索增强生成
5.4.1 直接网络访问
5.4.2 访问数据库
5.5 从用户交互中学习
5.6 结论
第6章 语言模型会做电子羊的梦吗
6.1 为什么大语言模型会产生幻觉
6.2 幻觉的类型
6.3 实例分析
6.3.1 虚构的法律先例
6.3.2 航空公司聊天机器人诉讼案
6.3.3 无意的人格诋毁
6.3.4 开源包幻觉现象
6.4 谁该负责
6.5 缓解最佳实践
6.5.1 扩展领域特定知识
6.5.2 思维链推理：提高准确性的新路径
6.5.3 反馈循环：用户输入在降低风险中的作用
6.5.4 明确传达预期用途和局限性
6.5.5 用户教育：以知识赋能用户
6.6 结论
第7章 不要相信任何人
7.1 零信任解码
7.2 为什么要如此偏执
7.3 为大模型实施零信任架构
7.3.1 警惕过度授权
7.3.2 确保输出处理的安全性
7.4 构建输出过滤器
7.4.1 使用正则表达式查找个人信息
7.4.2 评估毒性
7.4.3 将过滤器链接到大模型
7.4.4 安全转义
7.5 结论
第8章 保护好你的钱包
8.1 拒绝服务攻击
8.1.1 基于流量的攻击
8.1.2 协议攻击
8.1.3 应用层攻击
8.1.4 史诗级拒绝服务攻击：Dyn事件
8.2 针对大模型的模型拒绝服务攻击
8.2.1 稀缺资源攻击
8.2.2 上下文窗口耗尽
8.2.3 不可预测的用户输入
8.3 拒绝钱包攻击
8.4 模型克隆
8.5 缓解策略
8.5.1 特定领域防护
8.5.2 输入验证和清理
8.5.3 严格的速率限制
8.5.4 资源使用上限
8.5.5 监控和告警
8.5.6 财务阈值和告警
8.6 结论
第9章 寻找最薄弱环节
9.1 供应链基础
9.1.1 软件供应链安全
9.1.2 Equifax数据泄露事件
9.1.3 SolarWinds黑客攻击
9.1.4 Log4Shell漏洞
9.2 理解大语言模型供应链
9.2.1 开源模型风险
9.2.2 训练数据污染
9.2.3 意外不安全的训练数据
9.2.4 不安全的插件
9.3 建立供应链追踪工件
9.3.1 软件物料清单的重要性
9.3.2 模型卡片
9.3.3 模型卡片与软件物料清单的比较
9.3.4 CycloneDX：SBOM标准
9.3.5 机器学习物料清单的兴起
9.3.6 构建机器学习物料清单示例
9.4 大语言模型供应链安全的未来
9.4.1 数字签名和水印技术
9.4.2 漏洞分类和数据库
9.5 结论
第10章 从未来的历史中学习
10.1 回顾OWASP大语言模型应用程序十大安全风险
10.2 案例研究
10.2.1 《独立日》：一场备受瞩目的安全灾难
10.2.2 《2001太空漫游》中的安全缺陷
10.3 结论
第11章 信任流程
11.1 DevSecOps的演进历程
11.1.1 机器学习运维
11.1.2 大模型运维
11.2 将安全性构建到大模型运维中
11.3 大模型开发过程中的安全性
11.3.1 保护你的持续集成和持续部署
11.3.2 大语言模型专用安全测试工具
11.3.3 管理你的供应链
11.4 运用防护机制保护应用程序
11.4.1 防护机制在大模型安全策略中的作用
11.4.2 开源与商业防护方案比较
11.4.3 自定义防护机制与成熟防护机制的融合应用
11.5 应用监控
11.5.1 记录每个提示和响应
11.5.2 日志和事件集中管理
11.5.3 用户与实体行为分析
11.6 建立你的AI红队
11.6.1 AI红队测试的优势
11.6.2 红队与渗透测试
11.6.3 工具和方法
11.7 持续改进
11.7.1 建立和调整防护机制
11.7.2 管理数据访问和质量
11.7.3 利用人类反馈强化学习实现对齐和安全
11.8 结论
第12章 负责任的人工智能安全实践框架
12.1 力量
12.1.1 图形处理器
12.1.2 云计算
12.1.3 开源
12.1.4 多模态
12.1.5 自主智能体
12.2 责任
12.2.1 RAISE框架
12.2.2 RAISE检查清单
12.3 结论
同类热销排行榜
- C语言与程序设计教程(高等学校计算机类十二五规划教材)16
- 电机与拖动基础(教育部高等学校自动化专业教学指导分委员会规划工程应用型自动化专业系列教材)13.48
- 传感器与检测技术(第2版高职高专电子信息类系列教材)13.6
- ASP.NET项目开发实战(高职高专计算机项目任务驱动模式教材)15.2
- Access数据库实用教程(第2版十二五职业教育国家规划教材)14.72
- 信号与系统(第3版下普通高等教育九五国家级重点教材)15.08
- 电气控制与PLC(普通高等教育十二五电气信息类规划教材)17.2
- 数字电子技术基础(第2版)17.36
- VB程序设计及应用(第3版十二五职业教育国家规划教材)14.32
- Java Web从入门到精通(附光盘)/软件开发视频大讲堂27.92
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔，龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年，恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...