本书共9章，具体内容包括深度学习基础、底层视觉算法、图像分类、图像边缘检测与分割、计算机视觉算法、自然语言处理算法、自然语言处理应用、深度模型部署、综合应用实践案例。除了纸书内容外，本书还配套线上仿真实验及丰富实践练习等内容，侧重培养读者的动手实践能力。本书在编写中着重介绍基本概念、基本原理和基本分析方法，突出实践应用，力图做到基本概念准确，条理清晰，内容精练，重点突出，理论联系实际。
本书可作为人工智能、智能科学与技术、计算机科学与技术、智能控制、软件工程等专业的系统类或实践类课程的教材，也可供相关领域的科技人员参考使用。
1. 本书知识体系完备，首先介绍深度学习基础知识，包括卷积网络和Transformer模型，其次介绍深度学习在底层图像处理/分类/分割、目标检测与跟踪等计算机视觉算法中的应用，以及基于深度学习的自然语言处理算法及其应用。针对深度学习模型部署，本书介绍了几种常用的深度模型轻量化剪枝与量化方法。
2. 本书理论实践结合，为了使读者进一步掌握深度学习算法及其应用，本书设计了从基础到进阶的实训项目，通过实训项目实践，提升读者利用深度学习技术解决实际工程问题的能力。第9章综合应用实践案例，介绍智能小车、无人机和智能安防等综合实践项目，将图像分类、目标识别、模型轻量化等技术进行综合应用，使读者掌握图像数据获取、图像标注、模型训练及其部署应用的全流程知识和能力，提升利用人工智能技术解决实际工程问题的能力。
董伟生：
西安电子科技大学人工智能学院教授、博导、副院长，长江学者特聘教授。主要从事图像视频处理、深度学习和计算机视觉等方面的研究与教学工作。在权威国际期刊和会议上发表论文160余篇，其中在TPAMI、IJCV、IEEE-TIP、CVPR等权威期刊和会议上发表论文80余篇，且论文被引用12 000余次。曾任/现任包括国际顶级期刊IEEE Transactions on Image Processing、SIAM Journal on Imaging Sciences在内的3个期刊的编委、CVPR 2022领域主席。主持包括国家部委重大项目、国家自然科学基金优青、国家自然科学基金重大项目课题等项目；主持人工智能实验课程虚拟教研室建设、教学资源建设等教改项目。曾入选国家优青、万人计划青年拔尖、青年长江学者等人才项目。以第二完成人身份获2017年国家自然科学奖二等奖、2013年陕西省科学技术奖一等奖；曾获2017年陕西省自然科学优秀学术论文一等奖。
【章名目录】
第 1章 深度学习基础
第 2章 底层视觉算法
第3章 图像分类
第4章 图像边缘检测与分割
第5章 计算机视觉算法
第6章 自然语言处理算法
第7章 自然语言处理应用
第8章 深度模型部署
第9章 综合应用实践案例
附录 A Python安装 …………………… 340
附录 B PyTorch安装与使用…………… 341
【详细目录】
第 1章 深度学习基础
1.1 多层感知机介绍 …………………… 002
1.1.1 感知机的定义 ……………… 002
1.1.2 多层感知机中的激活函数 … 003
1.2 卷积神经网络 ……………………… 006
1.2.1 卷积神经网络特性与优化方法 ………………………… 007
1.2.2 经典的卷积神经网络结构 … 014
1.3 Transformer网络 ………………… 022
1.3.1 ViT模型 …………………… 022
1.3.2 DETR模型 ………………… 025
1.4 深度学习软件平台介绍 …………… 032
1.4.1 深度学习框架简介 ………… 032
1.4.2 PyTorch深度学习框架 ……… 032
1.4.3 其他深度学习工具 ………… 037
1.5 本章作业 …………………………… 039
1.5.1 习题 ………………………… 039
1.5.2 实验 ………………………… 039
第 2章 底层视觉算法
2.1 低光图像增强 ……………………… 041
2.1.1 传统低光图像增强 ………… 042
2.1.2 基于深度学习的低光图像增强 ………………………… 044
2.1.3 评价指标 …………………… 047
2.2 图像超分辨率 ……………………… 049
2.2.1 基于模型的图像超分辨率方法 ………………………… 049
2.2.2 基于深度学习的图像超分辨率方法 ………………………… 051
2.3 图像去噪 …………………………… 055
2.3.1 传统图像去噪算法 ………… 056
2.3.2 基于深度学习的图像去噪算法 ………………………… 058
2.4 图像去模糊 ………………………… 064
2.4.1 传统图像去模糊方法 ……… 065
2.4.2 基于深度学习的图像去模糊方法 ………………………… 068
2.4.3 图像去模糊数据集与评价指标 ………………………… 071
2.5 本章作业 …………………………… 072
2.5.1 习题 ………………………… 072
2.5.2 实验 ………………………… 072
第3章 图像分类
3.1 图像分类简介 ……………………… 074
3.2 MNIST手写数字识别 …………… 076
3.2.1 MNIST数据集加载 ………… 076
3.2.2 训练分类网络 ……………… 077
3.2.3 模型测试与结果预测 ……… 078
3.3 自然图像分类 ……………………… 080
3.3.1 猫狗数据集加载和预处理 … 080
3.3.2 ResNet 分类模型 …………… 083
3.3.3 模型测试与结果预测 ……… 085
3.4 视觉 Transformer图像分类 ……… 086
3.4.1 CIFAR-10数据集加载与预处理 ……………………… 087
3.4.2 构建与训练 ViT模型 ……… 088
3.5 本章作业 …………………………… 091
3.5.1 习题 ………………………… 091
3.5.2 实验 ………………………… 091
第4章 图像边缘检测与分割
4.1 边缘检测 …………………………… 094
4.1.1 传统边缘检测方法 ………… 095
4.1.2 基于深度学习的边缘检测方法 ………………………… 096
4.1.3 HED边缘检测实践 ………… 098
4.2 图像分割 …………………………… 100
4.2.1 基于阈值的方法 …………… 101
4.2.2 基于区域的方法 …………… 102
4.2.3 基于图论的方法 …………… 105
4.2.4 基于深度学习的方法 ……… 106
4.3 语义分割 …………………………… 107
4.3.1 语义分割经典模型 ………… 108
4.3.2 通用语义分割模型设计 …… 112
4.3.3 语义分割数据集 …………… 115
4.4 实例分割 …………………………… 115
4.4.1 实例分割算法介绍 ………… 116
4.4.2 数据集与评价指标 ………… 118
4.4.3 实例分割研究进展及实践 … 119
4.5 全景分割 …………………………… 122
4.5.1 全景分割方法 ……………… 123
4.5.2 全景分割评价指标和数据集 ……………………… 123
4.5.3 全景特征金字塔网络算法框架 ………………………… 124
4.6 本章作业 …………………………… 128
4.6.1 习题 ………………………… 128
4.6.2 实验 ………………………… 128
第5章 计算机视觉算法
5.1 视觉目标检测 ……………………… 131
5.1.1 两阶段目标检测原理 ……… 132
5.1.2 两阶段目标检测算法实现 … 133
5.1.3 单阶段目标检测算法 ……… 139
5.1.4 SSD目标检测算法实现 …… 140
5.2 图像显著性检测 …………………… 142
5.2.1 传统显著性物体检测方法 … 143
5.2.2 基于深度学习的显著性物体检测方法 ………………………… 143
5.2.3 显著性物体检测的典型框架 ………………………… 144
5.3 视觉目标跟踪 ……………………… 152
5.3.1 单目标跟踪方法 …………… 152
5.3.2 目标跟踪实验 ……………… 154
5.4 人体姿态估计 ……………………… 160
5.4.1 人体姿态分析概述 ………… 160
5.4.2 基于关键点回归的人体姿态估计 ………………………… 161
5.4.3 人体姿态估计实验 ………… 163
5.5 人脸图像分析 ……………………… 170
5.5.1 人脸图像分析概述 ………… 170
5.5.2 人脸关键点检测实验 ……… 171
5.5.3 人脸表情分析实验 ………… 179
5.6 本章作业 …………………………… 188
5.6.1 习题 ………………………… 188
5.6.2 实验 ………………………… 189
第6章 自然语言处理算法
6.1 语言模型 …………………………… 191
6.1.1 文本转换为词符序列 ……… 191
6.1.2 特殊词符 …………………… 193
6.1.3 N元组语言模型 …………… 193
6.2 文本向量表示 ……………………… 196
6.2.1 词向量模型 ………………… 196
6.2.2 文档向量 …………………… 202
6.3 文本分类 …………………………… 203
6.3.1 多层感知机与情感分类 …… 203
6.3.2 Transformer MLP…………… 207
6.4 文本聚类 …………………………… 207
6.4.1 文本向量距离 ……………… 208
6.4.2 K-means……………………… 209
6.5 文本生成 …………………………… 211
6.5.1 采样方法 …………………… 212
6.5.2 典型性采样 ………………… 212
6.5.3 Beam Search ………………… 213
6.5.4 解码策略函数 ……………… 213
6.6 本章作业 …………………………… 215
6.6.1 习题 ………………………… 215
6.6.2 实验 ………………………… 216
第7章 自然语言处理应用
7.1 从文本续写到对话生成 …………… 218
7.1.1 从文本补全到对话模型 …… 218
7.1.2 对话模板概述 ……………… 219
7.1.3 对话模型部署 ……………… 220
7.2 模型微调 …………………………… 222
7.2.1 有监督微调 ………………… 222
7.2.2 部分参数微调 ……………… 223
7.2.3 CoLLiE框架安装与使用 …… 224
7.3 任务指令 …………………………… 228
7.3.1 常见指令 …………………… 228
7.3.2 通过 PPL解答选择题 ……… 229
7.3.3 上下文学习 ………………… 230
7.4 格式化输出 ………………………… 232
7.4.1 格式化输出概述 …………… 232
7.4.2 工具调用 …………………… 233
7.4.3 一致性投票 ………………… 235
7.5 检索增强 …………………………… 237
7.5.1 BM25………………………… 237
7.5.2 向量检索 …………………… 239
7.5.3 内容溯源 …………………… 239
7.6 本章作业 …………………………… 240
7.6.1 习题 ………………………… 240
7.6.2 实验 ………………………… 240
第8章 深度模型部署
8.1 深度模型剪枝 ……………………… 242
8.1.1 模型剪枝简介 ……………… 242
8.1.2 卷积神经网络结构化剪枝 … 244
8.1.3 卷积神经网络稀疏性剪枝 … 249
8.1.4 Transformer网络动态剪枝 … 251
8.2 深度模型量化 ……………………… 255
8.2.1 深度模型量化简介 ………… 255
8.2.2 卷积神经网络对称后量化 … 259
8.2.3 卷积神经网络量化感知训练 263
8.3 深度学习模型嵌入式平台部署 …… 266
8.3.1 深度学习模型部署概述 …… 266
8.3.2 模型部署工具 ……………… 268
8.4 本章作业 …………………………… 270
8.4.1 习题 ………………………… 270
8.4.2 实验 ………………………… 270
第9章 综合应用实践案例
9.1 智能小车综合实践 ………………… 273
9.1.1 智能小车的手势识别实践 … 273
9.1.2 智能小车的自动循迹实践 … 286
9.2 无人机综合实践 …………………… 298
9.2.1 实践整体框架 ……………… 298
9.2.2 实践软硬件配置 …………… 299
9.2.3 数据流推流 ………………… 299
9.2.4 目标检测跟踪算法 ………… 302
9.2.5 服务器模型部署 …………… 310
9.3 智能安防综合实践 ………………… 311
9.3.1 网络视频推流简介 ………… 312
9.3.2 基于 YOLOv5的火灾烟雾检测 ………………………… 317
9.3.3 公共场所人流量统计 ……… 327
9.3.4 目标人物跟踪 ……………… 334
9.4 本章作业 …………………………… 338
9.4.1 习题 ………………………… 338
9.4.2 实验 ………………………… 338
附录 A Python安装 …………………… 340
附录 B PyTorch安装与使用…………… 341
参考文献…………………………………… 342
书单推荐
