深度学习是当前的人工智能领域的技术热点。本书面向高等院校理工科专业学生的需求，介绍深度学习相关概念，培养学生研究、利用基于各类深度学习架构的人工智能算法来分析和解决相关专业问题的能力。本书内容包括深度学习概述、人工神经网络基础、卷积神经网络和循环神经网络、生成对抗网络和深度强化学习、计算机视觉以及自然语言处理。本书适合作为高校理工科相关专业深度学习、人工智能相关课程的教材，也适合作为技术人员的参考书或自学读物。
随着互联网与大数据时代的来临，人工智能技术已经成为当前科技发展的重要组成部分，并在工业智能制造、农业自动化生产以及商业贸易与金融宏观调控等领域得到广泛应用。基于人工智能技术的各类产品已经渗透到我们的生产、生活、教育、娱乐、医疗等各个方面，并逐渐改变着人们的思维习惯和行为方式。可以说，人工智能技术的发展与推广对人类社会的影响之深远是前所未有的。
在当前的人工智能研究领域中，深度学习（Deep Learning）是一项备受关注的关键技术，并已成为热点话题。深度学习属于机器学习范畴，是构成复杂人工神经网络结构的要素。从单纯的技术角度来看，深度学习中的深度是指所配置的人工神经网络模型中的隐含层在纵向有较深的结构。研究表明，人工神经网络的深度直接决定了它刻画现实问题的能力，因为只有复杂的深层神经元组合才能够拟合出较为复杂的函数处理过程，从而得到有效的智能输出结果。当然，随着时间的推移和人工智能技术的发展，深度学习也将被赋予更广泛、更丰富的内涵。
深度学习不是一个孤立的概念，它与人工神经网络技术息息相关。因此，要深入了解深度学习的原理与运行机制，需要先掌握人工神经网络的基本概念和内部结构等知识。卷积神经网络和循环神经网络作为深度学习中的两大类基础深度神经网络架构，就是从传统的人工神经网络结构衍生而来的。深度学习在各个关键领域的应用，如智能决策、计算机视觉以及自然语言处理等方面，是在这些基础深度神经网络架构之上，针对不同应用场景的数据规律与问题特征，做了进一步的网络架构整合与创新。
深度学习是一个比较新的概念。随着新技术的不断涌现，深度学习涉及的很多概念的内涵和外延也在不断突破和发展，其中的一些新观点、新见解尚未在学术界及产业界形成统一的认识，相关的理论体系还不是很完善，仍然在持续创新和演变过程中。然而，深度学习又是当前人工智能领域的关键技术，也是开发各类人工智能算法的核心要素。本书力图通过阐述深度学习所涉及的基本概念、运行原理与应用分类，使读者形成较为完整的关于深度学习相关概念的认知，从而为进一步研究和开发各专业领域的人工智能算法打下良好的基础。
本书根据高等院校理工科专业特别是新工科相关专业学生的学习需求，介绍深度学习的相关概念，培养学生利用基于各类深度学习架构的人工智能算法来分析和解决相关专业问题的能力。
全书共分6章，主要内容如下。
第1章深度学习概述主要介绍深度学习产生的历史背景及发展历程，并简述深度学习的基本概念及应用场景。
第2章人工神经网络基础介绍人工神经网络的理论抽象模型，并给出神经网络中的前向传播机制和反向传播机制以及基于反向传播算法的神经网络设计流程。
第3章卷积神经网络和循环神经网络介绍卷积神经网络和循环神经网络这两种深度神经网络架构的基本概念、内部结构、工作机制与主要应用场景。
第4章生成对抗网络和深度强化学习介绍生成对抗网络的博弈与训练过程以及强化学习的基本原理和Q-Learning算法，并给出与之相关的网络模型和框架。
第5章计算机视觉介绍计算机视觉的图像预处理、相关算法分析和特征提取以及目标匹配等原理，还给出图像与视频分类以及目标检测常用的深度学习网络结构。
第6章自然语言处理介绍自然语言处理中的词嵌入算法和注意力机制，阐述文本分类、自动文本摘要和自动问答的相关技术，并给出自然语言处理在应用领域的主要模型。
为了便于读者进一步理解和掌握深度学习的基本概念和应用方法，本书每章都配备了多种类型的习题和丰富的案例，读者可以通过练习和实践进一步掌握深度学习的相关知识，提升应用能力。
本书是教育部华育兴业产学合作协同育人项目（2019年第2批）的成果，由南开大学计算机学院公共计算机基础教学部的老师和研究生结合多年的教学、项目实践经验以及当前理工科专业学生对深度学习的学习需求编写而成。在本书的编写过程中，得到了华育兴业公司和机械工业出版社华章分社的大力支持，在此表示真诚的感谢！
本书在筹备、编写过程中参考了国内外深度学习及人工智能领域的一些开放课程网站、书籍、论坛、博客、论文和开源资料等，在此一并向作者们表示感谢。由于编者能力和时间的限制，书中难免有不妥或错误之处，恳请同行和读者斧正，在此表示真诚的谢意！
作 者
2021年4月于南开园
赵宏，南开大学副教授，公共计算机基础教学部主任，公共计算机基础课教学团队带头人，南开大学教学名师，教育部在线教育研究中心智慧教学之星。近五年平均每周承担超过10课时的本科教学工作。2015年起在南开大学率先建设SPOC课程，进行混合式教学和翻转课堂的智慧教学实践。2018年在学堂在线上线两门MOOC课程， 2020年上线一门国家首批国际MOOC课程。主编教材11本，承担省部级、国家一级研究会及校级教改项目20余项，发表教学研究论文10余篇。获得南开大学教学成果二等奖4项。
前言
第1章 深度学习概述 1
1.1 深度学习的发展历程 1
1.1.1 深度学习的历史 1
1.1.2 深度学习领域的重要人物 5
1.2 深度学习的关键技术 7
1.2.1 深度学习的机理 7
1.2.2 深度学习的三要素 8
1.2.3 数据的特征 9
1.2.4 深度学习的主要模型 10
1.2.5 深度学习模型的训练过程 11
1.2.6 深度学习模型的学习方式 12
1.2.7 深度学习的常用框架 14
1.3 深度学习网络的发展脉络及应用领域 18
1.3.1 深度学习网络的发展脉络 18
1.3.2 深度学习的应用领域 19
课后习题 21
参考文献 22
第2章 人工神经网络基础 24
2.1 人工神经网络的生物学基础 24
2.1.1 神经元的基本模型 24
2.1.2 突触的结构 26
2.2 人工神经元模型 26
2.2.1 人工神经元的数学模型 26
2.2.2 常见的人工神经元模型 30
2.3 人工神经网络模型 34
2.3.1 神经网络的基本结构 34
2.3.2 神经网络的分类 36
2.4 神经网络的前向传播机制 39
2.5 神经网络的反向传播机制 40
2.6 基于反向传播算法的神经网络设计流程 43
2.7 人工神经网络的参数优化问题 45
2.7.1 神经网络层数的优化问题 45
2.7.2 归一化指数函数softmax 47
2.7.3 学习率 49
2.7.4 欠拟合和过拟合问题 50
课后习题 52
参考文献 53
第3章 卷积神经网络和循环神经网络 54
3.1 卷积神经网络 54
3.1.1 卷积神经网络的基本概念 54
3.1.2 卷积神经网络的结构 58
3.1.3 卷积神经网络的常用架构 65
3.2 循环神经网络 72
3.2.1 循环神经网络的基本概念 72
3.2.2 循环神经网络的应用语言模型 77
3.2.3 循环神经网络的梯度问题及解决方法 80
3.2.4 循环神经网络的改进 84
课后习题 87
参考文献 89
第4章 生成对抗网络和深度强化学习 92
4.1 生成对抗网络 92
4.1.1 生成对抗网络概述 92
4.1.2 生成对抗网络的基本原理 94
4.1.3 几种改进的生成对抗网络模型 99
4.1.4 生成对抗网络的应用 103
4.2 强化学习 106
4.2.1 强化学习概述 106
4.2.2 强化学习的决策过程 108
4.2.3 Q-Learning算法 111
4.2.4 深度强化学习 112
课后习题 118
参考文献 119
第5章 计算机视觉 121
5.1 计算机视觉概述 121
5.1.1 计算机视觉的历史 122
5.1.2 计算机视觉的挑战与机遇 123
5.1.3 计算机视觉常见的数据集 125
5.1.4 计算机视觉处理的基本流程 130
5.2 图像预处理 131
5.2.1 图像去噪 131
5.2.2 图像归一化 133
5.2.3 图像分割技术 134
5.3 计算机视觉常用的网络结构 136
5.3.1 图像分类常用的深度学习网络结构 136
5.3.2 视频分类常用的深度学习网络结构 140
5.3.3 目标检测常用的深度学习网络结构 144
课后习题 152
参考文献 154
第6章 自然语言处理 156
6.1 自然语言处理概述 156
6.1.1 发展历史 157
6.1.2 自然语言处理的过程 158
6.1.3 基础技术 160
6.1.4 词嵌入算法 162
6.1.5 N-gram语言模型 166
6.1.6 注意力机制 167
6.2 自然语言处理的应用模型 171
6.2.1 文本分类 171
6.2.2 自动文本摘要 175
6.2.3 自动问答系统 178
6.2.4 触发字检测 181
课后习题 182
参考文献 183
书单推荐
