深度学习之神经网络CNN/RNN/GAN（算法原理+实战）

深度学习的导学课程，主要介绍了深度学习的应用范畴、人才需求情况和主要算法。对课程章节、课程安
排、适用人群、前提条件以及学习完成后达到的程度进行了介绍，让同学们对本课程有基本的认识。
1-1 课程导学 (10:11)

本次实战课程的入门课程。对机器学习和深度学习做了引入性讲解，通过若干项目举例讲解了深度学习的
最新进展。通过讲解和实战神经网络中的基本结构——神经元及其扩展逻辑斯蒂回归模型，对本课程的
基本知识进行全面的讲解，包括神经元、激活函数、目标函数、梯度下降、学习率、Tensorfl
ow基础以及模型的Tensorflow代码实现。...
2-1 机器学习、深度学习简介 (17:03)
2-2 神经元-逻辑斯底回归模型 (09:57)
2-3 神经元多输出 (13:02)
2-4 梯度下降 (11:51)
2-5 数据处理与模型图构建(1) (16:21)
2-6 数据处理与模型图构建(2) (16:30)
2-7 神经元实现（二分类逻辑斯蒂回归模型实现） (29:46)
2-8 神经网络实现（多分类逻辑斯蒂回归模型实现） (18:02)

本节课程共两部分，第一部分对神经网络进行了完整的介绍，包括神经网络结构、正向传播、反向传播、
梯度下降等。第二部分对卷积神经网络的基本结构，包括卷积、池化和全连接等进行讲解。尤其侧重卷
积操作的细节，包括卷积核结构、卷积计算、卷积核参数数目计算等，并介绍了一个基本的卷积神经网络结构。...
3-1 神经网络进阶 (21:20)
3-2 卷积神经网络（1） (18:51)
3-3 卷积神经网络（2） (17:35)
3-4 卷积神经网络实战 (16:38)

本节课程对高级的卷积神经网络结构进行了讲解，包括AlexNet、VGGNet、ResNet、
InceptionNet、MobileNet等以及它们的演变过程。对于每个结构，本课程对其
解决的问题、子结构的基本思想以及模型中使用的重要技巧一一进行了讲解。学完本课程后，同学们可
以达到灵活搭建不同类型的卷积神经网络的能力。...
4-1 卷积神经网络进阶（alexnet） (23:14)
4-2 卷积神经网络进阶（Vggnet-Resnet） (22:50)
4-3 卷积神经网络进阶（inception-mobile-net） (22:55)
4-4 VGG-ResNet实战（1） (20:22)
4-5 VGG-ResNet实战（2） (17:53)
4-6 Inception-mobile_net（1） (15:27)
4-7 Inception-mobile_net（2） (14:39)

本节课对卷积网络中常用调参技巧（“炼丹术”）进行了系统总结和归纳。对部分重要调参技巧的背后原
理进行了讲解。调参技巧包括梯度下降、学习率、激活函数、网络参数初始化、批归一化、数据增强、
可视化训练过程分析、fine-tune等，很多调参技巧也适用其他网络。完成本课程后，学员们
可以自称“炼丹师”了。...
5-1 adagrad_adam (10:31)
5-2 激活函数到调参技巧（1） (24:13)
5-3 激活函数到调参技巧（2） (20:51)
5-4 Tensorboard实战（1） (19:54)
5-5 Tensorboard实战（2） (21:34)
5-6 fine-tune-实战 (17:31)
5-7 activation-initializer-optimizer-实战 (18:42)
5-8 图像增强api使用 (19:12)
5-9 图像增强实战 (16:02)
5-10 批归一化实战（1） (12:18)
5-11 批归一化实战（2） (12:41)

本节课程是卷积神经网络的应用课程，使用一个预训练好的VGG模型实现图像的风格转换算法。本节课
程的知识点包括使用卷积神经网络提取特征、内容特征与风格特征的定义以及图片重建方法。除了基础
的图像风格转换算法外，本课程还进一步介绍了另外两种改进版的风格转换算法。...
6-1 卷积神经网络的应用 (05:15)
6-2 卷积神经网络的能力 (04:38)
6-3 图像风格转换V1算法 (11:51)
6-4 VGG16预训练模型格式 (05:43)
6-5 VGG16预训练模型读取函数封装 (15:39)
6-6 VGG16模型搭建与载入类的封装 (18:21)
6-7 图像风格转换算法定义输入与调用VGG-Net (13:18)
6-8 图像风格转换计算图构建与损失函数计算 (17:12)
6-9 图像风格转换训练流程代码实现 (14:34)
6-10 图像风格转换效果展示 (06:22)
6-11 图像风格转换V2算法 (14:11)
6-12 图像风格转换V3算法 (05:57)

本课程循环神经网络进行了讲解。包括循环神经网络解决序列式问题和网络的基本结构、多层、双向、残
差结构以及递归截断梯度下降等。重点对常用变种——长短期记忆网络进行了详解。讲解并对比了循环
神经网络与卷积神经网络在文本分类的多种应用模型，包括TextRNN、TextCNN与HAN
（层次注意力网络，引入attention机制）等。...
7-1 序列式问题 (05:48)
7-2 循环神经网络 (23:31)
7-3 长短期记忆网络 (10:40)
7-4 基于LSTM的文本分类模型(TextRNN与HAN) (14:03)
7-5 基于CNN的文本分类模型(TextCNN) (20:21)
7-6 RNN与CNN融合解决文本分类 (15:29)
7-7 数据预处理之分词 (16:46)
7-8 数据预处理之词表生成与类别表生成 (13:21)
7-9 实战代码模块解析 (06:37)
7-10 超参数定义 (09:38)
7-11 词表封装与类别封装 (15:02)
7-12 数据集封装 (12:12)
7-13 计算图输入定义 (06:20)
7-14 计算图实现 (13:27)
7-15 指标计算与梯度算子实现 (06:42)
7-16 训练流程实现 (07:42)
7-17 LSTM单元内部结构实现 (17:13)
7-18 TextCNN实现 (09:57)
7-19 循环神经网络总结 (01:34)

本课程是卷积神经网络与循环神经网络的联合应用课程。本课程对多个模型变种进行了讲解，包括Mul
ti-Modal RNN、Show and Tell、Show Attend and Te
ll等。在课程最后对其反问题文本生成图像进行了描述，引出对抗神经网络。学完五六七课程后，同
学们对卷积神经网络和循环神经网络的应用应该有了很深入的了解了。...
8-1 图像生成文本问题引入⼊ (08:59)
8-2 图像生成文本评测指标 (08:25)
8-3 Encoder-Decoder框架与Beam Search算法生成文本 (05:34)
8-4 Multi-Modal RNN模型 (06:45)
8-5 Show and Tell模型 (02:34)
8-6 Show attend and Tell 模型 (14:58)
8-7 Bottom-up Top-down Attention模型 (05:31)
8-8 图像生成文本模型对比与总结 (04:24)
8-9 数据介绍，词表生成 (15:24)
8-10 图像特征抽取(1)-文本描述文件解析 (12:19)
8-11 图像特征抽取(2)-InceptionV3预训练模型抽取图像特征 (13:07)
8-12 输入输出文件与默认参数定义 (09:03)
8-13 词表载入 (10:16)
8-14 文本描述转换为ID表示 (05:25)
8-15 ImageCaptionData类封装-图片特征读取 (12:40)
8-16 ImageCaptionData类封装-批数据生成 (14:55)
8-17 计算图构建-辅助函数实现 (05:09)
8-18 计算图构建-图片与词语embedding (14:06)
8-19 计算图构建-rnn结构实现、损失函数与训练算子实现 (20:08)
8-20 训练流程代码 (08:09)
8-21 文本生成图像问题引入与本节课总结 (07:02)

本课程对深度学习的最新进展——对抗神经网络进行了讲解。主要包括对抗神经网络的思想和两种具体的
GAN网络，深度卷积对抗生成网络（DCGAN）和图像翻译（Pix2Pix）模型。涉及的知识
点包括生成器G、判别器D、反卷积、U-Net等。...
9-1 对抗生成网络原理 (12:30)
9-2 深度卷积对抗生成网络DCGAN(1) (10:13)
9-3 反卷积 (10:30)
9-4 深度卷积对抗生成网络DCGAN(2) (04:20)
9-5 图像翻译Pix2Pix (11:30)
9-6 无配对图像翻译CycleGAN(1) (06:34)
9-7 无配对图像翻译CycleGAN(2) (08:45)
9-8 多领域图像翻译StarGAN (12:50)
9-9 文本生成图像Text2Img (09:02)
9-10 对抗生成网络总结 (03:55)
9-11 DCGAN实战引⼊ (14:55)
9-12 数据生成器实现 (14:45)
9-13 DCGAN生成器器实现 (15:40)
9-14 DCGAN判别器实现 (07:43)
9-15 DCGAN计算图构建实现与损失函数实现 (11:12)
9-16 DCGAN训练算子实现 (06:56)
9-17 训练流程实现与效果展示 (13:04)

本课程对深度学习的最新进展——自动机器学习网络进行了讲解。自动机器学习使用循环神经网络，对需
要调整的网络结构参数进行自动搜索，从而得到比人类“炼丹师”更好的效果。本课程主要对三种最新
的自动机器学习算法进行了讲解，三种算法依次递进，自动搜索得到目前在图像分类领域最优的卷积神
经网络结构。...
10-1 AutoML引入 (07:26)
10-2 自动网络结构搜索算法一 (16:16)
10-3 自动网络结构搜索算法一的分布式训练 (08:10)
10-4 自动网络结构搜索算法二 (09:42)
10-5 自动网络结构搜索算法三 (09:19)

对课程整体进行回顾
11-1 课程总结 (16:28)