深度学习从入门到进阶

经典机器学习 : 神经网络、反向传播算法以及正则化

a. 神经网络(Neural Networks)

i. 神经元及神经网络实例
ii. 神经网络形式化表述
iii. 神经网络的程序演示

b. 反向传播算法(Backpropagation)

i. 反向传播算法实例
ii. 反向传播算法形式化表述
iii. 反向传播算法的问题

c. 正则化(Regularization)

i. 正则化目的及原理
ii. 正则化推导及实现
iii. L1 与 L2 正则化对比

CNN 综述一: 层

CNN综述二：网络架构

a. 网络架构历史发展 LeNet-5 AlexNet ZFNet

b. 经典网络架构

i. VGG: 感受野(Receptive Field)及计算机
ii. Inception Net: 1x1 Conv, Module 以及 Ensemble 效果
iii. ResNet: Bottleneck 以及 Shortcut
iv. DenseNet: 轻型网络结构

c. 轻型网络发展历史及思路总结

i. SqueezeNet: Fire Module
ii. MobileNet-V1: Depthwise Convolution
iii. MobileNet-V2: Inverted Residuals & Linear Bottlenecks
iv. ShuffleNet-V1: Group Conv
v. ShuffleNet-V2: 4 Guidelines 及计算证明

CNN综述三：实现细节

a. 网络参数初始化策略： Gaussian / Xavier / Kaiming 含义与推导

b. 参数优化方式

i. 基于动量的方式的含义与推导 ：SGD + Momentum Nesterov
ii. 自适应方式的含义与推导: Adagrad RMSProp Adam
iii. 后 Adam 方法 AdaMax & Nadam

c. 评价方式 ：召回率/准确率/精确度 AP/ROC

d. 学习策略 ：学习率的变化

e. 验证模型的能力：交叉验证的必要性/欠拟合及过拟合

CNN 的分类问题

a. 二分类问题

i. 多分类问题 (Multi-Class Classification):Softmax 定义与求导
ii. 多标签分类 (Multi-Label Classification)
iii. 多任务分类 (Multi-Task Classification)

b. 分类问题的实际问题

i. 多分类/标签问题:动物分类项目讲解
ii. 多任务分类策略:分支策略讲解
iii. 不均衡数据问题:数据、loss、算法层面讲解
iv. 细粒度分类问题:特征、注意力机制等讲解

深度学习之两阶段目标检测

a. RCNN 算法

i. RCNN 算法的实现细节
ii. NMS 系列的发展

b. Fast RCNN

i. Fast RCNN 算法的实现细节
ii. ROI Pooling 系列的发展

c. Faster RCNN

i. Faster RCNN 算法的实现细节
ii. RPN 网络
iii. Anchor

深度学习之一阶段目标检测

a. YoLo v1

i. YoLo v1 算法的实现细节
ii. YoLo 算法的 Loss

b. YoLo v2

i. YoLo v2算法的实现细节
ii. YoLo v2 相较 YoLo v1 的提升

c. YoLo v3

i. FPN 网络
ii. YoLo v3 算法的实现细节

d. RetinaNet

i. RetinaNet 的实现细节
ii. Focal Loss 的原理与应用

计算机视觉中的图像分割

a. 图像分割的发展

b. 像素分类思想 、反卷积与升采样、跳级结构、FCN

c. UNet/ENet

d. Mask RCNN

高级循环神经网络

a. Recurrent Neural Network

i. RNN中的梯度
ii. 梯度爆炸与梯度消失
iii. LSTM，GRU
iv. RNN模型的使用场景
v. StackedRNN
vi. 时间序列模型

b. RNN使用与文本分类

i. RNN工具的使用
ii. 基于GRU与词向量的文本分类模型

TensorFlow 进阶操作

a. keras 自定义模型

b. 分布式计算

c. 多GPU操作

d. 移动端部署：转化器与翻译器

深度学习前沿--GAN

a. GAN原理介绍

b. 生成器与判别器

c. WGAN 原理介绍

d. 使用WGAN生成数字图片

深度学习前沿--初识强化学习

a. 什么是强化学习

b. 强化学习的基本概念

c. 强化学习Agen分类

d. 什么是策略网络

e. 什么价值网络

f. AlphaGo的强化学习原理

g. 什么是蒙特卡洛树搜索MTCS