本页PDF

Recurrent Neural Network（RNN）

核心思想

RNN的核心思想是在处理序列时，网络不仅考虑当前输入，还利用之前的信息

工作原理

具体来说：

1. 隐藏层接收当前输入$x_t$和前一时间步的隐藏状态$h_{t-1}$
2. 隐藏层计算得到新的隐藏状态$h_t$（这就是隐藏层的输出）
3. 这个隐藏层的输出$h_t$会：
   • 被存储为记忆并传递到下一时间步
   • 作为当前时间步的状态表示

本页PDF

完全理解数学推导非常难！！！

Diffusion probabilistic Model（扩散概率模型）

工作流程

1. 从高维正态分布采样，维度与生成图片的维度大小相同
2. 模型对采样后的数据去除噪声，会连续经过去噪模型（次数事先定好），最后把噪声通通滤掉，得到图片
   • Denoise模型除了会接受图片作为输入，还会接受一个数字作为参数，这个数字表示当前图片受噪声影响严重的程度，客观上反映了进行到哪个step
   • Denoise模型内部的Noise Predicter对图片噪声进行预测，得到噪声图片，然后用原图片减去噪声图片得到更加清晰的图片

本页PDF

Alexnet

多个CNN层堆叠而成的经典卷积神经网络，用于图像分类的任务

• 使用了ReLU激活函数，防止深层次的网络导致梯度消失
• 使用Dropout正则化，解决过拟合问题
• 使用池化层进行进行降维

GoogleNet

传统CNN通多堆叠卷积层可以学习到图像更多特征，但会导致

本页PDF

VAE（Variational Autoencoder 变分自编码器）

• 与 AE 结构相似，但是用了特殊技巧使得 VAE的decoder 对于一个 随机的向量 可以产生结果较好的图

自编码器(AE)与VAE的对比

自编码器(AE)的局限性

• 自编码器将输入图像压缩为低维潜在向量，然后通过解码器重建图像
• 关键局限：形成的是严格的一对一映射关系
  • 特定输入 → 特定潜在向量 → 特定重建图像
• 潜在空间不连续，缺乏良好的插值特性
• 无法生成新的、有意义的样本

本页PDF

Convolutional Neutral Network（卷积神经网络）

局部连接：

CNN 不是每个神经元都连全图（像 MLP 那样），而是只看小块区域（比如 3×3）

权重共享：

整个图上，这个卷积核在每个区域滑动时 用的都是同一套参数

• 在CNN里面，通常输入的张量维度会很大，在进行识别类别的时候，只需要让每个Neutral去负责自己的Receptive field，从而识别特征，不需要看整张图片
• 卷积神经网络(CNN)训练的核心就是学习滤波器(filter)中的参数数值