一些概念

LBP

Local Bnary Pattern,局部二值模式，通过比较像素与其周围邻域的灰度值来捕获局部纹理信息，对光照变化具有很好的鲁棒性，通常与颜色特征相结合。

Gabor

一种特征描述符，基于Gabor滤波器，通过结合高斯函数（用于局部化）和正弦波（用于检测特定方向和频率的模式），捕捉局部频率信息

语言模型

给定文本序列 ,语言模型的目标是估计联合概率

应用：

• 预训练模型如 BERT,GPT
• 生成文本，给定前面几个词，不断的使用 来生成后续文本
• 判断多个序列中哪个更常见

使用计数建模

机器学习的一点笔记（其实只是拿来练一下公式输入）

1、sigmoid activation function

2、RELU activation function

现实中很多数据其实都有时序结构的

比如预测股价（根据近几年的股价信息），文本的理解（文本和上下文有关系，计算机要理解文本的文字就得结合上下文的信息）……故音乐、语言、文本和视频都是连续的

序列模型

前置知识

条件概率

First of all

In machine learing, precision and recall are two standards to evaluate a model , but why precision and recall can make such a useful work? Here are the answers

Rare classification example

When we want to train a classifier to classify the disease on the patient, you train a classifier ( if disease present, otherwise)

If the disease is a rare disease(means it only has 1% possibility to get such a disease) , you may find that you’ve got maybe 1% error on test set(which means 99% correct diagnoses)

Why ResNet can train a neural network that has more than 1000 layers

Here are the math interpretation

Take as a example,when we talk about gradient descent,we use the formula to update our

could be 10 conv_layers,based on it, we add another 10 conv_layers into our model
so

函数训练时可能遇到的问题

在训练目标函数 时，随着神经网络的深入，训练得到的模型可能离目标函数的距离越来越远

故如果我们每次训练到的模型都能把上一个模型包含进去，形成嵌套类函数的话，可以保证训练出来的模型不会越来越差，至少包含了上一个函数的特征

终于遇到好天气

后期终于有能看的照片了

为什么要提出BN

在训练神经网络的时候，前面层的网络往往数据规模比较大，越往后的网络规模会越来越小（因为最后总要输出某些东西，比如1-10的预测值），故在训练神经网络的过程中，存在以下问题：

底部的层训练较慢

底部层一变化，所有东西都得更着一起变，导致顶部的层又得重新训练一次，导致收敛变慢

下图是VGG网络（可以看出网络是经典的逐渐收敛的形状

INTRODUCTION

Divided into part procession , Diffusion Model has a “Forward Process” and a “Reverse Process”.

Forward Process

Continuously adding noise into a image