函数训练时可能遇到的问题

在训练目标函数 时，随着神经网络的深入，训练得到的模型可能离目标函数的距离越来越远

故如果我们每次训练到的模型都能把上一个模型包含进去，形成嵌套类函数的话，可以保证训练出来的模型不会越来越差，至少包含了上一个函数的特征

ResNet提出的解决方法

何恺明等人基于前人提出的ResNet残差神经网络很好地解决了这个问题，若要目标函数为

那我们训练的函数为，称为，则

X为上一层函数

这样子，每一次训练出的下一层模型都会包含前一层的参数，从而确保随着模型的深度增加，误差不会越来越大

ResNet的结构