一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更 … Continue reading 残差网络(Residual Network)
一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更 … Continue reading 残差网络(Residual Network)