目录 为什么要用激活函数 sigmod tanh ReLU LeakyReLU ReLU6 参考资料 为什么要用激活函数 在神经网络中，如果不对上一层结点的输出做非线性转换 … Continue reading 深度学习面试题05：激活函数sigmod、tanh、ReLU、LeakyRelu、Relu6
标签： relu
Relu函数及其作用(relu函数在0点时)
一、repeat函数的作用 def repeat(s: str, exclaim: bool=False) -> str: “”” Repeat a string. Parameters — … Continue reading Relu函数及其作用(relu函数在0点时)
relu和prelu
两个方面： 1.更好的拟合，但较小的过拟合风险 2.强健的初始化方法（纠正非线性） 研究：激活函数、训练的复杂性 初始化方法，帮助更好的收敛 在不同的channels，改变非线性激活函数。 额外参 … Continue reading relu和prelu