文档介绍
激活函数(ReLU,Swish,Maxout)神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。ReLU(RectifiedLinearUnit,线性单元)形式如下:f(x)=⎧⎩⎨0,x,x≤0x>0(1)(1)f(x)={0,x≤0x,x>0ReLU公式近似推导f(x)其中σ(z)=∑i=1infσ(x−i+0.5)≈log(1+ex)≈max(0,x+N(0,1))=11+e−z(steppedsigmoid)(softplusfunction)(ReLfunction)(sigmoid)(2)(3)(4)(5)(6)(7)(8)(2)f(x)=∑i=1infσ(x−i+0.5)(steppedsigmoid)(3)(4)≈log(1+ex)(softplusfunction)(5)(6)≈max(0,x+N(0,1))(ReLfunction)(7)(8)其中σ(z)=11+e−z(sigmoid)下面解释上述公式中的softplus,NoisyReLU.softplus函数与ReLU函数接近,但比较平滑,同ReLU一样是单边抑制,有宽广的接受域(0,+inf),但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且从一些人的使用经验来看(Glorotetal.(2011a)),效果也并不比ReLU好.softplus的导数恰好是sigmoid函数.softplus函数图像:softplus1NoisyReLUReLU可以被扩展以噪声(Gaussiannoise):f(x)=max(0,x+Y),Y∼N(0,σ(x))f(x)=max(0,x+Y),Y∼N(0,σ(x))NoisyReLU在受限玻尔兹曼机解决计算机视觉任务中得到应用.ReLU上界设置:ReLU相比sigmoid和tanh的一个缺点是没有对上界设限.在实际使用中,可以设置