ImageNet Classification with Deep Convolutional Neural Networks第三节解释了他们使用的卷积神经网络架构。
饱和非线性
饱和的激活函数会将输出结果缩放到有限的区间:
sigmoid激活函数的范围是[0, 1],所以它是饱和的
tanh激活函数的范围是[-1,1],所以它是饱和的。
非饱和非线性
非饱和的激活函数会将输出结果缩放到无穷区间
对于ReLU激活函数f(x) = max(0, x),当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。