Rectified Linear Unit(ReLU) - 用于隐层神经元输出Sigmoid - 用于隐层神经元输出Softmax -用于多分类神经网络输出Linear - 用于回归神经网络输出（或二分类问题）
为什么要使用sigmoid，tanh，ReLU等非线性函数？
这个原因大家都知道，为了增加非线性呗！
深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。
那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？
肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。
就是铅笔不够画的，咱得上带颜色、笔触更丰富的油画笔。> 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
/Leo_Xu06/article/details/53708647?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
