认识
2025年02月07日
一、认识
激活函数（Activation Function） 是神经网络中的一个关键组件，它的作用是引入非线性，使神经网络能够学习复杂的模式和关系。如果没有激活函数，神经网络的每一层只是简单的线性变换，最终的输出仍然是线性的，无法处理复杂问题。
激活函数 的核心作用是引入非线性，使神经网络能够学习复杂模式。对于线性回归任务，输出层一般不使用激活函数。对于分类任务，输出层一般使用 Sigmoid（二分类）或 Softmax（多分类）。ReLU 是默认选择，计算简单且适用于深度神经网络，如果 ReLU 出现神经元死亡问题，可尝试 Leaky ReLU 或 ELU
1.1 为什么需要激活函数?
在深度学习中，神经元的计算过程通常是：
如果直接将 输出，整个神经网络只是在执行线性变换，无法学习复杂的非线性关系。因此，激活函数的作用就是引入非线性，使得神经网络能够拟合复杂的函数。