认识

2025年02月06日

柏拉文

越努力，越幸运

一、认识

神经网络（Neural Network） 是一种受人脑神经元结构启发的计算模型，广泛用于机器学习和人工智能领域。它由多个 神经元（Neuron）组成，这些神经元通过权重（Weights）和激活函数（Activation Function） 进行计算和传递信息。

一个典型的 神经网络 主要由以下部分组成：

输入层（Input Layer）: 负责接收数据（如图片像素值、文本特征向量等）。每个节点代表一个输入特征。
隐藏层（Hidden Layers）: 由多个神经元组成，通过权重和激活函数进行计算。层数越多，网络越深，形成深度神经网络（DNN, Deep Neural Network）。
输出层（Output Layer）: 负责生成最终的预测结果，例如分类（猫/狗）或回归（房价预测）。

一个 神经元 的输出由输入、权重、偏置和激活函数共同决定，计算公式如下:

y = f(WX + b)

$X$ ：输入数据（向量）
$W$ ：权重（Weight）
$b$ ：偏置（Bias）
$f$ ：激活函数（如 ReLU、Sigmoid、Softmax）
$y$ ：输出

二、组件

神经网络 的核心组件有: 神经元（Neuron）、权重（Weights, W）、偏置（Bias, b）、激活函数（Activation Function）

2.1 权重

权重（Weights）: 连接不同神经元的参数，决定输入数据的重要性。训练过程中不断优化，以最小化误差。表示连接强度，是训练过程中优化的关键参数。

2.2 偏置

偏置（Bias）: 额外的可训练参数，提高模型的灵活性。调整激活函数的输入，提高灵活性。

2.3 神经元

神经元（Neuron）：每个神经元接收多个输入并计算加权和，使用激活函数处理后传递给下一层。

z = w_1 x_1 + w_2 x_2 + \dots + w_n x_n + b

2.4 激活函数

激活函数（Activation Function）: 引入非线性，使神经网络能学习复杂特征。常见的激活函数:

Sigmoid: $\frac{1}{1 + e^{-x}}$ （用于二分类）
Softmax: 用于多分类问题
ReLU（Rectified Linear Unit）: $\max(0, x)$ （常用于隐藏层）

2.5 反向传播

反向传播（Backpropagation）: 训练神经网络的关键算法，核心是梯度下降（Gradient Descent），不断调整权重以减少误差。

2.6 损失函数

损失函数（Loss Function）: 衡量预测结果与真实值的误差，例如：

均方误差（MSE）：用于回归任务。
交叉熵（Cross-Entropy）：用于分类任务。

损失函数理解: 刚开始预测结果与真实值误差会很大, 损失非常大。越学习越好, 误差越来越低, 损失越来越小。

三、训练

如何训练神经网络？: 神经网络的训练主要分为以下几个步骤：

初始化权重 $W$ 和偏置 $b$ :
进行前向传播（Forward Propagation）计算输出: 从输入层到输出层逐步计算神经元的输出
1. 计算加权和
2. 应用激活函数
3. 继续传递到下一层，直到输出层
计算损失（Loss Function）: 损失函数衡量预测值和真实值之间的误差
1. 均方误差（MSE）（用于回归）
2. 交叉熵损失（Cross-Entropy Loss）（用于分类）
进行反向传播（Backpropagation）更新参数: 反向传播用于计算梯度并更新权重，主要步骤如下:
1. 计算误差的梯度（对损失函数求导）
2. 使用链式法则计算每层神经元的梯度
3. 更新权重和偏置
4. 使用优化算法更新参数: 常见优化算法：
  - 梯度下降（Gradient Descent, GD）：基础优化方法
  - 随机梯度下降（SGD）：每次使用一个小批量（Batch）数据更新
  - Adam（Adaptive Moment Estimation）：结合动量和自适应学习率，收敛快
重复上述步骤，直到模型收敛

四、应用

计算机视觉（CV）：图像分类（ResNet、VGG）、目标检测（YOLO、Faster R-CNN）
自然语言处理（NLP）：文本分类、机器翻译、聊天机器人（GPT-4）
语音识别：语音转文字（ASR）、语音合成（TTS）
自动驾驶：目标检测、路径规划
推荐系统：个性化推荐（Netflix、淘宝）

一、认识​

二、组件​

2.1 权重​

2.2 偏置​

2.3 神经元​

2.4 激活函数​

2.5 反向传播​

2.6 损失函数​

三、训练​

四、应用​