大家好，今天来为大家分享被误解的人工神经网络(3)的一些知识点，和的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！

许多训练算法存在于神经网络中

神经网络学习算法尝试优化神经网络的权重，直到满足某些停止条件。当训练集上的网络误差达到可接受的水平、验证集上的网络误差开始恶化或指定的计算预算已耗尽时，通常会出现这种情况。神经网络最常见的学习算法是反向传播：一种使用随机梯度下降的算法，本系列前面已经讨论过。反向传播包含两个步骤：

前馈通道：将训练数据集通过网络传递并记录神经网络的输出，并计算网络的误差。反向传播：误差信号通过网络向后传播，并使用梯度下降来优化神经网络的权重。这种方法存在一些问题。一次性调整所有权重会导致神经网络在权重空间中大幅度移动，梯度下降算法非常慢，并且梯度下降算法容易受到局部极小值的影响。前两个问题可以通过使用梯度下降变体来解决，包括动量梯度下降（速度传递）、Nesterov 加速动力学(NAG)、梯度下降自适应梯度算法(AdaGrad)、弹性传播(RPROP) 和均方根传播( RMSProp) 来求解。从下图中可以看到，经典的梯度下降算法可以得到显着的改进。

也就是说，这些算法无法克服局部最小值，并且在尝试同时优化神经网络的架构和权重时不是很有用。为了实现这一目标，我们需要全局优化算法。目前两种流行的全局优化算法是粒子群优化（PSO）和遗传算法（GA）。

神经网络向量表示

全局优化算法的工作原理是将神经网络编码为权重向量，每个权重代表神经网络中连接的权重。我们可以使用大多数元启发式搜索算法来训练神经网络。这种技术在深度神经网络中效果不佳，因为它会使向量变得太大。

粒子群优化

为了使用PSO 训练神经网络，我们可以构建这些神经网络的群体/群体。每个神经网络都表示为一个权重向量，并从全局最佳粒子调整到其个人最佳位置。

完成训练数据集的前馈传递后，适应度函数被计算为重建神经网络的误差平方和。该方法主要考虑权值更新的速度。这是因为如果权重调整得太快，神经网络的平方和误差就会停滞，学习就不会发生。

遗传算法

为了使用遗传算法训练神经网络，我们首先构建代表神经网络的向量群体。然后，我们将三种遗传算法应用于该群体，以开发更好的神经网络。这三种遗传算法是：

选择：我们使用一次前馈传递后计算的每个网络的误差平方和对神经网络总体进行排名。种群中前x% 被选择“生存”到下一代并用于交叉。交叉：种群中前x%的基因被允许相互交叉，这个过程形成“后代”。在上下文中，每个后代将代表一个新的神经网络，其权重来自两个“父”神经网络。变异：这种遗传算法需要保持种群的遗传多样性。选择一小部分进行变异，这些神经网络中的一些权重将在特定范围内随机调整。

除了这些基于人群的启发式搜索算法之外，还使用其他算法来训练神经网络，包括动态反向传播、差分进化、模拟退火等等。就我个人而言，我建议使用局部和全局优化算法的组合来克服两者的缺点。

神经网络并不总是需要大量的数据

神经网络可以使用三种学习策略，即监督学习策略、无监督学习策略或强化学习策略。监督学习策略需要至少两个数据集，一个由具有预期输出的输入量组成的训练集，以及一个由没有预期输出的输入量组成的测试集。两个数据集都必须包含标记数据，即目标的数据模式是预先已知的。无监督学习策略通常用于发现未标记数据中的隐藏结构（例如，隐藏马尔可夫链），它们的行为与聚类算法类似。强化学习基于神经网络奖励良好行为并惩罚不良行为的简单前提。由于无监督和强化学习策略不需要对数据进行标记，因此它们可以应用于许多我们人类未知的问题。

无监督学习

最流行的无监督神经网络架构之一是自组织映射（也称为Kohonen 映射）。自组织映射基本上是一种多维缩放技术，它构造基本数据集Z 的概率密度函数的近似值，同时保留数据集的拓扑。这可以通过将数据集Z 中的输入向量zi 映射到特征图V 中的权重向量v j （神经元）来完成。保留拓扑简单地意味着，如果两个输入向量在Z 中靠近，则神经元V 到这些输入向量图也将靠近在一起。

有关自组织映射以及如何使用它们生成低维数据集的更多信息，请单击此处。 SOM（自组织地图）的另一个有趣的应用是对股票交易的时间序列图进行着色，这是为了显示当时的市场状况。该网站提供了详细的教程和代码片段，以实现改进您的外汇交易策略的想法。

强化学习

强化学习策略由三部分组成。规定神经网络如何做出决策的规则，例如使用技术和基本面指标。奖励和惩罚函数区分好与坏，例如赚钱与赔钱。还需要有一个指定长期目标的价值函数。在金融市场（和游戏）中，强化学习策略特别有用，因为神经网络可以学习优化特定数量，例如风险调整回报的适当衡量标准。