DL之HNN：Hopfield神经网络(HNN之DHNN、CHNN)的相关论文、简介、使用案例之详细攻略

导读：Hopfield神经网络（HNN）是一种具有循环、递归特性，结合存储和二元系统的神经网络。由约翰·霍普菲尔德在1982年发明。对于一个Hopfield神经网络来说，关键在于确定它在稳定条件下的权系数。Hopfield神经网络分为离散型和连续型两种，主要差别在于激活函数的不同。Hopfield神经网络（HNN）提供了模拟人类记忆的模型。       

目录

HNN

1、Hopfield神经网络应用

一、HNN之DHNN

1、DHNN

2、DHNN网络权值的选取

二、HNN之CHNN

---

相关文章
DL之HNN：基于HNN(subplot)将凌乱数字矩阵图像(模拟手写数字图片)实现转为最相近的阿拉伯数字

HNN

       1982年，美国加州工学院生物物理学家约翰·霍普菲尔德Hopfield开创性地提出了一种新型的连续时间递归神经网络模型(原始的Hopfield模型)。1982年，约翰·霍普菲尔德认识到如果这种连接是对称的，那就存在一个全局的能量函数。整个网络每个二进制单元的“配置”都对应了能量的多与少，二进制单元的阈值决策规则会让网络的配置朝着能量函数最小化的方向进行。 使用这种类型的计算的一种简洁方法是使用存储器作为神经网络的能量最小值，使用能量极小值的记忆提供了一个内存关联存储器(CAM) 。

        Hopfield神经网络HNN（Hopfiled Neural Network)是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值，而非全局极小的情况也可能发生。Hopfield神经网络也提供了模拟人类记忆的模型。

        Hopfield神经网络是一种循环神经网络，每个节点的输出都是其他节点的输入(但不存在自反馈)，下边的T代表阈值(类似NN的偏置)。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfield网络也提供了模拟人类记忆的模型。

 

1、Hopfield神经网络应用

         Hopfield神经网络早期应用包括按内容寻址存储器，模数转换、优化组合计算、解决TSP问题等。具有代表意义的是解决TSP问题，1985年Hopfield和Tank用Hopfield网络求解N=30的TSP问题，从而创建了神经网络优化的新途径。除此之外，Hopfield 神经网络在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

一、HNN之DHNN

1、DHNN

DHNN—离散型Hopfield神经网络：Hopfield最早提出的网络是二值神经网络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输入、输出只取{0，1}或者{ -1，1}，所以也称为离散型Hopfield神经网络DHNN（Discrete Hopfiled Neural Network）。在DHNN中，所采用的神经元是二值神经元；因此，所输出的离散值1和0或者1和-1分别表示神经元处于激活状态和抑制状态。
        离散Hopfield神经网络DHNN是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如－1）。

DHNN的特点：

• DHNN是一种多输入、含有阈值的二值非线性动态系统—能量函数。在动态系统中，平衡稳定状态可以理解为系统某种形式的能量函数（energy function）在系统运行过程中，其能量不断减少，最后处于最小值。
• DHNN稳定的充分条件是权重系数矩阵W是一个对称矩阵且对角线元素为0：如果DHNN的权系数矩阵W是一个对称矩阵，并且对角线元素为0，则这个网络是稳定的。W是一个对称矩阵仅是充分条件，不是必要条件。

• DHNN的类人类的联想记忆功能：DHNN一个重要功能是可以用于联想记忆，即联想存储器，这是人类的智能特点之一。
  DHNN实现联想记忆过程分为两个阶段：
  1)、学习记忆阶段: 设计者通过某一设计方法确定一组合适的权值，使DHNN记忆期望的稳定平衡点。
  2)、联想回忆阶段: DHNN的工作过程。

DHNN局限性：

• DHNN记忆容量的有限性—无混沌状态：由于网络状态是有限的，不可能出现混沌状态。
• DHNN的伪稳定点的联想与记忆；
• DHNN对于近似样本容易出错：当记忆样本较接近时，网络不能始终回忆出正确的记忆等；
• DHNN平衡稳定点不可以任意设置：也没有一个通用的方式来事先知道平衡稳定点。

激活函数：DHNN中采用的是sgn函数
阈值Tj：以前是加偏置，但现在是减阈值，其实思想是一样的。t是迭代次数。

2、DHNN网络权值的选取

二、HNN之CHNN

       连续Hopfield神经网络CHNN（Continuous Hopfield Neural Network）与DHNN在拓扑结构上是一致的。

• HNN与DHNN的主要区别—CHNN采用S型连续的Sigmoid函数：CHNN与DHNN不同之处在于其函数g不是阶跃函数，而是S型的连续函数。
  (1)、CHNN与DHNN的主要差别在于：CHNN神经元激活函数使用Sigmoid函数，而DHNN神经元激活函数使用了硬极限函数。
• CHNN的各个神经元同步式工作：CHNN在时间上是连续的，所以CHNN网络中各个神经元是处于同步方式工作的。
• CHNN网络是稳定的条件—函数连续且有界+权值 系数矩阵对称：当CHNN网络的神经元传递函数g是连续且有界的（如Sigmoid函数），并且CHNN网络的权值系数矩阵对称，则这个CHNN网络是稳定的。

1、优化问题

        在实际应用中的系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么CHNN网络和优化问题直接对应。这样，大量优化问题都可以用CHNN网络来求解。这也是Hopfield网络用于神经计算的基本原因。