[转贴]人工神经网络

第1章 概论
人工神经网络的定义，研究的根源，交叉性     和数学学科的关系
神经细胞与生物神经网络
人工神经网络的特点
人工神经网络的发展简史
人工神经网络的类型
1.1 人工神经网络的定义
什么是人工神经网络？
   人工神经网络是以大量的具有相同结构的简单单元的连接来模拟人类大脑的结构和思维方式的一种可实现的物理系统或可通过计算机进行模拟实现。
  *大脑---高级智能系统---模拟（物理）
  *结构模拟
  *大量的模拟单元
  *连接方式
 
1.1 人工神经网络的定义
2. 人工神经网络研究和发展的根源
    (i). 现代计算机在解决信息初级加工如视觉、听觉、嗅觉的感知识别上十分迟钝，且研究进展缓慢。但人脑在这些方面远远超过了计算机。因需要向大脑学习；
    (ii). 现代计算机中每个电子元件的计算速度为纳秒(ns)级，人脑中神经细胞的反映时间只是毫秒(ms)，表现出大脑结构上和信息处理方式上的优越性。

1.1 人工神经网络的定义
 (iii). 例子：一个3-4岁的小孩能够顺利地穿过十字路口，但最先进的机器人也难以完成这项任务。
3. 交叉性及其与数学的关系
 (i). 人工神经网络是一个交叉学科，涉及到生物、电子、计算机、数学、物理、化学等多门学科。
 (ii). 与数学学科的关系
   (a) 数学是人工神经网络研究和发展的基础；
   (b) 人工神经网络也为数学学科提供了新的思想和方法。
1.1 人工神经网络的定义
例1. TSP(Traveling Salesman Problem)是一个最难于求解的问题之一，即所谓的NPC问题。 而它可通过Hopfield网络得到求解。
例2. 一般系统的建摸。
  传统的数学方法是建立
  （微分）方程，根据初
  始条件和性质求解方程和系统。而神经网络提供了一种通过一组样本点对
  经过BP学习算法训练用一个前馈网络进行逼近和识别。
1.2 大脑的结构--生物神经网络
生物神经元（细胞）结构
  
1.2 大脑的结构--生物神经网络
*神经细胞—神经元(neuron)

*神经细胞—突起           突触
  （轴突与细 胞体也可形成突触）

*膜电位（神经细胞内外电位之差） -70 mv
  （静息电位） 
1.2 大脑的结构--生物神经网络
2.神经元的激活
    当膜电位比静息电位高出约 20mv，即达到 -50mv时，神经元（细胞）被激活。表现为膜电位急剧上升，在1ms内比静息电位上升100mv，达到30mv，轴突有电流传出。然后，膜电位又急剧下降，回到静息电位。
1.2 大脑的结构--生物神经网络
*不应期
  当神经被激活后一段时间内不能或难于在被激活，这段时间称为不应期，一般持续几个ms。
 (i).  绝对不应期(1 ms)，不管神经元的膜电位多大，都不能被激活。
 (ii). 相对不应期(几ms)，当神经元的膜电位达到一定的阈值后被激活，这一阈值随时间减小，最后恢复到静息电位。

1.2 大脑的结构--生物神经网络
3.神经元的电脉冲
  (i).电脉冲 神经元在被激活后产生电脉冲，由轴突传出。相对幅值在100mv，宽度约为1ms，称为神经元的动作电位。
  (ii).电脉冲的传递

1.2 大脑的结构--生物神经网络
4. 神经元的特性
 (i).突触的特性
  兴奋性突触：后突触膜电位随递质与受体的结合数量的增加而增加（向正电位方向）。
  抑制性突触：后突触膜电位随递质与受体的结合数量的增加而减小（向负电位方向）。
 (ii).时空整和性
  空间累加：将来自不同树突的兴奋性和抑制性信号进行累加。
1.2 大脑的结构--生物神经网络
  时间累加：由于输入信号对神经元膜电位的影响要持续一段时间（几ms），因此，从时间上进行着累加。
(iii). 0-1（二元）性
    当时空累加后的膜电位超过阈值，神经元被激活，产生脉冲信号；
    当时空累加后的膜电位未达到阈值，神经元处于静止（或抑制）状态，不产生任何脉冲信号。
1.2 大脑的结构--生物神经网络
5.神经网络
 *大脑中大约有140亿个神经元，它们通过突触相互连接，形成一个复杂庞大的网络系统。因此大脑的结构便是一个神经（元）网络。
 *根据估计，每个神经元大约与1000左右的神经元相互连接。
 *大脑所形成的神经网络是有一些小的网络连接而成。根据估计，所有神经元被安排到约1000个主要的功能模块，每个模块大约有上百个神经网络，每个网络约有10万个神经元。
1.2 大脑的结构--生物神经网络
*信息的传递
      从一个神经元到另一个神经元；
      从一类神经元到另一类神经元；
      从一个网络到另>个网络；
      从一个模块到另一个模块。
*连续化
      从分析可以看出，一个神经元的输出是离散的，一般使用连续值是指其轴突输出的脉冲串在单位时间上的频率。
1.3  人工神经网络的特点
*人工神经网络是采用物理上可实现的器件或应用现有计算机来模拟大脑中神经网络的结构与功能，并将其应用于工程和其它科学领域。
*模拟并非完全一样的复制生物神经网络，而是采纳有利的部分来克服目前计算机或其它系统不能解决的问题，如学习、识别、控制等方面的问题。
*人工神经网络功能的提高依赖于以下两点：(i).
   物理器件或软件系统的水平；(ii).对大脑中网 络结构和机制认识的水平。
1.3  人工神经网络的特点
人工神经网络模型(Artificial Neuron--AN)
              表示与该神经
元相连接的所有神经元
的输出，也即神经元的
输入。           表示与相
连接神经元的突触强度
（连接权）。    表示神经元的（电压）阈值。
*神经元电位值：
1.3  人工神经网络的特点
*神经元的状态值：
*神经元的输出值：
  一般情况下取        ，     是单调上升函数，且取有限值。
*人工神经网络是将上述神经元按一定的方式或结构进行连接所形成的网络。每个神经元具有相同结构和数学模型。

1.3  人工神经网络的特点
2. 人工神经元(AN)与生物神经元(BN)的不同点
 (i). BN输出是脉冲串（离散）--- 发放率或频率（兴奋活动情况），连续型AN输出是电压；
(ii). 累加性： BN是时空累加，而AN仅是空间累加（时间累加在离散时可忽略，连续时采用延时性进行处理）；
(iii). AN不考虑不应期与突触的疲劳；
(iv). AN中突触强度对应于一个电阻，与生物中突触的结构差别很大（生化反应）；
1.3 人工神经网络的特点
(v). BN的种类很多，但在AN形成的网络中，AN的种类通常是1种，2-3种；
(vi). 生物神经网络是由大量神经元组成，并且不断的死亡和增新；而在人工神经网络中由于物理器件的限制，神经元的个数远远小于真正神经网络中神经元的数目，且不考虑神经元的死亡和增新。
3. 人工神经网络的优点
    虽然人工神经网络与生物神经网络存在着上述差异，但它与目前的冯诺依曼机相比，由于吸收了生物神经网络的优点，具有其固有的优点：
1.3 人工神经网络的特点
(i). 并行性：简单单元并行连接，在时钟控制下集体操作，处理速度快。（类似于大型体操表演）
(ii). 容错性：局部的或部分神经元出现差错，不会影响全局结果。网络能够自动纠正错误。
(iii). 分布式存储：信息储存在网络的连接权上，是分散的，而不是在储存器中。
(iv).  可学习性：人工神经网络的连接权、阈值可通过学习得到，并可根据外部环境进行自适应，自组织。
1.3 人工神经网络的特点
         
                         
1.4 人工神经网络发展简史
人工神经网络的研究可追溯到一个世纪以前，一般将这一历史分为四个时期。
初始发展期（1890-1968）
 （1）1890，James（美国生理学家）在其著作《生理学》中首次较系统地阐明了大脑的结构和功能，神经元的功能与连接，信息的传递等，并将大脑看作一个神经网络。实际上，从19世纪末以来，人们逐渐认识到了神经细胞与人体的一般细胞的不同，发现了它们之间的相互连接和信息处理功能，为进一步认识大脑的功能奠定了基础。
 （2）1943年，McCulloch 和Pitts（美国心理学家和数学家）提出了神经元的数学模型，现称为M-P模型。
1.4 人工神经网络发展简史
二值输入
二值输出
权值
阈值

 

 

相当于一个二元阈值逻辑单元，能够实现与、或、非等逻辑运算。首次为神经元建立数学模型。 
1.4 人工神经网络发展简史
（3）1949年，Hebb在其著作《行为自组织》中提出了改变神经元连接强度的学习规则（现称Hebb规则）：当A,B两个神经元同时兴奋（被激活）时，它们之间的连接强度增大。这给神经网络带来了所谓的“可塑性”，并被认为是神经网络（或人类）记忆与摸别的基础。
  * 信息是储存在突触连接的强度（权）上；
  * Hebbian规则：连接权的学习律是正比于两个被连接神经元的活动状态之乘积：
          
1.4 人工神经网络发展简史
（4）1958, Rosenblatt 发展了M-P模型，并提出了感知机（Perceptron）及其学习算法。这是历>上出现的第一个人工神经网络和学习算法。通过学习，感知机能够自动地进行二元分类。它的出现掀起了神经网络研究的第一高潮。
1.4 人工神经网络发展简史
2. 低潮时期（1969-1982）
（1）1969，Minsky和Papert在论著《感知机》中指出了感知机的局限性，即只能作线性分类，对于非线性分类，感知机无法解决。一个典型的例子便是XOR逻辑运算。他们证明了感知机无法实现XOR逻辑运算。因此他们便断言：感知机无科学价值。在由于他们在信息处理领域的权威性，神经网络的研究便被否定了。另一方面，程序化的逻辑推理型人工智能在当时发展迅速，大批学者便自然地离开了这一领域，出现了人工神经网络的研究的低潮（六、七十年代）。
1.4 人工神经网络发展简史
(2). 在这段困难的时期里，神经网络的研究并没有停止，依然有不少学者在这一领域中努力工作，做出了一些杰出的工作。
 (i).1972, Kohonen提出了自组织影射（SOM）模型，并被应用到许多方面。
 (ii). 七十年代，Grossberg对神经进行了多方面的研究，并提出了著名的自适应共振理论（ART)。
 (iii).1979、1980，Fukushima提出了认知机及新认知机(Necognitron)。

1.4 人工神经网络发展简史
3. 复兴时期（1982-1986）
(1). 1982-1984，Hopfield提出了一种互连反馈网络，现称之为Hopfield网络。
 *引入了一种能量函数，证明了网络的稳定性， 即网络的状态向能量低的方向进行演化，最终必然达到一个极小点而稳定。
  *Hopfield网络分离散和连续两种。
  *离散Hopfield网络在联想记忆和优化方面得到                                                               了重要的应用，并得到进一步的发展。
  *连续Hopfield网络在优化和语音识别方面有着重要的应用。
1.4 人工神经网络发展简史
(2). 1986，Rumelhart和Hinton等提出了多层前向网络的误差反响传播（BP)算法，使得网络可以任意逼近一个连续系统，并得到了广泛的应用。
     Hopfield网络和BP算法的出现，引起了学术界和工程界的广泛重视，使得人工神经的研究出现了复兴。由于人工神经网络在信息处理方面的优点，使得大批学者加入到了这一研究领域，掀起了神经网络研究的新高潮。
1.4 人工神经网络发展简史
4. 全面发展时期（1987-现在）
         1987年在美国召开了第一届国际神经网络学术大会，并宣告成立了国际神经网络学会，与会代表1600人。这次大会也宣告了神经网络学科的诞生。神经网络的研究进入了一个转折点，其范围不断扩大，领域几乎包括各个方面。神经网络的应用使工业技术发生了很大变化，特别是在自动控制领域有了新的突破。
         通过十多年的发展，神经网络的理论和技术呈现出以下特点：
1.4 人工神经网络发展简史
(i). 应用领域越来越广，几乎无所不包。如工程，金融，医学，社科，甚至包括战争的分析与决策（原海湾战争）。
(ii). 理论上的研究不断深入，多种网络模型的建立，网络性能的数学理论分析，学习算法的分析与研究，特别是与统计学的结合形成了“统计学习理论”的研究方向。
 (iii). 人工神经网络与当前技术的结合。 新的神经网络软件包，加速板，芯片和实现技术不断涌现，使得神经网络的应用速度和能力不断提高。
1.5 人工神经网络的类型
人工神经网络的模型和算法很多，我们从神经元的输入-输出关系，网络结构和学习算法三方面作一些归纳和分类。
1.神经元变换函数的类型（输出与状态之间的关系）
(i). 硬性函数（二元函数） 
1.5 人工神经网络的类型
函数图象为：

 

(ii). 分段线性函数
 

1.5 人工神经网络的类型
其图象为：

 

(iii). S型函数

  当             ，S型函数趋向于硬性函数。

1.5 人工神经网络的类型
(iv).其它函数
      一般要求      是单调上升的。如

2. 人工神经网络的结构分类
  (i). 前馈网络
 
1.5 人工神经网络的类型
 (ii). 输出有反馈的前馈网络

 

 

1.5 人工神经网络的类型
(iii). 前馈内层互连网络
 

1.5 人工神经网络的类型
(iv). 反馈型全互连网络
 

 

 
1.5 人工神经网络的类型
(v).  反馈局部连>网络

1.5 人工神经网络的类型
3.学习算法分类
在人工神经网络中，权（值）是一个反映信息储存的关键量。在网络的结构和变换函数确定以后，如何设计权使网络达到一定的要求，这是必不可少的部分，大多数神经网络权的设计是通过学习得到的。一般将学习算法分为下列几种：
(i). 死记式(off-line)学习
  网络的权是根据所处理问题和条件事先设计好， 并保持固定不变。
1.5 人工神经网络的类型
例如，Hopfield 网络在做优化时，权可根据优化的目标函数和约束条件来设计，一旦设计好了就不再改变。M-P模型也可设计好固定的权来实现与、或、非等逻辑运算。
(ii).     学习律 （有监督学习）
    设                         为已知的输入输出样本对，   称为导师信号，令                                   ， 若将
         作为输入，可计算出实际人工神经网络的输出                    ，那么在网络中第k神经元到第j个神经元之间权的修正量为：
1.5 人工神经网络的类型

其中    为第j个神经元处的（广义）误差，      是第     个神经的输出。当第j个神经元是输出单元时， 我们有：

感知机，自适应线性单元，BP网络都采用了    学习律。
(iii). 自组织学习和 Hebbian学习律
两个神经元之间的连接权，正比于两个神经元的活动值，即有：
 
1.5 人工神经网络的类型
(iv). 相近学习
设       为从神经元i到神经元j的权，  为神经元i的输出，则：

在以后各章中将洋细讨论各类模型、算法。将从前馈、反馈、自组织、其它类型网络几个方面进行讨论。