奖惩中枢与学习

二、高等动物有了奖惩中枢、应激中枢、神经内分泌就必然会有各种情绪。

奖惩刺激、应激是在特定的环境下引起的，因而必有与奖惩刺激、应激分别相应的神经内分泌状态。相应的神经内分泌状态又会带来一些“副”效应(这是遗传的作用)，比如人笑的表情等。

人高兴时会笑，不高兴时会哭。动物也有高兴与不高兴，但它们不会象人那样哭和笑。动物与人的高兴与不高兴有一共同而主要的特点，即正常情况下高兴是因为受到奖赏刺激（我们可以认为引起高兴与奖赏刺激的环境刺激相似）或预期的奖赏刺激，不高兴是因为受到惩罚刺激（引起惩罚刺激与不高兴的环境刺激相似）或预期的惩罚刺激，并有引起奖赏刺激的行为、思想等事件被强化，引起惩罚刺激的行为、思想等事件被弱化(抑制)。而接受奖惩刺激，强化或弱化(抑制)引起奖惩刺激的思想和行为是奖惩中枢的作用，也就是说这一共同而主要的特点是奖惩中枢的作用。因而有了奖惩中枢便会有高兴与不高兴的主要的神经内分泌、行为特点。

综上所述我认为奖惩中枢及与其兴奋相对应的神经内分泌是高兴与不高兴的基础与本质，动物有了奖惩中枢、神经内分泌在一定的环境刺激下便会有高兴或不高兴（对人来说奖赏中枢兴奋、相应的神经内分泌状态的产生再配以一些表面现象――如笑容及一些动作，便构成了高兴的全部）。因而高等动物必有高兴与不高兴的情绪。至于人笑的表情、狗的摇尾等都是非必须的，是遗传使它们与高兴、不高兴联系起来。

基本的情绪是高兴（快乐）、不高兴（悲哀）、愤怒、恐惧。由于高等动物能通过学习获得1、改变自己及环境状态使某动物得到惩罚刺激(攻击)而使自己得到奖赏刺激的行为。2、改变自己及环境状态使自己逃脱惩罚(逃避)的行为。并能被奖赏中枢强化。因而只要高等动物有奖惩中枢它便能学习获得攻击与逃避的行为。

愤怒往往是由于遇到与愿望相违背或愿望不能达到，并一再受到妨碍情况下产生的，愤怒的特点是受到惩罚刺激或预期的惩罚刺激（引起不高兴），在应激下出现攻击的行为或欲望，也就是说一个动物如果具有奖惩中枢、应激中枢便能有愤怒的心理及行为表现。

恐惧往往是由于缺乏处理或摆脱可怕的情景或事物的能力时引起的，恐惧的特点是惩罚刺激或预期的惩罚刺激（对引起这些刺激的可怕的情景或事物缺乏处理或摆脱的能力）（引起不高兴），在应激下出现逃避的行为或欲望，也就是说一个动物如果具有奖惩中枢、应激中枢便会有恐惧的心理及行为表现。

动物有了奖惩中枢、应激中枢、神经内分泌便会有愤怒、恐惧的情绪。遗传使一些非必须的行为与愤怒、恐惧联系起来，如毛发竖立等与愤怒的联系。

三、总结。

奖惩中枢、应激中枢、神经内分泌是高等动物生存所必须的。有了奖惩中枢、应激中枢、神经内分泌，高等动物便必有高兴、不高兴、愤怒、恐惧等基本的情绪。

对智能机器人来说，它要有自我学习能力就必须具有奖惩中枢（可用智能软件来模拟各个中枢的功能）；要迅速改变兴奋状态应付突发事件，需要应激中枢；要使各个部件的功能与环境刺激协调一至需要与神经内分泌功能相似的中枢。因而具有自我学习能力的智能机器人也一定有情感。

说明：有了奖惩中枢与注意力分配中枢就一定有应激中枢。

续

    楼主的奖惩中枢从功能定位和神经结构定位上似乎都与通常所说的情绪中枢很相像。现在的情绪心理学一般认为人的行为动机都与情绪有关。想向你请教的是，你的奖惩中枢在神经结构定位和功能上与通常所说的情绪中枢有无区别，以及区别在哪些方面？

[此贴子已经被作者于2007-12-1 22:18:53编辑过]

同上，我也在思考这个问题，

情绪与奖惩中枢的关系是什么可看了我的《生存与情绪》这篇文章。关键看你如何认识与定义情绪，如果认为情绪是思想行为的动力，则情绪中枢必然包含奖惩中枢，但奖惩中枢应是它的核心。如果认为情绪不是思想行为的动力则情绪中枢不包含奖惩中枢。如果定义情绪是人类对各种认知对象的一种内心感受或态度体验，则情绪中枢不包含奖惩中枢。我倾向于认为情绪中枢不包含奖惩中枢，这点从我的生存与情绪这篇文章可看出。情绪只是与思想行为的动力有关，而不是动力的直接来源。

奖惩中枢、神经兴奋习惯与心理学、人工智能、道德、文化、脑的高级功能等的关系。

成人语言、媒体、道德、文化对小孩的影响与奖惩系统

理想状态下，对一个小孩来说，如果按成人的命令去做，大多数情况下会获得奖赏，而不按成人所说的去做大多数情况下会获得惩罚，从而使执行成人命令更多的与奖赏中枢建立了记忆联系（包括与奖赏预期中枢），而不执行命令则更多的与惩罚中枢建立了记忆联系。

在成人命令、执行与不执行分别与奖惩中枢建立了一定的记忆联系后：

1、成人命令对小孩的刺激所对应的神经通路(用A表示)，通过“执行命令”所对应的神经通路兴奋奖赏预期中枢，A与不执行所对应的神经通路兴奋惩罚预期中枢，从而使奖惩预期中枢易化执行所对应神经通路，而抑制不执行所对应神经通路，从而使命令得以执行。

2、重复执行命令多次后，A便会习惯性兴奋执行所对应的神经通路，而使成人命令得到执行。

3、当成人命令与另一可带来奖赏的行为相冲突时（如饮食），那么这一行为对应的奖惩预期中枢便会抑制执行成人命令所对应的神经通路，而易化不执行成人命令所对应的神经通路，如果不执行占优势，小孩便会不执行成人的命令，而如果执行占优势，小孩便会执行成人的命令。

4、这便是成人命令对小孩影响能力的学习过程(理想的奖惩学习)，当然现实生活中不会有这样理想的过程，但基本机理相似。

成人语言对小孩的影响，以及书本知识、媒体、规章制度对小孩的影响形成的基本机理与之相似(当然它们对小孩的影响还应设计到小孩的认识对思想行为的影响，不过认识对思想行为的影响也是奖惩学习的结果)，且它们影响的基础仍是奖惩中枢，它们一方面通过奖惩中枢直接影响思想行为，另一方面通过各种奖惩预期来影响思想行为。

奖惩中枢、先天奖惩刺激、与奖惩中枢存在一定强度记忆联系的神经通路共同组成的系统我们称为奖惩系统，它的发展状态通过各种对行为产生影响的刺激或认识反应出来，这些刺激和认识包括对错、好坏判断，成人语言，书本知识、媒体等。

研究奖惩系统的发展变化规律意义重大。

心理学的潜意识(可认为是早期的奖惩体验带来的奖惩联系的习惯化的结果)、自我、本我、特质(遗传限制下，奖惩中枢影响下选择形成的神经兴奋习惯的集合)等都能用奖惩系统学习理论结合神经兴奋习惯形成的原理容易的解释。

通过上面的讨论可知如果要弄清道德、文化、规章制度如何对人产生影响及影响是如何形成的，同时弄清如何让人通过学习形成对它们适当的反应，就必须研究奖惩系统的发展变化规律。

奖惩系统与人工智能

有了以上的研究基础之后，我们在编写智能软件时就能借鉴以上的研究。

1、为智能软件控制的智能机器人设置初始且合理的奖惩系统，让它在环境影响下自我学习发展。

2、设置适当的智能软件学习环境、道德、文化、规章制度使智能软件的奖惩系统的发展在人的可控制下，从而使形成的智能软件后天的奖惩系统，对人有利。

奖惩系统与脑的高级功能

小孩(或智能软件控制的智能机器人)一产生是不会具有象成人一样的注意、思维、想像、意识、推理能力及意志特点(意志可认为是多个奖惩预期不断相互作用的表现)的。在人实践的过程中，正确的注意、思维、想像、意识、推理及适当的意志特点一般能带来正确的结果，也就是说能带来奖赏，会被奖赏中枢强化。错误的注意、思维等会带来不正确的结果，在实践中带来惩罚，会被惩罚中枢弱化。通过长期的奖惩实践后，人会形成与环境相适应的注意习惯、思维习惯、想像习惯(什么时候想像，如何想像)、推理习惯、意识习惯(如何注意感知，如何回忆、认识、判断)及意志特点，因而成人大脑的高级功能是在奖惩中枢的参与下形成的。

小结

综上所述可知：奖惩中枢、神经兴奋习惯对心理学、智能机器人、情感、道德、文化等众多领域的问题的解决都有重要的帮助，它们应是这些领域基础性的问题之一。我认为，之所以它们没有引起人们的关注，正是因为它们的广泛作用，而使人们习以为常的结果。

未来对以奖惩中枢为核心的奖惩系统的研究必将成为学术界研究的热点。 

进一步的论述可看下面的链接的一些blog：

http://www.roboticfan.com/blog/user_2005/2171/index.shtml

http://www.bioguider.net/user1/chenghwn/

QUOTE:

以下是引用chenghwn在2007-12-2 21:26:00的发言：
情绪与奖惩中枢的关系是什么可看了我的《生存与情绪》这篇文章。关键看你如何认识与定义情绪，如果认为情绪是思想行为的动力，则情绪中枢必然包含奖惩中枢，但奖惩中枢应是它的核心。如果认为情绪不是思想行为的动力则情绪中枢不包含奖惩中枢。如果定义情绪是人类对各种认知对象的一种内心感受或态度体验，则情绪中枢不包含奖惩中枢。我倾向于认为情绪中枢不包含奖惩中枢，这点从我的生存与情绪这篇文章可看出。情绪只是与思想行为的动力有关，而不是动力的直接来源......

谢谢你的回复！

你的观点说的很清楚，这使我还有些疑问。情绪是一切行为动机的原因现在已经越来越成为心理学研究者的共识，这是建立在大量研究发现的基础之上的，可以说是现在的主流观点。虽然主流观点也不一定就真的正确，但我觉得你在提出与主流观点相反的观点时，应该对其错误所在进行一些必要的解释。而这也是我想向你请教的。

你说：“如果定义情绪是人类对各种认知对象的一种内心感受或态度体验，则情绪中枢不包含奖惩中枢”。而我们一般较难相信，我们的任何动机不是不是因为我们的内心感受或态度体验，似乎我们的任何行为动机都与我们的感受和态度有直接的关系。而你认为动机与内心感受或态度体验没有直接关系的理由是什么呢？

另外，关于“情绪与奖惩中枢的关系”，也许是你打字时疏忽了。因为我想向你请教的是你的奖惩中枢与现在人们所说的情绪中枢的区别。为了能在下面与你的交流中更加顺利，所以提一下。

当然需要奖惩中枢的概念，我们是否及如何定义一个概念主要是看它能否有利于我们的研究与思考(说的远一点是否有利于人类的发展)。单纯的一个抑制、易化概念，好像什么都能解释，但什么也解释不清。不然的话大家仅用抑制、易化来解释本文所解释及讨论的问题看看。

……如果是这样就好了，但是这只是看来简化了，实际上你并没有简化这个问题呀,sigh

……分析一下：这些中枢的问题归结起来就是预置通路的问题，预置通路的功能就是你们所细分的中枢的功能的一部分，在情绪表现和其他重要功能方面，从我们人类的观察和分类可能不完全对应于一个形态学上可分的中枢，从构成上，并没有足够的证据证明这些中枢能够从组成上区分，从功能上，可能一个功能由多个脑区合作完成，中枢的提法，由此看来并不是形态上的，如果存在某个枢纽的部位，可以有3个，一个是原始信号传入部分，一个是原始信号处理部分，一个是分配发送部分，阻断任何一个都可以阻止其功能，但是前两个部分很可能与其他“中枢”共用，如果分配部分没有独特的独立结构，很可能会与其他中枢产生重叠

这个主题参与讨论的人比较多，而且气氛很好。我也来谈一点我的观点。

实际上，你在顶帖论文中的观点，已经被包括在行为主义心理学的内容之中了。不信的话，你可以在本网站的电子书库里，阅读《心理学的故事》中的第九章《行为主义者》。你论文中引用的四篇文献，其中两篇出自同一个作者Skinner B F.，就是行为主义心理学的代表人物之一，在该章中有重点介绍。

因为奖励机制早就被提出来了，所以要说你的理论的特别之处，就是提出了一个奖励中枢的“中枢”概念。如果你不仅把这个“中枢”的神经生理结构和作用机理解释清楚了，而且还有实验支持（是不是你的实验都行），那才算是一个实质性的科学概念。你目前只是定义了一个假设性的模糊概念，还应该继续清晰化，并寻求实证，以获实质性的突破。

QUOTE:

以下是引用thinker_jeff在2007-12-3 3:53:00的发言：

这个主题参与讨论的人比较多，而且气氛很好。我也来谈一点我的观点。

实际上，你在顶帖论文中的观点，已经被包括在行为主义心理学的内容之中了。不信的话，你可以在本网站的电子书库里，阅读《心理学的故事》中的第九章《行为主义者》。你论文中引用的四篇文献，其中两篇出自同一个作者Skinner B F.，就是行为主义心理学的代表人物之一，在该章中有重点介绍。

因为奖励机制早就被提出来了，所以要说你的理论的特别之处，就是提出了一个奖励中枢的“中枢”概念。如果你不仅把这个“中枢”的神经生理结构和作用机理解释清楚了，而且还有实验支持（是不是你的实验都行），那才算是一个实质性的科学概念。你目前只是定义了一个假设性的模糊概念，还应该继续清晰化，并寻求实证，以获实质性的突破。

大树我概括一下Ｔ．Ｊ的观点：

＂大胆假设，小心求证！＂

[em05]

我在网上查了一下只看到心理学界认为情绪与思想行为的动力密不可分，而没看到你说的情况(如果你说的情况是对的，则我的解释在后面)。我至所以那样认为，我在《生存与情绪》就认为情绪是生存选择的必然的副产物(也正因为这样的原因我对情绪并没进行深入的思考)，而不是主产物，主产物是奖惩中枢与注意力分配中枢及神经内分泌系统。既然情绪中枢也是一个功能性定义，我们清楚了情绪与奖惩中枢(奖惩学习)的关系，那么我们自然会明白情绪中枢与奖惩中枢的关系。感受与体验不能直接作为动力的来源，如果是的，就会有一刺激兴奋了感觉中枢，在不兴奋奖惩中枢的情况下就能直接做为思想行为的动力来源，这是不可能的。
其实奖惩中枢的概念并不是我首先提出来的，虽然是我独立提出的。十年前我在读大学时我对学习的机理百思不得其解，一次在思考突然有了奖惩学习与奖惩中枢的概念，虽说当时的情况不是特别清楚，但应受到条件反射的理论影响。有了这样的认识之后我感觉心理学所有的最关键的问题都能解释了。后来，我在一本书上发现了压杆实验，同时也发现了奖惩中枢的定义，具体是那本书现在不太清楚了。奖惩预期与奖惩预期中枢的概念是在2002左右思考智能软件的思想行为的动力时形成的。
所以我说我的奖惩学习的理论是对行为主义学派的发展与完善。但我的理论第一次将奖惩中枢的概念与奖惩现象统一起来，第一次讨论了奖惩中枢对皮质的影响的神经兴奋抑制机制，使微观的神经兴奋机制与宏观的认知有机的结合起来，从此我们对认知、学习的认识便上了一个新的台阶。这可看我的blog。

今后我将讨论在奖惩中枢影响下的注意力分配的问题。