英语原文共 27 页，剩余内容已隐藏，支付完成后下载完整资料
大脑皮层：延迟耦合循环振荡器网络？
摘 要
机器学习策略的改进和深度卷积网络促进了人工系统的发展，其功能类似于自然大脑。这表明这两个系统拥有相同的计算原理。在本章中，回顾了自然系统的操作在一些重要方面与人工系统中的操作有所不同。自然处理架构的特点是重现性，因此表现出高维非线性动力学。此外他们使用支持自组织的学习机制。有人提出，这些属性可以在人工系统中计算是出了名的难以实现的。大脑皮层组织和功能的实验证据得到了这一提议的审查支持。
1引言
世界上的物体，无论是有生命的还是无生命的，都是由一个相对较小的物体组成。它们几乎无限的多样性源于各部分之间关系的可变性。因此，对于物体的描述和分类来说，一种简洁明了的方法是建立组合代码，创建用于表示部件的符号，以及用于表示关系的代码。而28个符号组成的字母表足以构成世界文学。正是出于这个原因，进而优化了认知系统，以利用组合码的力量，表示输入模式的基本特征，评估和编码这些特征之间的关系，并生成特定特征一系列事物的最小重叠表示，以进行分类。正是出于同样的原因，人工认知系统的设计具有许多共同的结构特征以及与自然大脑的功能相似性。
在许多方面，进化论和人工制品在关系评估和关系结构表示方面汇聚到了类似的解决方案。这两个系统都在分层组织的多层网络中通过串行操作来实现这些功能，这些网络的节点充当积分器，并通过增益可调的分散和汇聚连接进行耦合。
然而，也存在着一些差异性。这些都涉及到一体化节点的功能、获得所需输入输出功能所需的学习机制，以及最重要的连接性。在自然系统中，正反馈连接由层之间的大量反馈（自上而下的投射反馈）和同一层节点之间极其密集的相互连接来补充。这些反馈在大多数正反馈人工系统中缺失，但在自然大脑中，它们比正反馈连接更丰富。这种连接性产生了非常复杂、高维、非平稳的动力学，有证据表明这些动力学特性被用于计算策略。在人工系统中，这些生物计算原理的实现仍处于起步阶段。
2关系的评估和编码策略
分析编码关系的一种策略是基于收敛正反馈电路。这种策略在自然系统中无处不在。对输入层的节点（神经元）进行调整，以响应输入模式的特定特征，并使其输出连接收敛到下一更高层的节点上。通过调整这些汇聚连接的增益和目标节点的阈值，可以确保目标节点优先响应输入模式中特征的特定结合。这样，特征之间的一致关系就可以通过连接特定节点的活动来表示。通过在分层结构的正反馈架构中跨多个层迭代这种策略，复杂的关系结构（认知对象）可以由更高阶的连接特定节点表示。在不同门（软体动物、昆虫、脊椎动物）的神经系统进化过程中，这种编码关系的基本策略已经独立实现了好几次，并且在哺乳动物大脑皮层处理水平的层次安排中达到了最高的复杂程度。这种策略也是为模式识别和分类而设计的众多人工神经元网络版本的标志。人工“深度学习网络”领域最近取得的巨大成功利用了这一原理在大型多层体系结构中的可扩展性。
在自然系统中，第二种编码关系的补充策略是暂时形成节点的协作集合，共同响应相关特征的特定事物。这一策略需要重现性网络，依赖于非线性自组织动力学，在包括无脊椎动物在内的多种物种的感觉系统中实现，尤其是在脊椎动物的大脑结构（如海马体和大脑皮层）中进化。正如Donald Hebb提出的，特征之间的一致关系可以通过形成分布式，但功能上一致的集合来编码，其中单个特征编码神经元相互协作。神经元对通常同时出现的特征进行编码，从而在其特定的事物中定义自然物体的特定规律，它们结合在一起形成一个集合，作为一个整体，代表特定特征之间的各自关系：在低处理水平，这些将对应于特定的特征事物，例如被知觉分组的格式塔原则捕获的事物。在更高层次的加工层次中，这种动态分配被认为代表一个具体的感知对象或一个更抽象的认知对象，如一个类别、一个概念或一个行动计划。在这种情况下，特定特征的结合不是通过正反馈连接收敛到连接特定神经元上实现的，而是通过特征选择节点之间的交互连接实现的。这些连接被赋予相关依赖性突触可塑性机制（赫布突触；见下文），并在互联节点频繁共同激活时增强。因此，经常被共同激活的节点，因为它们所调整的特征经常同时发生，从而增强了它们之间的相互作用。作为这些协作交互的结果，当各个节点被各自的特征事物激活时，它们的响应的活力和一致性被增强。通过这种方式，认知对象各组成部分之间的一致关系被转化为网络节点之间相互连接的权重分布，并由协作神经元组的联合响应来表示。因此，关于特定特征群的存在的信息不是由单个连接特定神经元的活动表示的，而是由神经元的分布式集合的放大或更相干或反射响应表示的。
两种关系编码策略各有优缺点，进化显然选择了两者的结合。正反馈体系结构非常适合评估同时呈现的功能之间的关系，并且它们不会带来稳定性问题，因为它们缺乏混响失控动力学。乍一看，人们可能还认为它们允许快速处理，因为它们完全依赖于一系列简单的求和和阈值运算。然而，皮质神经元的放电率很低，在短时间内整合时只能携带很少的信息。原则上，这个问题可以通过将节点配置为细胞簇并对其活动进行平均分配（总体编码）来解决。然而，这种策略在硬件和能源方面成本高昂。此外，皮质活动的噪声波动是相关的，这限制了平均策略的有效性，这一事实也阻碍了该研究。如下文所述，减少整合时间的另一种可能性是通过增强神经元放电的同步性而不是其速率来提高神经元反应的显著性。完全由正反馈连接组成的网络的另一个缺点是，它们不太容易处理时间隔离事件之间的关系，因为它们缺乏短期记忆功能。此外，它们在硬件需求方面成本高昂。由于特征的特定事物必须通过各自正反馈连接的收敛，由连接特定的神经元明确表示，并且由于节点的动态范围有限，需要大量节点和处理级别来应对表征现实世界对象的可能特征事物的组合复杂性（组合）。因此，完全依赖正反馈结构的生物系统只能提供有限数量的行为相关关系结构的表示。
相比之下，反复耦合、相互作用的节点（神经元）的集合可以很好地处理时间关系（序列）的编码，因为这样的网络由于混响而表现出衰退的记忆，因此可以集成时间隔离的信息。就硬件需求而言，汇编代码的成本也要低得多，因为各个特定于功能的节点可以以灵活的组合方式重新组合成大量不同的汇编，每个汇编代表不同的认知内容（组合代码）。此外，编码空间大大拓宽，因为有关特征统计偶然性的信息不仅可以编码在正反馈连接的突触权重中，还可以编码在循环和反馈连接的权重中。最后，循环耦合网络中固有的协作性促进了全新的编码或不完整关系结构（关联性）的完成，这种协作性允许模式完成和新关联的生成（生成性创造力）。
然而，汇编编码的这些优点是有代价的。这种组合编码策略的实施需要复杂的机制来控制循环网络的动态，因为（i）快速形成装配需要精细调节的静息活动水平，（ii）如果整体兴奋降低到临界水平以下，网络可能会死亡；（iii）如果达到临界兴奋水平，网络可能会参与失控动力学，并发生癫痫。大自然通过一系列自我调节机制来解决这个问题，包括突触强度的正常化、抑制性相互作用（E/I平衡）和调节系统对整体兴奋性的控制，这些调节系统将网络保持在一个狭窄的工作范围内，刚好低于临界状态。
另一个特别具有挑战性的问题，即叠加突变，是同时活动的组件的分离。当存在多个对象时，以及当这些对象及其之间的关系需要在同一网络层中编码时，就会出现这个问题。如果像Hebb（1949）提出的那样，仅仅通过组成神经元的活动增强来区分装配，那么就很难区分哪个更活跃的神经元实际上属于哪个装配，特别是如果物体在空间上有一些共同的特征和重叠。在这种情况下，相应的特征选择节点必须由多个程序集共享（“绑定问题”）。有人提出，这个问题可以通过多路复用来解决，即及时分离各种组件。然而，如果组件仅通过增强放电率来区分，则该选项也存在问题，因为增强放电率的读出需要下游结构中的时间积分。鉴于皮层神经元的放电率较低（见上文），可能需要几百毫秒才能将更活跃的组件成员与不活跃的神经元区分开来，因此多路复用只能在缓慢的时间尺度上实现。这与关于处理速度的实验证据不符。这种缓慢的多路复用还危及汇编编码的关联能力，因为在同时表示的对象之间建立关系变得很困难。因此，有人提出，暂时结合在一起的神经元的区别不仅在于其放电速率的增加，还在于其动作电位的精确同步。同步化在提高下游目标的神经元反应效率方面与提高放电率一样有效。因此，通过增加汇聚输入连接中放电的速率或同步性，可以确保在随后的处理阶段激活目标细胞。通过同步增加显著性的优点是，同步输入的积分间隔非常短，允许瞬时检测增强的显著性。因此，有关反应相关性的信息可以非常快速地读出。在极端情况下，如果以毫秒范围内的精度同步，则单个尖峰可以标记为突出，并属于特定组件。因此，由同步而非速率增加定义的程序集可以以比速率编码程序集快得多的速率复用，而不会混淆。
3学习机制
人工系统和自然系统不仅在网络结构和节点执行的计算复杂性方面不同，而且在学习机制方面也不同。自然学习机制对时间关系非常敏感，并利用这些关系建立联系。相比之下，大多数人工系统依赖于某种监督学习，在这种学习中，时间关系只起到很小的作用。在这些系统中，正反馈连接的增益被反复调整，直到输出层的活动模式以最小的重叠表示特定的输入模式。为此，将生成非常大的输入模式样本，将输出模式与期望结果的偏差作为“错误”进行监控，并通过网络进行反向传播，以改变对错误贡献最大的连接的增益。在多层网络中，这是一个极具挑战性的过程，最近的发展取得的突破主要归功于高效反向传播算法的设计。
这些学习策略与自然系统中的学习策略有很大不同。自然系统中的学习机制利用时间关系的基本作用来定义关联性。表现出一致时间关系的事件往往是相关的。同时发生的事件通常有共同的原因，或者由于相互作用而相互依存。如果一个事件始终先于另一个事件，那么第一个事件很可能是后一个事件的原因，如果事件之间没有时间相关性，那么它们很可能是不相关的。因此，通过进化建立联系的分子机制对互联节点的活动模式之间的时间关系非常敏感。决定连接增益变化的发生和极性的关键变量是会聚突触前输入中的放电和/或突触前传入放电与突触后神经元活动之间的时间关系。在自然系统中，大多数兴奋性连接是反馈和反复的，以及兴奋性和抑制性神经元之间的连接是适应性的，并且可以根据突触前和突触后活动之间的相关性改变它们的增益。在突触增益的持续变化中转换电活动的分子机制以几十毫秒的精度评估相关模式，并支持两种表达关系的策略：正反馈结构中依赖经验的连接特异性神经元生成和组装的形成。
大量的实证研究已经形成了规则，捕捉突触修饰的极性与连接神经元活动的时间模式之间的关系。这些被称为BCM和STDP规则。有趣的是，这些规则既适用于发育过程中经验依赖的回路选择，也适用于成人突触增益的学习依赖性变化。
总之，当一对细胞在时间连续性中频繁激活，或当一个细胞成功驱动另一个细胞，或当汇聚输入在同步性中激活时，成对细胞之间的（互惠）连接的突触增益增加。相反，对于活动不相关或反相关的成对细胞之间的连接，或者在目标神经元被其他输入驱动后不久放电的连接，突触增益降低。当目标细胞被抑制时，当目标细胞被其他输入强烈激活时（异突触抑制），输入也会减弱。因此，依赖于使用的突触修饰不仅对会聚活动的一致性敏感，而且对因果关系也敏感。如果兴奋性连接的活动与突触后神经元的激活有因果关系，则兴奋性连接的增益会增加，反之则会减弱。此外，突触修饰对突触前和突触后活动之间的协同性的强烈依赖性赋予了同步状态特别重要的作用。同步活动有望为加强突触连接提供特别有利的条件。这一预测得到了以下发现的支持：视觉皮层的突触可塑性是由同步伽马振荡中反复出现的网络夹带促进的。
这些使用依赖性的突触修改允许神经系统了解外部世界中特征和事件的统计偶然性，并生成关系结构的内部模型。这些学习机制的基本性质可能是支持突触传递活动依赖性修饰的分子机制显著保守的一个原因。然而，这些机制最多只能在几百毫秒的时间间隔内评估时间关系。因此，已经实施了额外的机制，以便能够在更长的时间跨度内分析相关性，例如检测和编码由长间隔分隔的偶然事件所需的相关性。这些涉及不同时间尺度的记忆功能，从短期内循环网络的衰退记忆到大脑专门结构的长期记忆机制。
4缺乏时间结构的信号关联
迄今为止确定的所有学习规则都依赖于对互联节点的活动模式之间的时间关系的评估。因此，连接特异性神经元和集合的产生需要用于选择性加强连接的活动模式具有时间结构。这就提出了一个问题，即如何分析缺乏时间结构的事件之间的关系，以及如何通过已建立的、对时间敏感的学习机制将这些事件选择性地关联起来。外部刺激之间关系的编码没有问题，只要这些刺激具有时间结构，因为感觉系统以极高的精度向刺激的时间结构发送信号。模拟研究部分基于提出的概念，证实了传统的集成和激发神经元能够以要求的精度传输时间信息。
然而，当必须在缺乏精确时间结构的神经元反应之间建立选择性关联时，需要额外的机制。对缺乏时间结构的刺激的感觉反应，或在记忆回忆或想象的背景下内部产生的活动，就是这样。实施此类机制的证据确实存在。这些对神经元反应施加了时间结构，这使得大脑能够利用现有的巧合检测和突触可塑性机制来分析和存储最初缺乏时间结构的信号之间的关系。
5时间结构活动的产生
能够产生时间结构活动的神经元机制是多样的、丰富的和进化上古老的。产生时间结构活动的一种常见且高度保守的策略是活动的振荡模式，这是解析时间的基本原理，几乎在所有时钟中都使用。某些神经元（称为起搏器或时钟神经元）以及大多数神经元网络都具有参与振荡活动的高倾向。这些振荡覆盖的频率范围很广，从0.1赫兹以下到200赫兹以上，它们往往出现在特定大脑结构和大脑状态的典型频带中。正如最近所回顾的，这些频带在不同物种甚至不同门类中都非常保守，这表明它们反映了神经细胞和/或电路的一些基本动力学，并适应于服务于特定的认知和/或执行功能。所有振荡过程的共同点是神经元经历兴奋性的周期性变化。兴奋性增强的阶段，通常与动作电位的产生有
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[591140]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
