英语原文共 33 页，剩余内容已隐藏，支付完成后下载完整资料
基于现场可编程门阵列使用自治的储备池计算实现布尔网络
Stefan Apostel, Nicholas D. Haynes, Eckehard Schouml;ll, Otti Drsquo;Huys , and Daniel J. Gauthier
摘要
在本章中，我们考虑在电子设备上实现储备池计算机可以允许数十个网络节点的芯片，其连接拓扑页可以快速重新配置。储层计算机可以显示类似模拟的行为，并具有超越图灵机的计算的潜力。在详细地，我们展示了我们使用物理储备池计算机的初步结果执行识别书写数字的任务。储存器是在市售电子设备上实现的，称为现场可编程门阵列，我们创建了一个用于信息处理的自治布尔网络。甚至，虽然网络节点是布尔逻辑元素，但它们依然可以显示模拟行为，即使没有控制节点的主时钟。此外，电子与写入数字图像相关的信号以高位注入储备池的速度，带来纳秒级全图分类的可能规模。我们注入信号，探索自治布尔网络的动态响应，并根据这些结果，研究储备池计算机在书面数字任务中的性能。对于广泛的储备池结构，我们在正确识别书写数字方面获得 90% 的典型性能，这超过了线性分类器获得的值。这项工作为实现基于现成现场的可编程的低功耗、高速储备池计算门阵列，与现有的计算基础设施完美匹配
第一章 介绍
正如本卷中的广泛贡献所表明的那样，人们对于在储备池计算中（Jaeger 和 Haas 2004），他们的基础研究属性非常感兴趣，以便将它们用于广泛的应用程序。虽然许多研究使用用于模拟储备池计算机(RC)的标准 图灵-冯·诺伊曼计算机，物理储备池计算机具有展示超图灵计算机的潜力，并且可能提高信息处理速度。构建物理储备池计算的一个挑战正在制造一个足够大的储备池，这可能需要100到1,000次非线性输入输出节点，以及节点之间的大量互连（链接）。
能够以高速运行的非常成功的替代方案是使用具有时延反馈的单个非线性节点实现，而 RC“虚拟”节点的数量由延迟时间与节点特征时间尺度的比率决定。此类平台已被广泛用于机器学习任务，例如对口语进行分类 (Appeltant et al. 2011)高速（Larger et al. 2017），非线性通道均衡（Paquot et al. 2012），并对串行数字数据进行分类（Haynes et al. 2015）。不幸的是，这种方法需要复杂的时间延迟和输入信息的多路复用（掩蔽）和注入环路（Appeltant 等人 2014；Rouml;hm 和 Luuml;dge 2018）。原则上，这种掩蔽可以使用专用硬件实时完成最近已经证明（Penkovsky et al. 2018），但大多数证明日期离线执行此预处理，从而减慢整体操作RC的速率。
另一种可能可扩展的方法是使用非线性光学微环在平面光子芯片上制造的谐振器（Denis-Le Coarer 等人，2018 年；Mesar itakis 等人，2015 年），或线性微环谐振器阵列或漩涡，其中非线性是由平方律检测器提供的（即，响应读出层中的光强度而不是场强度）（Katumba 等人。2018;范多恩等人。 2014;文基尔等人。 2015；张等人。 2014）。由于光学原因，该技术目前仅限少量（~16）数量的谐振器损失和网络连通性受到平面几何形状的限制。但是这个平台随着光子芯片质量的提高，可能会找到未来的应用。
在这里，我们专注于使用商用电子设备的方法被称为现场可编程门阵列（FPGA），与上面讨论的光子方法相比，它大大简化了创建储层。与定制板相比，FPGA 也更容易重新配置离散逻辑（Mason et al. 2004; Zhang et al. 2009）（即设备使用焊接在板上的单芯片逻辑门的集合）。松香 (2015) 开创先河FPGA在实现自治时延布尔网络中的应用（Ghil和Mullhaupt 1985 年）。在这里，FPGA被配置为实现一个储备池，其中FPGA逻辑元件充当名义上执行布尔运算的网络节点对输入的操作。自主表示逻辑元件是不受主时钟门控；他们一到达就处理新的边输入到逻辑元件。此外，由于网络是自动的，信号沿着链路以有限的传播速度行进，因此链路延迟必须予以考虑。复杂网络的自主性质允许了超越图灵计算的可能性（Ghil et al. 2008）。自FPGA上的网络先前已用于储备池计算并应用到数字串行数据模式的高速模式识别 (Haynes et al. 2015)和混沌动力学的高速预测（Canaday et al. 2018）。 FPGA 也可以在时钟模式下运行，从而实现有限状态机并提供加速钢筋混凝土软件仿真的可能性。这种做法已应用于信道均衡（Antonik 2018；Antonik et al. 2015；Skibinsky-Gitlin等。 2018;易等人。 2016）和语音识别（Alomar et al. 2015; Penkovsky等。 2018）。
在本章中，我们描述了使用基于FPGA的RC的初步研究用于执行分类任务：识别包含人工书写的图像数字（MNIST 任务）。虽然 RC 最适合处理时间相关的信号，这就对对图像执行分类任务提出了有趣的挑战，例如确定将数据注入储层的有效方法。我们也采取有机会研究自主布尔型网络(ABN)的动态对扰动的响应，例如随着节点度数变化的相变。这项研究有助于指导RC元参数的选择。
在下一节中，我们将介绍具有相关数学模型的储层概念，将我们对ABN动力学的实验研究描述为网络参数在 Sect 中有所不同。3、在FPGA上实现RC并用于Sect 中的书面数字 (MNIST) 任务。4、讨论未来方向并总结教派。 5（使徒 2017 年）。我们简要讨论了使用 FPGA 并在附录中描述了我们的实验工作流程。
第二章 基于自主布尔型的储备池计算机网络
将RC与其他人工神经网络区分开来的一个方面是，每个节点本身就是一个动态系统。Glass及其同事（Edwards和Glass 2006）已经广泛研究了自动布尔网络的动力学，使用节点i由连续变量 xi 描述的模型，其行为为由衰减率 gamma;i的一阶微分方程控制，并由节点输入的布尔函数 fi。函数fi通过查找表定义如下所述，并且基本上可以采用任何符合以下要求的布尔函数节点的输入数量。在我们的工作中，衰减率gamma;i模型由于输入电容和FPGA逻辑元件的有限上升时间对于 gamma;i sim; 2pi;/(0.41 ns) 的所有节点，电感和名义上是相同的。什么时候信号从节点j传
图1 油藏计算机结构示意图
播到i经历延tau;i,j，即所谓的Glass模型可以扩展到一组延迟微分方程（Edwards et al. 2007）。延误出现在我们基于FPGA的系统中，因为信号以有限的速度传播沿着连接线，其中附近逻辑元件之间的典型延迟时间只有几十皮秒。为了有目的地增加更多延迟，我们使用成对的沿网络链接串联的非门，我们获得的延迟每对门约为0.52 ns (Lohmann et al. 2017)。我们特别注意书面用于配置FPGA的硬件描述语言（在更大的描述附录中的详细信息），以确保用于创建延迟的逻辑门不从我们的设计中删除。采用这种理论方法进行时延储备池计算ABN，如图1所示，RC的动态由Gauthier (2018)给出
在这里，u j(t)是输入到RC的第J个信号，它们连接到N个储层具有随机固定权重的节点获胜, Wi，n是随机的固定内部权重水库，ym(t) 是具有训练（可变形）权重的RC的M个输出Wm，n。通常，W是稀疏的，因此典型的节点度数（输入数）基很小。储层将输入数据嵌入到更高维的相空间，当 N gt; J 因为节点的非线性响应，称为维度扩展，通常是有效信息处理的关键要求。因为在时间延迟中，储层的相空间维度是无限的，可以是通过考虑时滞微分方程的初始条件可以看出必须在最大链路延迟的实际间隔内指定。
当参数u j和xn是布尔值时，计算 fi 特别简单，但是W是真实的。这里，出现在论证中的乘法和加法fi可以在选择W后一次性完成，从而定义布尔值查找表(LUT)。此后，仅使用 LUT，不再进行任何必须的操作。此过程完美映射到 FPGA 逻辑结构元素，这些元素基于 LUT，如附录中所述。类似于方程式的模型。(1) 已被用于理解时间延迟的动态 代表简单基因调控网络的ABN在一个例如，FPGA可以捕捉观察到的极长瞬态行为实验（DHuys et al. 2016; Haynes et al. 2015; Lohmann et al. 2017）。尽管我们不考虑方程式的解决方案。1在这里，为了完整起见，我们将其包括在内，因为它是对基于 FPGA 的 RC 进行理论分析的良好起点。
对于这里考虑的分类任务，我们调整 ，使用有限大小的训练数据集，以便生成的输出正确地将每个输入分类为最小二乘感觉，称为监督学习。具体来说，输出权重矩阵为通过注入有限长度的输入训练数据集 U(t) 并记录网络动态 X(t)。在这里，我们假设网络的状态被采样以相等的离散时间间隔 t 使矩阵是有限维的。基于根据这些观察结果，我们修改以最小化输出 Y 的误差（classes）到预期的输出，结果导致
其中 beta; 是正则化参数，I 是单位矩阵，T 表示转置。 beta; 的非零值确保 的范数不会变为大，防止训练对噪声的敏感性，并提高泛化性RC到不同的输入。 我们强调 X(t) 是网络的串联所有输入数据的动态，这是下面描述的图像数据的集合昆虫。4.1。我们还可以找到方程式的解决方案。(3)使用梯度下降法，当矩阵尺寸很大时，这很有帮助。 梯度下降例程在深度学习社区开发的现代工具包中很容易找到，并且它们可以使用图形处理单元高速运行。 另一种方法是使用递归最小二乘法
第三章 随机自治布尔网络的动力学
在讨论RC用于MNIST分类任务的性能之前，我们探讨了在FPGA上实现的时延ABN在不同网络参数下的动态特性。我们试图识别从有序到无序(混沌)行为的相变，并将我们的观察与时钟布尔网络的预测进行比较。确定相变的位置是很重要的，因为RC的性能预计在从有序到混沌的过渡边界附近是最高的(Yildiz等人2012)。
3.1时钟型随机布尔网络的动力学
有相当多的文献关于时钟随机布尔网络的动力学，我们在这里简要地总结了一些发现。一个有时钟的随机布尔网络(RBN)通常由N个节点组成，每个节点接收恰好K个输入。布尔节点函数fi是根据一个随机的LUT定义的，其中LUT中一个条目取值0(1)的概率是p(1minus;p)，通常被称为节点偏差(Derrida和pomau1986;Flyvbjerg 1988;Luque和Soleacute; 2000)。
对于一个具有随机和固定(淬灭)函数和连接的时钟RBN，网络是一个具有有限状态数的确定性系统(一个有限状态机)，它必须表现出最大周期为2N的周期行为。随着K和p的变化，可以观察到不同的网络行为。当动力学进入一个不动点或进入一个低周期轨道时，一种行为称为有序。另一种通常称为混沌的行为是，当周期接近其最大值时，所跟随的特定周期轨道对单个网络节点的初值变化很敏感。当然，RBN中不可能存在混沌，因为所有的行为都是周期性的，但提出混沌这个术语是因为动力学对初始条件的敏感性。利用退火网络方法(Derrida和pomau1986)，给出了序-混沌转换
极限N→infin;，如图2所示。
图2有时钟RBN的有序-混沌相变
3.2 FPGA上ABN的动力学特性
在时钟rbn结果的指导下，我们在FPGA上对随机ABN的动力学进行了实验研究。在这里，我们使用附录中描述的有限状态机在离散(时钟)时间间隔测量每个节点的布尔化状态。我们从公式1所描述的所有可能性中选择网络的一个子集，以便与之前在时钟网络上的工作进行比较。特别地，我们考虑N = 64的网络，每个网络有恰好K个输入和输出，因此，在公式1中出现的Wi, N是相当稀疏的。这里，我们只考虑Kle;4。每个节点分配一个随机的和固定布尔函数与偏见fi p的限制下fi = 0时所有输入为零,这样的网络处于静止状态(没有自激振荡)当FPGA是第一次打开这个价值或重置。这一限制将偏差限制在pmax = 1 ~ 1/ 2k，这有利于实现RC，因为它可以使储层处于良好的初始状态。此外,减缓网络动力学(堪et al . 2018年)更好地匹配的速度我们可以注入数据RC(参见下一节),和更紧密地匹配时钟RNB理论,我们使用一个名义上的延迟tau;常数联系我,n = 12.8plusmn;0.5 ns。这里，链路延时是通过使用一对对串行连接的非门来设置的，其中每对门导致的延时为~ 0.52 ns (Lohmann等人2017)。在本研究中，我们调查了6000个随机选择的网络的动态。
如图3所示，在每个节点的输出处使用OR逻辑门设置网络的初始条件。初始时，将所有节点的状态设置为0以复位网络，然后在一个5ns长的窗口内设置所需的初始条件，并传递给链路延迟线。这是使用OR门完成的，其中u j(t)出现在输出中，而节点处于状态0。一旦来自其他网络节点的信号出现在该节点的输入端(经过一个延迟时间tau;j，s)，任何仍被注入该节点的与u j(t)相关的信号将通过OR门与传入的节点信号“混合”。
图3在节点j的输出上使用OR门注入该节点的输入数据，如图K = 2所示。从OR门发出的信号通过延迟线连接到节点i和r
一般来说，将初始条件设置为随机二进制值将破坏所有节点都等于0的初始稳定网络状态，从而产生
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[591139]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
