摘要：本发明提供一种支持分区并发访问的软硬件协同存储器组织方法及装置方法及装置，属于存储器设计技术领域。该方法包括如下步骤S1将存储器基于预设区分方式从逻辑上划分为地址连续的多个可独立访问的存储体；S2获取来自多个计算单元/请求源发送的多个请求信息，基于请求信息和逻辑划分模式匹配对应的存储体，将每个请求信息分别发送至对应的存储体；S3接收对应的计算单元/请求源的请求信息，基于请求信息和逻辑划分模式获取该计算单元/请求源相匹配的存储体，将该存储体的访存请求数据发送至对应的计算单元/请求源。本发明只需配备开销较小的存储访问模块和数据选择模块即可实现高并行度的访问处理，设计复杂度低，实现开销小。

摘要：一种支持融合算子生成的快速代码生成装置，属于深度学习技术领域。本发明包括LDM区域划分模块，用于根据上层框架输入的网络尺寸参数，对本地的存储空间进行功能分区；融合算子地址配置模块，用于根据上层框架输入的融合算子类型，定义算子中输入、输出、中间结果数据在功能分区中的地址；融合算子数据交互模块，提供本地与主存，及本地与本地之间异步访存的函数接口；SIMD融合算子计算模块，用于根据融合算子地址配置模块生成的地址，对算子进行融合；脉动阵列指令配置模块，用于对驱动脉动阵列进行计算的指令进行配置。本发明能够有效降低代码错误率，提高代码生成效率，简化调试过程。

摘要：本发明公开了一种支持混合精度运算的数据访存方法及装置，涉及人工智能技术领域，包括获取存储数据精度库和运算数据精度库，生成访存指令库；判断访存指令类型；为存储访存指令时，选取对应的访存指令，将与访存指令一起发来的待存储的运算数据转换成目标存储器的存储数据精度格式数据，送入至目标存储器进行存储；为运算访存指令时，选取对应的访存指令，将存储器发出的数据转换成目标运算程序的运算数据精度格式数据，送入至目标运算程序进行运行。本发明使用较小的处理代价，高效实现了统一数据存储格式的目的，且数据精度灵活可配，支持多种精度运算，另外在线的转置模式可以有效提高处理器性能。

摘要：本发明涉及机器学习技术领域，具体涉及一种支持单步调试的矩阵乘运算脉动阵列装置及调试方法，其中装置包括呈矩阵排列的运算核心、脉动阵列控制器、累加缓冲器和本地局部存储器，脉动阵列控制器包括北向数据加载器、西向数据整形与加载器、累加结果写回控制器、本地局部存储器访问接口和描述符管理解析模块，累加结果回写控制器与累加缓冲器连接，描述符管理解析模块接收单步调试模式设置及断点地址，若单步调试模式设置为有效，则西向数据加载到相应的断点地址时，停止加载西向数据及北向数据，并将已计算的结果输出至累加缓冲器。本发明的有益技术效果包括支持单步调试有助于排查运算程序的异常和错误，提高神经网络模型的训练和预测效率。

摘要：本发明涉及机器学习技术领域，具体涉及一种高效的矩阵乘运算加速装置及方法，包括矩阵乘法加速单元、北向数据加载器、西向数据整形与加载器、累加缓冲器、累加结果写回控制器和本地局部存储器，矩阵乘法加速单元包括呈二维脉动阵列排列的矩阵乘法加速核心，矩阵乘法加速单元通过北向数据加载器从本地局部存储器获取北向数据，西向数据整形与加载器从本地局部存储器获取西向数据并整形，矩阵乘法加速核心的运算单元进行乘加运算，乘加结果输入至累加缓冲器，全部运算结束后，累加结果写回本地局部存储器。本发明的有益技术性效果包括北向数据可以预加载，掩盖延迟；2)固定北向数据，增加数据重用性；3)减少数据流动，降低功耗。

摘要：本发明涉及机器学习技术领域，具体涉及一种支持累加及卸载的矩阵乘运算脉动阵列系统，包括呈矩阵排列的运算核心、北向数据加载器、西向数据整形与加载器、累加缓冲器、累加结果写回控制器和本地局部存储器，累加缓冲器包括两个缓冲器，两个缓冲器交替工作于累加模式及卸载模式下，运算核心包括乘法器、加法器和累加数据寄存器，乘法器接收北向数据和西向数据，乘法器计算北向数据和西向数据的乘积，加法器与乘法器及累加数据寄存器连接，加法器计算乘法器输出值与累加数据寄存器值的和，并输出到南侧的运算核心的累加数据寄存器。本发明的有益技术效果包括通过设置双缓冲器轮流工作在累加模式和卸载模式，进一步提高矩阵乘法运算的效率。

摘要：本发明涉及机器学习技术领域，具体涉及一种支持低开销北向数据加载的矩阵乘运算脉动阵列装置，脉动阵列装置包括n*n运算核心、北向数据加载器、西向数据整形与加载器和累加缓冲器，运算核心包括北向数据影子寄存器、忙碌锁存器、北向数据寄存器、累加数据寄存器、北向更新使能寄存器、西向数据寄存器、乘法器和加法器，北向数据加载器与第一行运算核心的北向数据影子寄存器及忙碌锁存器连接，设定节拍周期，每三个节拍向第一行运算核心的北向数据影子寄存器写入北向数据并置相应的忙碌锁存器为1，北向数据影子寄存器依次传递北向数据并在传递后复位忙碌锁存器。本发明的有益技术效果包括实现北向数据的预加载，提高了矩阵乘法运算的效率。

摘要：本发明属于高性能微处理器领域，涉及一种支持脉动阵列高效计算的方法及系统。方法包括S1将第一矩阵数据中的行数据在二维脉动阵列中以第一方向进行传输，以将第一矩阵数据中的各行数据预加载至二维脉动阵列中的各行运算CU中；S2按时钟将第二矩阵数据中带有使能更新信号的列数据以自上而下延迟依次增加的模式在二维脉动阵列中以第二方向进行传输，以将第二矩阵数据中的各列数据实时输入至二维脉动阵列中的相应运算CU中；本发明将第一矩阵数据中的各行数据预加载至二维脉动阵列中的各行运算CU中，其次，第二矩阵数据中带有使能更新信号，并根据所述使能更新信号直接提取预加载在CU单元中的所需数据。实现了第一矩阵数据加载的无缝切换与实时更新。

摘要：一种支持脉动阵列进行卷积神经网络模型训练的数据重组方法，属于深度神经网络模型训练技术领域。本发明包括如下步骤步骤1，正向卷积计算输入和输出特征图遵循通道优先格式，卷积核遵循卷积核个数优先格式；步骤2，反向计算残差以步骤1输出特征图的残差作为输入特征图，以步骤1中的卷积核作为卷积核；输入和输出特征图遵循通道优先格式，卷积核遵循卷积核个数优先格式；步骤3，反向计算权重以步骤1的输入特征图作为输入特征图，以步骤1输出特征图的残差作为卷积核；输入和输出特征图遵循通道优先格式，卷积核遵循通道优先格式。本发明能够提高数据的空间局部性，省去了计算中数排布转换的需求，提升计算效率。

摘要：一种用于脉动阵列的数据调度方法，属于神经网络技术领域。本发明包括步骤1，令待卷积/待矩阵乘的数据A分布在m个核心上；步骤2，将数据B广播给m个核心，m个核心每轮得到相同的b进行计算；步骤3，当每个核心上的分布式数据A与所有的b计算完成，将结果写回主存；步骤4，重复步骤1‑3进行数据A下一部分的计算。本发明能够有效提升片上数据的复用次数，降低带宽需求，可以有效提升硬件加速器性能。

摘要：本申请公开了一种支持阵列私有和共享数据访问的地址标识方法及装置，其方法包括当检测到芯片阵列内任意一个源计算核心执行访存指令时，计算出访问地址；基于访问地址判断访存指令的访问类型；当确定访问类型为共享空间访问时，基于源计算核心的请求转发部件将访存指令的请求转发至芯片阵列的局域网络；基于局域网络将访存指令的请求发送至目标计算核心，并由目标计算核心的访存部件对本地存储数据进行访问；对访存指令、访存指令的访问类型以及目标计算核心进行标识。本方法可支持阵列内私有和共享数据访问两种方式，通过在阵列内进行解析处理和路由访问，使得芯片具有轻量级和处理简单的特征，且还可有效改善计算性能以及数据访问速率。

摘要：本发明涉及计算机数据计算领域，具体涉及到异构计算系统的设计。本发明是通过以下技术方案得以实现的一种用于异构计算的融合算子设计方法，包含如下步骤S01、归一化算子划分步骤；在该步骤中，将归一化算子划分成和计算算子与线性缩放算子两个算子，S02、算子融合步骤；依次将所述线性缩放算子、激活算子、卷积算子、所述和计算算子组成一个融合算子。本发明的目的是提供一种用于异构计算的融合算子设计方法和异构计算系统，在保证操作的正确性和操作种类不变的情况下，对算子的融合方式进行全新的设计和拆分，使得大量计算过程的数据交互均在片上进行，优化数据交互的带宽使用效率。

摘要：本发明属于高性能微处理器领域，涉及基于轻量级消息和共享局部存储器的协同计算系统及方法。包括S1主核心执行核心算法；S2判断是否执行到加速计算部分，若否则返回步骤S1，若是则执行步骤S3；S3主核心继续执行程序中的核心算法，并同时发送轻量级消息至数据中转处理器；S4数据中转处理器在局部数据存储器中提取相应位置处的原始数据并转发至异构核心；S5异构核心进行相应计算以得到相应的结果数据，并将结果数据返回至数据中转处理器；S6数据中转处理器将结果数据发送至局部数据存储器，局部数据存储器将结果数据存储至相应位置处，以供主核心提取。本发明提供基于轻量级消息和共享局部存储器的协同计算系统及方法，系统结构简洁、交互性能高。

摘要：本发明公开了一种支持非线性函数扩展功能的并行查表方法及装置，涉及人工智能技术领域，包括将非线性函数分割成若干区间，每个区间内函数值由线性函数表示，其中线性函数系数存放在查找表内，查找表位于局部存储内；进行多格式数据转换，根据函数种类指示符中的数据格式字段，针对输入源操作数的格式，进行展开并移位至预定小数点位置；获取上述数据放置规则，计算出并行查表的表内偏移地址；向量查询基地址和表内偏移地址相加，得到待访问元素的存放地址。本发明可以在普通单端口或双端口存储器上快速实现因变量到表内偏移的转化，并实现向量查表的方法，提升向量计算结构、通用寄存器等资源的利用率，从而优化流水线性能。

摘要：本发明公开了一种实现归约算法的方法及装置，涉及人工智能技术领域，包括获取从接口发来的访存请求时，判断该访存请求是否是规约读请求；如果是规约读请求，则将一个访存请求按地址拆为多个请求，并悬挂至悬挂缓冲当收到带规约标志的响应时，在悬挂缓冲中进行规约操作；当收齐多个存储控制器返回的响应时，将规约出的结果作为一个响应返回给接口。本发明使用较小的逻辑代价，高效实现了多核人工智能处理器归约算法，避免了大量重复的访存操作，实现最大化的数据利用率。

摘要：本发明公开了一种支持数据在线重组的DMA访存方法及装置，涉及数据处理技术领域，包括DMA引擎收到DMA传输指令时，判断DMA传输指令中是否有数据重组指示，若是则获取数据传输方向以及数据重组参数信息；DMA引擎将收到的DMA指令解析并拆分为访问请求发送至传输方向上游存储；DMA引擎收到上游存储发来的访问响应数据时，将响应数据重组存放于DMA引擎内部的数据缓冲中；当数据缓冲收齐本次DMA传输指令中的所有数据，按照DMA传输指令中的数据重组参数，以重组后的格式转发给下游存储。本发明支持数据在线重组，使得数据重组过程对运算核心透明，为程序员编程提供便利性和灵活性，降低数据格式转变的实现代价和功耗。

摘要：本发明公开了一种并行查找表实现具有饱和特性非线性函数求解的方法，涉及神经网络技术领域，包括将非线性函数分割成若干区间，每个区间内函数值由线性函数表示，其中线性函数系数存放在查找表内，查找表位于局部存储内，获得查找表的表内有符号偏移地址，计算出线性系数并写入查找表内；通过配置描述符实现非线性函数求解精度与求解范围的灵活可配，得到源操作数取值范围以及查找表深度；采用对源操作数范围进行平均分割的方法进行查找表地址转换，进行非线性函数求解。本发明以在兼顾资源消耗和计算速度情况下，进一步提高硬件求解非线性函数的精度，并且可以根据不同精度饱和函数进行求解运算。

摘要：本发明公开了一种支持不同精度累加结果写回硬件的方法及装置，涉及数据处理技术领域，包括构建多个运算单元组成的二维脉动阵列；读取本地局部存储器中的北向数据，预加载在矩阵乘法加速单元中从北向南传输；读取本地局部存储器中的西向数据，加载在矩阵乘法加速单元中从西向东传输；对西向数据和北向数据进行乘加操作；累加器缓冲接收矩阵乘法加速单元最南侧的一行运算单元传输下来的累加结果，完成所有中间结果累加；将缓存结果写回至本地局部存储器。本发明运算精度灵活可配，支持多种精度运算，同时累加结果写回电路支持写回精度灵活可配。

摘要：本发明提供一种支持多种不同精度运算的脉动阵列硬件实现方法及装置，属于高性能微处理器设计技术领域。该方法包括如下步骤S1建立神经网络的阶段和运算配置相关联的关联表；S2获取神经网络的阶段，从关联表中获取与该阶段对应的运算配置；S3如果运算配置为混合精度浮点运算，则基于脉动阵列建立16*16bit+32bit定点/浮点运算模型，基于16*16bit+32bit定点/浮点运算模型进行混合精度浮点运算，如果运算配置为定点整形运算，则基于脉动阵列建立8*8bit+16bit定点运算模型，基于8*8bit+16bit定点运算模型进行定点整形运算。本发明充分挖掘降低精度的空间，提升处理吞吐率，提升脉动阵列运算性能，同时降低了不必要的硬件开销。

摘要：本发明提供一种支持工作区和结果区切换的累加器双缓冲方法及装置，属于高性能微处理器设计技术领域。该方法包括如下步骤S1在未确定两个缓冲分别为何区时将处于空闲状态的一个缓冲作为工作区、将处于卸载状态的另一个缓冲作为结果区，在确定两个缓冲分别为何区时执行S2；S2控制工作区进行累加运算并存储累加结果和控制结果区进行卸载数据；S3在工作区的累加结果存储完毕时将该缓冲切换为结果区、在结果区数据卸载完毕并清0时将该缓冲切换为工作区。本发明的累加结果不用等待缓冲数据卸载完成就可以直接与当前的缓冲进行累加并写入，因此可以隐藏累加结果写回的延迟，提高脉动阵列的性能。