基于知识迁移的卷积神经网络通道自选择压缩与加速方法

发明专利有效专利

申请号：
CN201910165951.7
IPC分类号：G06N3/08;G06N3/04
申请日期：
2019-03-06
申请人：
华南理工大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于知识迁移的卷积神经网络通道自选择压缩与加速方法
申请号	CN201910165951.7	申请日期	2019-03-06
法律状态	实质审查	申报国家	中国
公开/公告日	2019-07-09	公开/公告号	CN109993302A
优先权	暂无	优先权号	暂无
主分类号	G06N3/08 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06N 基于特定计算模型的计算机系统〔7〕 G06N3/00 基于生物学模型的计算机系统（仿真生物的功能方面的模拟计算机入G06G 7/60）〔7〕 G06N3/02 采用神经网络模型（用于自适应控制的入G05B 13/00；用于图像模式匹配的入G06K 9/00；用于图像数据处理的入G06T 1/40；用于语音模式匹配的入G10L 15/16）〔7〕 G06N3/08 学习方法〔7〕	IPC分类号	G;0;6;N;3;/;0;8;;;G;0;6;N;3;/;0;4查看分类表>
申请人	华南理工大学	申请人地址	广东省广州市天河区五山路381号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	华南理工大学	当前权利人	华南理工大学
发明人	郭礼华;陈达武
代理机构	广州市华学知识产权代理有限公司	代理人	冯炳辉

摘要

本发明公开了一种基于知识迁移的卷积神经网络通道自选择压缩与加速方法，包括步骤：S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；S3、将目标网络的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；S4、在迁移指导知识的指导下优化目标网络，根据系数掩码进行通道软剪除，直至目标网络收敛后进行通道硬剪除。本发明方法可让网络自动选择应该剪除的通道，免去人工选择的操作，通过软剪除的操作和知识迁移的方法，保留了网络的表达容量以及提升了泛化性能，从而实现更高的压缩比和加速比。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供