《电子技术应用》
您所在的位置:首页 > 通信与网络 > 设计应用 > GSDCPeleeNet:基于PeleeNet的高效轻量化卷积神经网络
GSDCPeleeNet:基于PeleeNet的高效轻量化卷积神经网络
2021年电子技术应用第3期
倪伟健,秦会斌
杭州电子科技大学 电子信息学院 新型电子器件与应用研究所,浙江 杭州310018
摘要: 卷积神经网络在各个领域都发挥着重要的作用,尤其是在计算机视觉领域,但过多的参数数量和计算量限制了它在移动设备上的应用。针对上述问题,结合分组卷积方法和参数共享、密集连接的思想,提出了一种新的卷积算法Group-Shard-Dense-Channle-Wise。利用该卷积算法,在PeleeNet网络结构的基础上,改进出一种高效的轻量化卷积神经网络——GSDCPeleeNet。与其他卷积神经网络相比,该网络在具有更少参数的情况下,几乎不损失识别精度甚至识别精度更高。该网络选取1×1卷积层中卷积核信道方向上的步长s作为超参数,调整并适当地选取该超参数,可以在网络参数量更小的情况下,拥有更好的图像分类效果。
中图分类号: TN911.73;TP399
文献标识码: A
DOI:10.16157/j.issn.0258-7998.200844
中文引用格式: 倪伟健,秦会斌. GSDCPeleeNet:基于PeleeNet的高效轻量化卷积神经网络[J].电子技术应用,2021,47(3):22-26,30.
英文引用格式: Ni Weijian,Qin Huibin. GSDCPeleeNet:efficient lightweight convolutional neural based on PeleeNet[J]. Application of Electronic Technique,2021,47(3):22-26,30.
GSDCPeleeNet:efficient lightweight convolutional neural based on PeleeNet
Ni Weijian,Qin Huibin
Institute of New Electronic Devices and Applications,School of Electronic Information,Hangzhou Dianzi University, Hangzhou 310018,China
Abstract: Convolutional neural network plays an important role in various fields, especially in the field of computer vision, but its application in mobile devices is limited by the excessive number of parameters and computation. In view of the above problems, a new convolution algorithm, Group-Shard-Dense-Channle-Wise, is proposed in combination with the idea of grouping convolution and parameter sharing and dense connection. Based on the PeleeNet network structure, an efficient lightweight convolutional neural network, GSDCPeleeNet, is improved by using the convolution algorithm. Compared with other convolutional neural networks, this network has almost no loss of recognition accuracy or even higher recognition accuracy under the condition of fewer parameters. In this network, the step size s in the channel direction of convolution kernel in the 1×1 convolutional layer is selected as the super parameter. When the number of network parameters is smaller, better image classification effect can be achieved by adjusting and selecting the super parameter appropriately.
Key words : image classification;convolutional neural network;lightweight;dense connectivity;parameter sharing

0 引言

    随着深度学习理论的提出和硬件设备计算速度的不断突破,卷积神经网络在近年来得以迅速发展。2012年,AlexNet[1]在ImageNet大规模视觉识别挑战赛中获得了图像分类冠军。之后,为了提高网络模型的准确率,研究人员不断地加深卷积网络的深度,相继提出了性能更加优越的卷积神经网络,如VGG16[2]、GoogLeNet[3]和DenseNet[4]等。

    这些网络准确率普遍较高,但是有着非常复杂的模型和很深的层次,参数量十分巨大。在实际生活的应用中,模型往往需要在资源有限的嵌入式设备和移动设备上运行。因此,研究人员开始着手研究,并且相继提出了更高效的轻量级卷积神经网络。它们保持了网络的性能,大大减少了模型的参数量,从而减少计算量,提升了模型速度。

    旷视科技的ShuffleNet在ResNet[5]单元上进行了改进,有两个创新的地方:逐点分组卷积和通道混洗[6]。WANG R J等提出的PeleeNet是一种轻量级网络,它在DenseNet基础上进行了改进和创新,主要有五个方面的结构改进[7]。ZHANG J N等提出了一种卷积核及其压缩算法,通过这种卷积方法,ZHANG J N等发明了轻量卷积神经网络SDChannelNets[8]

    可以看出,上述轻量卷积神经网络均存在一定不足。在使用分组卷积时,为了解决分组卷积导致的信息丢失问题,需要增加额外的操作。在运用1×1卷积时,会导致1×1卷积的参数量在网络总参数量中占据大部分。通过分析,这些网络需要通过调整相应的超参数来提高网络识别精度。这些操作往往会大大增加网络模型参数量。

    为了解决这个不足,本文结合参数共享密集连接的卷积方法和分组卷积,基于PeleeNet网络,提出了轻量级卷积神经网络架构GSDCPeleeNet。适当调节超参数,在损失较小准确度甚至拥有更高准确度的情况下,减小了模型的参数量。  




本文详细内容请下载://www.qiuzhonghe.com/resource/share/2000003403




作者信息:

倪伟健,秦会斌

(杭州电子科技大学 电子信息学院 新型电子器件与应用研究所,浙江 杭州310018)

此内容为AET网站原创,未经授权禁止转载。
Baidu
map