基于CNN-Transformer混合构架的轻量图像超分辨率方法
网络安全与数据治理
林承浩，吴丽君
福州大学物理与信息工程学院
摘要： 针对基于混合构架的图像超分模型通常需要较高计算成本的问题，提出了一种基于CNN-Transformer混合构架的轻量图像超分网络STSR（Swin Transformer based Single Image Super Resolution）。首先，提出了一种并行特征提取的特征增强模块（Feature Enhancement Block，FEB），由卷积神经网络（Convolutional Neural Network，CNN）和轻量型Transformer网络并行地对输入图像进行特征提取，再将提取到的特征进行特征融合。其次，设计了一种动态调整模块（Dynamic Adjustment，DA），使得网络能根据输入图像来动态调整网络的输出，减少网络对无关信息的依赖。最后，采用基准数据集来测试网络的性能，实验结果表明STSR在降低模型参数量的前提下仍然保持较好的重建效果。
中图分类号：TP391文献标识码：ADOI:10.19358/j.issn.2097-1788.2024.03.005
引用格式：林承浩，吴丽君.基于CNN-Transformer混合构架的轻量图像超分辨率方法［J］.网络安全与数据治理，2024，43（3）：27-33.
引用格式：林承浩，吴丽君.基于CNN-Transformer混合构架的轻量图像超分辨率方法［J］.网络安全与数据治理，2024，43（3）：27-33.
A lightweight image super resolution method based on a hybrid CNN-Transformer architecture
Lin Chenghao, Wu Lijun
School of Physics and Information Engineering, Fuzhou University
Abstract： In order to address the problem that image super segmentation models based on hybrid architectures usually require high computational cost, this study proposes a lightweight image super segmentation network STSR (Swin Transformer based Single Image Super Resolution) based on a hybrid CNN-Transformer architecture. Firstly, this paper proposes a Feature Enhancement Block (FEB) for parallel feature extraction, which consists of a Convolutional Neural Network (CNN) and a lightweight Transformer Network to extract features from the input image in parallel, and then the extracted features are fused to the features. Secondly, this paper designs a Dynamic Adjustment (DA) module, which enables the network to dynamically adjust the output of the network according to the input image, reducing the network's dependence on irrelevant information. Finally, some benchmark datasets are used to test the performance of the network, and the experimental results show that STSR still maintains a better reconstruction effect under the premise of reducing the number of model parameters.
Key words : image superresolution; lightweighting; Convolutional Neural Network; Transformer
引言
图像超分辨率(Super Resolution, SR)是一项被广泛关注的计算机视觉任务，其目的是从低分辨率(Low Resolution, LR)图像中重建出高质量的高分辨率（High Resolution, HR）图像［1］。由于建出高质量的高分辨率图像具有不适定的性质，因此极具挑战性［2］。随着深度学习等新兴技术的崛起，许多基于卷积神经网络(CNN)的方法被引入到图像超分任务中［3-6］。SRCNN［3］首次将卷积神经网络引入到图像超分任务中，用卷积神经网络来学习图像的特征表示，并通过卷积层的堆叠来逐步提取更高级别的特征，使得重建出的图像具有较高的质量。在后续研究中，Kaiming He等人提出了残差结构ResNet［5］，通过引入跳跃连接，允许梯度能够跨越层进行传播，有助于减轻梯度消失的问题，使得模型在较深的网络情况下仍然能保持较好的性能。Bee Lim等人在EDSR［6］中也引入了残差结构，EDSR实际上是SRResnet［7］的改进版，去除了传统残差网络中的BN层，在节省下来的空间中扩展模型尺寸来增强表现力。RCAN［8］中提出了一种基于Residual in Residual结构（RIR）和通道注意力机制（CA）的深度残差网络。虽然这些模型在当时取得了较好的效果，但本质上都是基于CNN网络的模型，网络中卷积核的大小会限制可以检测的空间范围，导致无法捕捉到长距离的依赖关系，意味着它们只能提取到局部特征，无法获取全局的信息，不利于纹理细节的恢复，使得图像重建的效果不佳［5］。
本文详细内容请下载：
//www.qiuzhonghe.com/resource/share/2000005931
作者信息：
林承浩，吴丽君
福州大学物理与信息工程学院，福建福州350108
此内容为AET网站原创，未经授权禁止转载。