基于稀疏性深度学习的航拍图像超分辨重构

doi:10.12305/j.issn.1001-506X.2021.08.04

系统工程与电子技术 ›› 2021, Vol. 43 ›› Issue (8): 2045-2050.doi: 10.12305/j.issn.1001-506X.2021.08.04

基于稀疏性深度学习的航拍图像超分辨重构

王彩云^1,*, 李阳雨¹, 李晓飞², 王佳宁², 魏文怡¹

1. 南京航空航天大学航天学院, 江苏南京 210016
2. 北京电子工程总体研究所, 北京 100854

收稿日期:2020-09-14 出版日期:2021-07-23 发布日期:2021-08-05
通讯作者: 王彩云
作者简介:王彩云(1975—), 女, 副教授, 博士, 主要研究方向为雷达目标检测与识别、图像处理|李阳雨(1994—), 男, 硕士研究生, 主要研究方向为图像处理、目标识别|李晓飞(1984—), 女, 研究员, 博士, 主要研究方向为目标识别、弹道导弹识别|王佳宁(1988—), 女, 副研究员, 博士, 主要研究方向为海面目标检测与识别|魏文怡(1994—), 女, 硕士研究生, 主要研究方向为计算机视觉、图像处理
基金资助:
国家自然科学基金(61301211);国家留学基金(201906835017)

Aerial image super-resolution restruction based on sparsity and deep learning

Caiyun WANG^1,*, Yangyu LI¹, Xiaofei LI², Jianing WANG², Wenyi WEI¹

1. College of Astronautics, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
2. Beijing Institute of Electronic System Engineering, Beijing 100854, China

Received:2020-09-14 Online:2021-07-23 Published:2021-08-05
Contact: Caiyun WANG

摘要/Abstract

摘要：

为降低无人机硬件设备升级成本, 研究利用深度学习技术进行航拍图像超分辨(super-resolution, SR)。针对神经网络训练参数量大的特点, 提出了一种稀疏卷积神经网络SR(SR based on sparse convolutional neural network, SRSCNN)重构方法, 对神经网络连接权值进行选择性筛选达到压缩网络结构并减少训练时间的目的。实验结果表明, 该方法在缩短网络学习时间, 图像重构效果和计算时间上具有一定优越性。同时, 设计了一种基于显著性区域的图像质量评价方式, 更适应航拍图像后续处理工作。

关键词: 图像超分辨, 深度学习, 卷积神经网络, 航拍图像, 图像质量评价

Abstract:

In order to reduce the cost of unmanned aerial vehicle (UAV) hardware upgrades, super-resolution (SR) based on deep learning of aerial images is studied. SR based on sparse convolutional neural network (SRSCNN) is proposed to compress network structure and reduce the training time by selectively screening the weights of the neural network connections. The experimental results show that the method can effectively shorten the network learning time required under conditions of superiority of the reconstruction effect and computing time. Meanwhile, a saliency-map-based image quality assessment method is designed, which is more suitable for the follow-up processing of aerial image.

Key words: image super-resolution (SR), deep learning, convolutional neural network, aerial image, image quality assessment

中图分类号:

TN911.73

王彩云, 李阳雨, 李晓飞, 王佳宁, 魏文怡. 基于稀疏性深度学习的航拍图像超分辨重构[J]. 系统工程与电子技术, 2021, 43(8): 2045-2050.

Caiyun WANG, Yangyu LI, Xiaofei LI, Jianing WANG, Wenyi WEI. Aerial image super-resolution restruction based on sparsity and deep learning[J]. Systems Engineering and Electronics, 2021, 43(8): 2045-2050.

图/表 11

图1

图2

图3

图4

表1

图5

图6

表2

表3

表4

表5

参考文献 21

1	郭萌. 基于改进POCS的红外弱小目标超分辨率复原算法研究[D]. 吉林: 吉林大学, 2016.
	GUO M. Super-resolution restoration algorithm of small infrared targets based on improved POCS[D]. Jilin: Jilin University, 2016.
2	DAI S S, XIANG H Y, DU Z H, et al. Adaptive regularization of infrared image super-resolution reconstruction[C]//Proc. of the 5th International Conference on Computing, Communications and Networking Technologies, 2014.
3	CASTRO E B , NAKANO M , PEREZ G S , et al. Improvement of image super-resolution algorithms using iterative back projection[J]. IEEE Latin America Transactions, 2017, 15 (11): 2214- 2219. doi: 10.1109/TLA.2017.8070429
4	黎海雪, 林海涛, 姜栋瀚. 基于马尔可夫随机场的图像超分辨技术研究综述[J]. 通信技术, 2018, 51 (10): 2356- 2364. doi: 10.3969/j.issn.1002-0802.2018.10.015
	LI H X , LIN H T , JIANG D H . Research review of image superresolution based on Markov random field[J]. Communications Technology, 2018, 51 (10): 2356- 2364. doi: 10.3969/j.issn.1002-0802.2018.10.015
5	熊亚辉, 陈东方, 王晓峰. 基于多尺度反向投影的图像超分辨率重建算法[J]. 计算机工程, 2020, 46 (7): 251- 259.
	XIONG Y H , CHEN D F , WANG X F . Super-resolution image reconstruction algorithm based on multi-scale back projection[J]. Computer Engineering, 2020, 46 (7): 251- 259.
6	FREEMAN W T , JONES T R , PASZTOR E C . Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, (2): 56- 65.
7	DANG C , AGHAGOLZADEH M , RADHA H . Image super-resolution via local self-learning manifold approximation[J]. IEEE Signal Processing Letters, 2014, 21 (10): 1245- 1249. doi: 10.1109/LSP.2014.2332118
8	杨学峰, 程耀瑜, 王高. 基于小波域压缩感知的遥感图像超分辨算法[J]. 计算机应用, 2017, 37 (5): 1430- 1433.
	YANG X F , CHENG Y Y , WANG G . A super-resolution algorithm for remote sensing images based on wavelet compressed sensing[J]. Journal of Computer Applications, 2017, 37 (5): 1430- 1433.
9	王彩云, 胡允侃, 李晓飞, 等. 基于卷积稀疏编码与多分类器融合的雷达HRRP目标识别方法[J]. 系统工程与电子技术, 2018, 40 (11): 2433- 2437. doi: 10.3969/j.issn.1001-506X.2018.11.07
	WANG C Y , HU Y K , LI X F , et al. Radar HRRP target recognition based on convolutional sparse coding and multi-classifier fusion[J]. Systems Engineering and Electronics, 2018, 40 (11): 2433- 2437. doi: 10.3969/j.issn.1001-506X.2018.11.07
10	张万绪, 史剑雄, 陈晓璇, 等. 基于稀疏表示与引导滤波的图像超分辨率重建[J]. 计算机工程, 2018, 44 (9): 212- 217.
	ZHANG W X , SHI J X , CHEN X X , et al. Image super-resolution reconstruction based on sparse representation and guided filtering[J]. Computer Engineering, 2018, 44 (9): 212- 217.
11	TIMOFTE R, DE S V, VAN G L. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//Proc. of the Asian Conference on Computer Vision, 2014: 111-126.
12	YANG C Y, YANG M H. Fast direct super-resolution by simple functions[C]//Proc. of the IEEE International Conference on Computer Vision, 2014: 561-568.
13	DONG C , LOY C C , HE K , et al. Image super-resolution using deep convolutional networks[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2016, 38 (2): 295- 307. doi: 10.1109/TPAMI.2015.2439281
14	吴磊, 吕国强, 薛治天, 等. 基于多尺度递归网络的图像超分辨率重建[J]. 光学学报, 2019, 39 (6): 90- 97.
	WU L , LYU G Q , XUE Z T , et al. Super-resolution reconstruction of images based on multi-scale recursive network[J]. Acta Optica Sinica, 2019, 39 (6): 90- 97.
15	WANG Y, ZHENG J C. Real-time face detection based on YOLO[C]//Proc. of the IEEE 1st International Conference on Knowledge Innovation and Invention, 2018: 221-224.
16	刘帆, 刘鹏远, 李兵, 等. TensorFlow平台下的视频目标跟踪深度学习模型设计[J]. 激光与光电子学进展, 2017, 54 (9): 277- 285.
	LIU F , LIU P Y , LI B , et al. Design of video target tracking depth learning model under TensorFlow platform[J]. Laser & Optoelectronics Progress, 2017, 54 (9): 277- 285.
17	朱新山, 姚思如, 孙彪, 等. 图像质量评价: 融合视觉特性与结构相似性指标[J]. 哈尔滨工业大学学报, 2018, 50 (5): 121- 128.
	ZHU X S , YAO S R , SUN B , et al. Image quality evaluation: fusion of visual characteristics and structural similarity indicators[J]. Journal of Harbin Institute of Technology, 2018, 50 (5): 121- 128.
18	PREEDANAN W, KONDO T, BUNNUN P, et al. Image quality assessment for medical images based on gradient information[C]//Proc. of the 5th International Conference on Business and Industrial Research, 2018: 189-194.
19	XUE W , ZHANG L , MOU X , et al. Gradient magnitude similarity deviation: a highly efficient perceptual image quality index[J]. IEEE Trans.on Image Processing, 2014, 23 (2): 684- 695. doi: 10.1109/TIP.2013.2293423
20	DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//Proc. of the European Conference on Computer Vision, 2016: 391-407.
21	LIU Z, LI J G, SHEN Z Q, et al. Learning efficient convolutional networks through network slimming[C]//Proc. of IEEE International Conference on Computer Vision, 2017: 2755-2762.

网络层	卷积核尺寸	卷积核个数	步长	填充
卷积层1	5×5×1	56	1	2
卷积层2	3×3×12	12	1	0
反卷积层	9×9×56	1	3	4

算法	图像
算法	lena	baboon	comic	flower	face
Bicubic	31.705	23.059	23.122	27.296	32.852
FSRCNN	32.516	23.370	23.816	28.292	33.224
SRSCNN	32.722	23.405	23.881	28.354	33.278

算法	图像
算法	lena	baboon	comic	flower	face
Bicubic	0.860 2	0.539 9	0.704 8	0.805 6	0.799 6
FSRCNN	0.860 8	0.592 7	0.748 4	0.831 6	0.814 3
SRSCNN	0.874 9	0.597 1	0.754 5	0.835 4	0.817 7

算法	图像
算法	lena	baboon	comic	flower	face
Bicubic	0.413 3	0.434 6	0.388 9	0.408 9	0.427 1
FSRCNN	0.414 9	0.437 0	0.394 1	0.410 4	0.431 9
SRSCNN	0.415 5	0.436 9	0.394 4	0.410 6	0.432 3

算法	图像
算法	lena	baboon	comic	flower	face
Bicubic	0.006 3	0.006 0	0.004 3	0.005 4	0.004 1
FSRCNN	0.171 9	0.182 1	0.064 0	0.118 5	0.053 4
SRSCNN	0.168 1	0.159 4	0.066 9	0.120 2	0.057 5

基于稀疏性深度学习的航拍图像超分辨重构

Aerial image super-resolution restruction based on sparsity and deep learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价

[1]	宋爽, 张悦, 张琳娜, 岑翼刚, 李浥东. 基于深度学习的轻量化目标检测算法[J]. 系统工程与电子技术, 2022, 44(9): 2716-2725.
[2]	韩啸, 陈世文, 陈蒙, 杨锦程. 基于互易点学习的LPI信号开集识别[J]. 系统工程与电子技术, 2022, 44(9): 2752-2759.
[3]	王彩云, 吴钇达, 王佳宁, 马璐, 赵焕玥. 基于改进的CNN和数据增强的SAR目标识别[J]. 系统工程与电子技术, 2022, 44(8): 2483-2487.
[4]	张立民, 谭凯文, 闫文君, 张聿远. 基于多级跳线残差网络的雷达辐射源识别[J]. 系统工程与电子技术, 2022, 44(7): 2148-2156.
[5]	金国栋, 薛远亮, 谭力宁, 许剑锟. 基于孪生神经网络的目标跟踪算法进展研究[J]. 系统工程与电子技术, 2022, 44(6): 1805-1822.
[6]	韦娟, 杨皇卫, 宁方立. 基于NMF与CNN联合优化的声学场景分类[J]. 系统工程与电子技术, 2022, 44(5): 1433-1438.
[7]	赵晓枫, 徐叶斌, 吴飞, 牛家辉, 蔡伟, 张志利. 基于全局感知机制的地面红外目标检测方法[J]. 系统工程与电子技术, 2022, 44(5): 1461-1467.
[8]	邹虹, 白陈阳, 何鹏, 崔亚平, 王汝言, 吴大鹏. 基于分布式深度学习的边缘服务放置策略[J]. 系统工程与电子技术, 2022, 44(5): 1728-1737.
[9]	陈冬, 句彦伟. 基于语义分割实现的SAR图像舰船目标检测[J]. 系统工程与电子技术, 2022, 44(4): 1195-1201.
[10]	方伟, 王玉, 闫文君, 林冲. 基于神经网络的符号化飞行动作识别[J]. 系统工程与电子技术, 2022, 44(3): 737-745.
[11]	孙晶明, 虞盛康, 孙俊. 基于深度学习的HRRP识别姿态敏感性分析[J]. 系统工程与电子技术, 2022, 44(3): 802-807.
[12]	刘恒燕, 张立民, 闫文君, 钟兆根, 凌青, 梁晓军. 基于WBP-CNN算法的LDPC译码[J]. 系统工程与电子技术, 2022, 44(3): 1030-1035.
[13]	邵凯, 朱苗苗, 王光宇. 基于生成对抗与卷积神经网络的调制识别方法[J]. 系统工程与电子技术, 2022, 44(3): 1036-1043.
[14]	张玺, 金正猛, 姜亚琴. 融合深度图像先验的全变差图像着色算法[J]. 系统工程与电子技术, 2022, 44(2): 385-393.
[15]	姚云翔, 陈莹. 注意力机制下双模态交互融合的目标跟踪网络[J]. 系统工程与电子技术, 2022, 44(2): 410-419.