刘业朋，杨得志，李思远，张 帆，张彩明
基于图像分解和相对全变分的图像平滑
刘业朋1，杨得志1，李思远1，张 帆1，张彩明2,3
(1. 山东工商学院计算机科学与技术学院，山东 烟台 264005；
2. 山东大学软件学院，山东 济南 250101；
3. 山东财经大学数字媒体重点实验室，山东 济南 250014)
图像平滑旨在去除图像中纹理细节信息的同时保留重要的结构边缘，因此如何正确区分二者成了图像平滑的关键。梯度作为计算图像变化速度的重要指标是区分结构边缘和纹理细节的有效度量，但不同图像以及同一图像不同区域中的纹理和边缘的梯度差异并非固定不变的。为了能够有效识别结构边缘和纹理细节，提出了基于图像分解和相对全变分的图像平滑方法。为了扩大结构边缘和纹理细节之间的差异，实现在尽可能不改变结构边缘的前提下降低纹理细节的梯度，以多方向的梯度为约束对图像进行分解，提取图像的平滑成分。在特定尺度下，基于图像的区域结构差异，采用相对全变分方法，在保留结构边缘的同时去除该尺度下的纹理细节。通过迭代优化，不断调整图像区域尺度，实现对不同尺度纹理细节的逐步去除。与现有算法相比，新方法在有效地去除纹理细节和完整地保留结构边缘方面都具有较好的视觉效果。
图像分解；
相对全变分；
多尺度；
梯度约束；
图像平滑
图像平滑的目的是通过一定的技术手段对图像进行处理，在保留重要结构边缘的同时去除纹理细节等冗余的信息，同图像超分辨率、分割、去噪、超像素和显著性检测等都是图像处理领域中的基础研究内容之一，也是当前虚拟现实、智能驾驶等前沿领域的难点之一。其中，基于纹理细节等信息去除方式的不同，可分为基于空间域的图像平滑方法、基于转换域的图像平滑方法和基于深度学习的图像平滑方法。
基于空间域的图像平滑方法，即通过图像局部和非局部之间的相似性来区分纹理细节和结构边缘，从而实现图像平滑的目的。TOMASI和MANDUCHI[1]提出了双边滤波的方法，以强度距离和空间距离为约束实现对图像的平滑。但是当图像结构复杂时，部分边缘结构会被破坏。基于双边滤波方法[1]，ZHANG等[2]提出了滚动滤波算法。通过高斯滤波去除纹理的同时采用双边滤波恢复边缘，但导致边缘周围会出现振铃和伪影。MIN等[3]提出了快速全局平滑器，结合了高效的边缘保持的滤波器和基于优化的平滑方法。但算法时间复杂度非常高，且在纹理细节复杂的图像中效果不佳。在快速全局平滑方法[3]的基础上，KIM等[4]提出了一种快速的图像平滑方法，有效地降低了算法时间复杂度，但残留的纹理细节信息更多。XU等[5]提出了基于相对全变分的图像平滑方法，但当纹理细节和结构边缘交错时，平滑效果不佳。为此，ZHAO等[6]先对图像进行了裁剪，再结合归一化方差度量，实现了图像平滑的同时并将其应用到了图像去噪的问题。但在复杂纹理区域，依然存在纹理残留。崇斯杰等[7]将图像滤波和图像高频信息恢复相结合并应用于深度相机，产生的图像具有很好的形状保持能力。张豪远等[8]将图像平滑作为保留结构边缘的重要方法用于壁画文物的修复。YANG等[9]提出了一种非线性算子，其能够有效减弱图像噪声的同时平滑图像细节。
基于转换域的图像平滑方法，是通过傅里叶变换或小波变换等将图像从空间域转换到频率域，在频率域实现对图像的平滑。XU等[10]提出了基于0梯度最小化的图像平滑方法，巧妙地利用了卷积操作在频率域的特性，实现了以梯度为约束的平滑。但该方法机械地以同一阈值作为衡量边缘和纹理的度量，缺乏对邻域信息的参考，因而很难正确识别复杂区域的纹理和结构边缘。LIU等[11]结合非局部均值滤波(non-local means，NLM)和0平滑[10]，通过在非局部区域寻找相似块，用于抑制孤立的大梯度纹理，但对于复杂纹理区域的平滑效果不理想。MA等[12]提出了基于图像分解和稀疏梯度约束的图像平滑，将图像分解和0平滑[10]相结合，有效地去除了纹理细节，但也导致部分结构边缘变得更加模糊。NI和WU[13]提出了基于自适应修补的0梯度最小化平滑方法，因为分块过多导致算法复杂度过高并且存在较多的缝隙。针对图像中光照不平衡问题，LIU等[14-15]提出了基于分块直方图均衡化的图像平滑方法，有效去除纹理细节的同时也因为分块产生了缝隙。SUN等[16]提出了基于0最小化的结构提取方法，在不同强度的图像平滑中都有不错的视觉效果。HE和WANG[17]提出了一种具有截断0梯度正则化的图像平滑方法，能够很好地保持原图像的形状和强度，因而对于一些锐化的边缘有很好的效果。
基于深度学习的图像平滑方法，即通过深度学习技术，实现更灵活和高质量的图像平滑方法。ZHU等[18]提出了用于图像平滑的数据集，同时还设计了基于深度学习的图像平滑方法。FAN等[19]提出了基于深度学习的无监督图像平滑方法，将训练信号作为一种新颖的能量函数从而提高平滑效果。
在纹理细节区域内部，文献[5]能够很好地去除纹理细节，但对纹理细节和结构边缘交错区域的平滑效果并不好。由于少量梯度值较大的纹理细节被保留，导致连续的结构边缘处出现锯齿现象，例如图1(b)中红色和绿色框中的区域。
图1 图像部分区域((a)输入图像；
(b)文献[5]平滑后图像)
为了有效去除交错区域的纹理信息，保证结构边缘的连续性，本文提出了基于图像分解和相对全变分的图像平滑方法。通过对图像进行分解，有效降低复杂纹理细节的梯度，增大二者的辨识度(图2左侧)；
通过相对全变分方法，在不同尺度下逐步平滑纹理细节(图2右侧)。
图2 本文算法流程图
2.1 以梯度为约束的图像分解
受到超分辨率、修复等图像处理技术[20]的启发，为了保证在尽可能不改变结构边缘梯度的同时降低纹理细节的梯度，本文将输入图像分解为平滑成分和非平滑成分(去除的部分纹理细节信息)，即
其中，为值全1的5×5大小的低通滤波器；
U为卷积操作；
为图像的低频特征图；
为图像中非平滑成分，因此，平滑成分=U。所以，对图像的分解变成了对的求解问题。
为了尽可能不改变结构边缘的梯度，以梯度为约束进行求解，得到
其中，参数是用于控制梯度降低程度的平衡因子，其取值越大，得到的图像越平滑；
和分别为沿着水平方向和垂直方向的梯度因子。
结合式(1)和式(2)，可知
为了加快求解速度，对式(3)通过快速傅里叶变换(fast Fourier transform，FFT)进行求解
图像分解后的结果如图3所示(其中，为了便于展示非平滑成分的细节信息，灰度值整体上增加了128)。因此，可知分解后的平滑成分I=U。
图3 当α=38时图像分解的结果((a)平滑成分IS；
(b)非平滑成分INS)
2.2 以相对梯度为约束的多尺度全变分
在不同图像或同一图像的不同区域中纹理细节和结构边缘的梯度差异是不固定的，这使得正确识别纹理细节和结构边缘变得非常困难。基于二者梯度在统计上的差异，从不同尺度(即不同范围内)，通过相对差异确定纹理细节和结构边缘；
在此基础上，采用相对全变分方法[5]，在保留结构边缘的同时逐步去除纹理细节，即
其中，为纹理细节去除程度的平衡因子(其取值越大，图像越平滑)；
为接近于0的小数，防止分母为0。
(1)定义为
尺度和方差的关系为
其中，[·]为向上取整操作；
(·)为按位与操作，目的是使尺度为奇数。
(3) 同理，可知
为了方便表示，分别定义，为
其中，U为卷积操作；
ε同样是接近于0的小数，防止分母为0。同理，可得
综上，式(5)可转换化为
式(14)直接求解非常困难，为了加速计算，采用交替求解方法：
步骤1.基于式(11)～式(13)，分别计算矩阵，，。
步骤2.固定，，，对式(14)中求导(其中为单位矩阵)
对式(15)直接进行线性求解可得优化后的平滑图像+1，次迭代后可得平滑后的图像。
为了证明本文方法的有效性，将新方法New和FGS算法[3]、RGF算法[2]、DSG算法[12]、HCDG算法[15]和RTV算法[5]在视觉效果方面进行了比较，结果如图4～6所示，对算法的平均耗时比较结果见表1。
通过比较图4～6和表1可知，FGS算法[3]有较快地处理速度，但是对于复杂纹理细节的去除效果较差，存在大量纹理细节残留(图4(b)、图5(b)、图6(b))；
RGF算法[2]能够较好地去除纹理细节，但是同时也产生了斑块状伪影(图4(b)、图5(c)、图6(c))；
DSG算法[12]在有效去除纹理细节的同时也平滑掉了部分结构边缘，使得图像中的结构边缘更加模糊(图4(d)、图5(d)、图6(d))；
HCDG算法[15]整体上平滑效果不错，但是因为分块和直方图均衡化使得每个区域图像平滑程度不一致，同一区域的颜色存在差异从而产生少量缝隙或伪影(图4(e)、图5(e)、图6(e))；
RTV算法[5]在纹理复杂区域具有很好地平滑效果，但在纹理细节和结构边缘交错处，平滑效果欠佳，导致部分纹理细节残留从而产生锯齿状纹理(图4(f)和(g)、图5(f)和(g)、图6(f)和(g)。其中，图(f)和(g)分别为不同平滑因子的结果。综合纹理细节去除和结构边缘保持2个方面，本文方法与上述方法相比具有最佳的视觉效果。
图4 不同方法的结果1 ((a)输入图像；
(b) FGS算法(σ=0.03，l=20.02)；
(c) RGF算法(ss=3，sr=0.05，teration=4)；
(d) DSG算法(l=0.035，k=55)；
(e) HCDG(ld=38，l=0.04)；
(f)RTV算法(l=0.01，s=3)；
(g)RTV算法(l=0.015，s=3)；
(h)新方法(a=38，b=0.01，s=2))
图5 不同方法的结果2 ((a)输入图像；
(b) FGS算法(s=0.03,l=20.02)；
(c) RGF算法(ss=3,sr=0.05,teration=4)；
(d) DSG算法(l=0.035,k=55)；
(e) HCDG(ld=38,l=0.04)；
(f) RTV算法(l=0.01,s=3),；
(g) RTV算法(l=0.015,s=3)；
(h)新方法(a=25,b=0.01,s=2))
图6 不同方法的结果3 ((a)输入图像；
(b) FGS算法(s=0.03,l=20.02)；
(c) RGF算法(ss=3,sr=0.05,teration=4)；
(d) DSG算法(l=0.035,k=55)；
(e) HCDG(ld=38,l=0.04)；
(f) RTV算法(l=0.01,s=3)；
(g) RTV算法(l=0.015,s=3)；
(h)新方法(a=38,b=0.01,s=2))
表1 不同方法的处理时间(s)
为了从数值结果上证明本文方法的有效性，采用单位面积(32×32)的信息熵作为衡量图像平滑效果的指标。从表2可知，本文方法明显比FGS[3]，RGF[2]，DSG[12]和RTV[5]算法信息含量少，从而证明本文方法的平滑效果。但因为DSG[12]和HCDG[15]算法在平滑纹理细节的同时去除了部分结构边缘使得整体信息熵更低。
表2 不同方法的信息熵
图像平滑方法可应用于图像处理的许多领域，如边缘检测、图像增强以及非真实感绘制等。
直接通过Canny算子对输入图像进行边缘检测，可得边缘图(图7(d))，但是因为复杂的纹理区域导致边缘图中包含了大量纹理细节。先通过本文方法对输入图像平滑，再通过Canny算子进行边缘检测，可得只包含图像重要结构的边缘图(图7(h))。
通过本文方法先对输入图像平滑，再通过Canny算子对平滑后的图像边缘检测以得到结构边缘图。然后，增加图像的边缘像素点的数量，即梯度大于特定阈值的像素点及其四邻域点都标记为新边缘点。最后，将平滑图像中新边缘点像素值置为0，可得到具有抽象效果的图像(图8(c))。
通过本文方法对输入图像平滑可得平滑图像，将输入图像减去平滑图像并反加到输入图像中，可获得细节增强的图像(图9(d))。为了证明本文方法的有效性，以高斯低通滤波器为平滑方法，得到细节增强的图(图9(c))。通过比较图9(c)和(d)可知，本文方法在纹理细节增强方面效果更佳。
图7 图像边缘检测((a)输入图像；
(b)图像(a)的梯度图；
(c)图像(b)的梯度强度图；
(d)图像(a)的边缘图；
(e)图像(a)的平滑的结果；
(f)图像(e)的梯度图；
(g)图像(f)的梯度强度图；
(h)图像(e)的边缘图)
图8 非真实感绘制((a)输入图像；
(b)图像(a)的平滑的结果；
(c)非真实感绘制结果)
图9 图像增强((a)输入图像；
(b)图像(a)的平滑的结果；
(c)图像(a)高斯滤波增强的结果；
(d)图像(a)的增强后结果)
图像平滑的关键是如何正确区分图像中纹理细节和结构边缘，为此，采用梯度作为区分二者的有效度量。针对不同图像以及同一图像不同区域中纹理和边缘梯度的差异性，提出了基于图像分解和相对全变分的图像平滑方法。通过分解图像，降低纹理细节的梯度，扩大二者之间的差异。采用相对全变分方法，在不同尺度下逐步去除纹理细节。
本文方法在有效地去除纹理细节的同时保留了重要的结构边缘，但图像分解导致结构边缘的梯度也产生了一定的损失，使得平滑后的图像部分结构边缘模糊。同时，图像在不同尺度下的纹理细节与结构边缘的识别是依赖于经验，而非自适应计算，算法的自动化程度还有待加强。
[1] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]//The 6th International Conference on Computer Vision. New York: IEEE Press,1998: 839-846.
[2] ZHANG Q, SHEN X Y, XU L, et al. Rolling guidance filter[C]//Computer Vision - ECCV 2014. Cham: Springer International Publishing, 2014: 815-830.
[3] MIN D B, CHOI S, LU J B, et al. Fast global image smoothing based on weighted least squares[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2014, 23(12): 5638-5653.
[4] KIM Y, MIN D B, HAM B, et al. Fast domain decomposition for global image smoothing[J]. IEEE Transactions on Image Processing, 2017, 26(8): 4079-4091.
[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139.
[6] ZHAO L J, BAI H H, LIANG J, et al. Local activity-driven structural-preserving filtering for noise removal and image smoothing[J]. Signal Processing, 2019, 157: 62-72.
[7] 崇斯杰, 王士玮, 刘利刚. 深度图像的法向指导GPU滤波[J]. 图学学报, 2022, 43(1): 118-124.
CHONG S J, WANG S W, LIU L G. Guided normal GPU filtering of depth images[J]. Journal of Graphics, 2022, 43(1): 118-124 (in Chinese).
[8] 张豪远, 徐丹, 罗海妮, 等. 基于边缘重建的多尺度壁画修复方法[J]. 图学学报, 2021, 42(4): 590-598.
ZHANG H Y, XU D, LUO H N, et al. Multi-scale mural restoration method based on edge reconstruction[J]. Journal of Graphics, 2021, 42(4): 590-598 (in Chinese).
[9] YANG Y, TANG L, ZENG L L, et al. L0 image smoothing via iterating truncated L1 gradient regularization[J]. Journal of Electronic Imaging, 2022, 31(5): 053016.
[10] XU L, LU C W, XU Y, et al. Image smoothing via0gradient minimization[J]. ACM Transactions on Graphics, 2011, 30(6): 1-12.
[11] LIU Q, ZHANG C M, GUO Q, et al. A nonlocal gradient concentration method for image smoothing[J]. Computational Visual Media, 2015, 1(3): 197-209.
[12] MA G H, ZHANG M L, LI X M, et al. Image smoothing based on image decomposition and sparse high frequency gradient[J]. Journal of Computer Science and Technology, 2018, 33(3): 502-510.
[13] NI K, WU Y Q. Adaptive patched L0 gradient minimisation model applied on image smoothing[J]. IET Image Processing, 2018, 12(10): 1892-1902.
[14] IU Y P, MA X, LI X M, et al. Two‐stage image smoothing based on edge-patch histogram equalisation and patch decomposition[J]. IET Image Processing, 2020, 14(6): 1132-1140.
[15] LIU Y P, ZHANG F, ZHANG Y X, et al. Image smoothing based on histogram equalized content-aware patches and direction-constrained sparse gradients[J]. Signal Processing, 2021, 183: 108037.
[16] SUN Y J, SCHAEFER S, WANG W P. Image structure retrieval via minimization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(7): 2129-2139.
[17] HE L T, WANG Y L. Image smoothing via truncated gradient regularisation[J]. IET Image Processing, 2018, 12(2): 226-234.
[18] ZHU F D, LIANG Z T, JIA X X, et al. A benchmark for edge-preserving image smoothing[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2019, 28(7): 3556-3570.
[19] FAN Q N, YANG J L, WIPF D, et al. Image smoothing via unsupervised learning[J]. ACM Transactions on Graphics, 2018, 37(6): 259.
[20] ZHANG M L, DESROSIERS C. High-quality image restoration using low-rank patch regularization and global structure sparsity[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2018, 28(2): 868-879.
Image smoothing based on image decomposition and relative total variation
LIU Ye-peng1, YANG De-zhi1, LI Si-yuan1, ZHANG Fan1, ZHANG Cai-ming2,3
(1. School of Computer Science and Technology, Shandong Technology and Business University, Yantai Shandong 264005, China; 2. School of Software, Shandong University, Jinan Shandong 250101, China; 3. Shandong Provincial Key Laboratory of Digital Media Technology, Shandong University of Finance and Economics, Jinan Shandong 250014, China)
The purpose of image smoothing is to process the image through certain technical methods, so as to remove the texture details in the image while preserving the important structural edges. Therefore, how to distinguish the two correctly has become the key to image smoothing. Gradients, as an important index for calculating the speed of image change, are an effective measure to distinguish the structural edges and texture details. However, the gradient difference between texture details and structural edges in different images or different regions of the same image is not fixed. In order to effectivelydistinguish structural edges and texture details based on gradients, an image smoothing method was proposed based on image decomposition and relative total variation. To expand the difference between the structural edges and texture details, the gradients of texture details were reduced without changing thegradients of structural edges as much as possible. The image was decomposed in frequency domain under the constraint of multi-directional gradient, and then the smooth components of the decomposed image were extracted. Next, for the smooth component of the input image, at the specific scale, based on the structural differences of a specific size region of the image, the relative total variation method was employed to remove the texture details at this scale while preserving the structure edges.Finally, through iterative optimization, the size of the image region was continuously adjusted to gradually remove texture details of different scales. Compared with the existing algorithms, the new method could attain better visual effects in effectively removing the texture details and completely preserving the structure edges.
image decomposition; relative total variation; multiscale; gradient constraint; image smoothing
TP 391
10.11996/JG.j.2095-302X.2022061143
A
2095-302X(2022)06-1143-07
2022-07-31；
：2022-10-17
国家自然科学基金项目(62002200，62202268)；
山东省自然科学基金项目(ZR2020QF012，ZR2021QF134，ZR2021MF107)；
山东省高等学校青创科技支持计划创新团队(2021KJ069)
刘业朋(1991-)，男，讲师，博士。主要研究方向为几何造型与智能图形图像处理。E-mail：liuyepengdream@gmail.com
31 July，2022；
17 October，2022
National Natural Science Foundation of China (62002200, 62202268); Shandong Provincial Natural Science Foundation (ZR2020QF012, ZR2021QF134, ZR2021MF107); Shandong Provincial Science and Technology Support Program of Youth Innovation Team in Colleges (2021KJ069)
LIU Ye-peng (1991-), lecturer, Ph.D. His main research interests cover geometric modeling, intelligent graphics and image processing. E-mail：liuyepengdream@gmail.com
猜你喜欢纹理梯度尺度带非线性梯度项的p-Laplacian抛物方程的临界指标数学物理学报(2022年5期)2022-10-09财产的五大尺度和五重应对内蒙古民族大学学报（社会科学版）(2020年2期)2020-11-06基于BM3D的复杂纹理区域图像去噪软件(2020年3期)2020-04-20一个具梯度项的p-Laplace 方程弱解的存在性华东师范大学学报（自然科学版）(2019年3期)2019-06-24使用纹理叠加添加艺术画特效摄影之友(影像视觉)(2018年12期)2019-01-28基于AMR的梯度磁传感器在磁异常检测中的研究电子制作(2018年1期)2018-04-04TEXTURE ON TEXTURE质地上的纹理Coco薇(2017年8期)2017-08-03基于数字虚拟飞行的民机复飞爬升梯度评估北京航空航天大学学报(2017年12期)2017-04-23宇宙的尺度太空探索(2016年5期)2016-07-12消除凹凸纹理有妙招！Coco薇(2015年5期)2016-03-29
