田栋，刘坤，郝博
(1.中国船舶重工集团有限公司 第七一七研究所，湖北 武汉 430223；
2.湖北工业大学，湖北 武汉 430000)
红外视频包含大量背景杂波和空气流动等引起的噪点，因此从远距离检测红外小目标具有一定难度。目前，红外图像的小目标检测已成为视觉检测领域的研究热点。文献[1]利用局部对比度检测红外小目标的方法耗时且有时会增强目标和杂波。为了提高性能，文献[2]引入了多尺度对比度度量方法。文献[3-4]引入红外拼接图像模型，将小目标检测转化为优化问题,通过非凸秩近似最小化可改进模型的性能。
此外，不少研究者提出了一些使用深度学习算法(you only look once, YOLO)对短距离红外视频中的较大物体进行目标检测和分类的方案。由于YOLO算法使用纹理信息来帮助检测，所以对于目标太小而没有任何可识别纹理远程视频的处理效果不够理想。
针对以上问题，本文提出了一种提高远程红外视频中小目标检测性能的综合方法。该方法由几个部分构成：首先，利用成熟的视频超分辨率增强算法来提高视频的空间分辨率。通过比较3种算法，证明了其中一种方法可提高目标检测性能。其次，引入了低强度与梯度(low intensity and gradient，LIG)目标检测方法，LIG算法表现出了良好的性能和计算速度[5]，并且引入连通分量分析与扩张方法，从而降低了误检。最后，为了进一步提高整体检测性能，在本文的框架中加入了简单在线和实时跟踪(simple online and realtime tracking, SORT)目标关联算法，进一步增强了目标检测性能。
本文提出的方法由几个部分构成。由于远程视频的分辨率较低，本文首先应用视频超分辨率算法来提高视频分辨率。目的是研究视频超分辨率可以获得多少性能增益。其次，对单帧图像应用低强度梯度(LIG)算法进行无监督小目标检测。然后，针对LIG检测结果可能出现的假阳性结果，采用连通分量分析将相邻像素分组成簇。最后，提出了一种快速的目标关联算法，称为简单在线和实时跟踪(SORT)[6]，以进一步提高检测结果，基本原理图如图1所示。
图1 基本原理流程图
1.1 视频超分辨率算法
由于远距离视频中的目标过小，提高视频分辨率有助于提高目标检测性能，因此本研究中为了提高小目标检测精度，将通过3种视频超分辨率算法对原始视频进行分辨率提升，即双三次插值、动态上采样滤波和超分辨率变焦慢动作算法。
1)双三次插值(bicubic interpolation)：该算法是一种单帧超分辨率方法，对原始帧中的像素使用16个相邻像素进行插值[7-8]。
2)视频超分辨率的动态上采样滤波(dynamic upsampling filter, DUF)算法：该算法能够结合时间信息生成高分辨率帧图像。例如，为了生成单个的超分辨率帧，VSR-DUF使用当前帧之前和之后的帧，通过相关帧来提取信息，可获得更好的效果[9-10]。
3)视频超分辨率变焦慢动作(zoom slow-motion, ZSM)算法：该算法是一种最新的深度学习视频超分辨率方法，不仅提高了视频中帧的分辨率，还提高了输入视频的帧速率[11-13]。
文献[14-17]通过对各种超分辨率方法的视觉性能比较分析后得出，ZSM方法比双三次方插值法和DUF的结果更好。
1.2 LIG原理及其改进
本文针对红外图像提出一种基于局部强度梯度算法(LIG)的目标检测方法。LIG算法比其他算法的速度快，且对背景杂波处理具有良好的鲁棒性。该算法使用滑动窗口扫描输入图像，窗口大小取决于输入图像的分辨率。对于每个窗口，分别计算局部强度和梯度值，然后将这些值相乘得到强度梯度图，并使用自适应阈值分割算法，以二值化图像展示处理效果。
LIG算法主要步骤如下。
(1)
式中：f0为中心像素的值；
Nm为图像区域内的像素数量。
2)计算局部强度值I：
(2)
3)计算区域内的各处梯度值Gi：
(3)
4)计算区域内的梯度值G：
(4)
式中k为经验阈值参数。
本文对LIG算法进行了优化，使其更适合红外视频：对不同分辨率的帧使用不同的窗口大小，对于原始分辨率的帧图像使用7×7窗口；
对于2倍分辨率的上采样帧，为了兼顾识别精度和计算效率，采用19×19的更大窗口。其次，为了降低误报，对LIG方法的非零像素平均值进行改进，使用像素强度最大的前0.01%像素的平均值作为适应性阈值，更高的阈值可有效消除虚假目标。
1.3 连通区域分析
阈值处理后，对分割的二值化图像执行连通区域分析(connected component analysis)，连通区域是相同像素值的相邻像素组成的集合。本文采用两次遍历(Two-Pass)算法：第一遍扫描时赋予每个像素位置一个标签，扫描过程中同一个连通区域内的像素集合中可能会被赋予一个或多个不同标签，因此需要将这些属于同一个连通区域但具有不同值的标签合并，记录它们之间的相等关系；
第二遍扫描就是将具有相等关系标记的像素归为一个连通区域，并赋予一个相同的标签，完成连通区域分析。
文中为了找到帧间移动像素，需先对二值化图像进行扩张，将目标附近的像素合并在一起。此外，连通区域被馈送到“规则分析”块，检查确定连通区域是否为有效检测，包括检查面积大小是否合理，并比较连通区域之间的最大像素强度。如果面积在1～100像素间则有效。最终从剩余的连通区域中，选择信号最强像素区域作为目标。
1.4 SORT目标关联
本文使用一种快速的目标关联算法，称为简单在线和实时跟踪算法SORT，对目标进行跟踪关联。SORT算法主要是面向在线和实时应用，其只需使用最基础的卡尔曼过滤器和匈牙利算法，便可以达到相当的精度。SORT算法通过运动信息与过去帧记忆将目标从一帧关联到另一帧，其原理流程如图2所示。
图2 SORT算法原理流程图
SORT算法对帧内每个检测到的对象建模如下:
(5)
式中：u和v分别表示对象中心的水平和垂直像素位置；
s和r分别表示对象的尺寸和比例。然后跨帧比较这些对象状态，以确定此状态是否与先前状态相关。
2.1 视频数据集
实验测试选用的SENSIAC数据集中包含白天和夜间的4个远距离红外视频，距离跨度为1 000～5 000 m，增量为500 m。本文测试数据中选择了3 500 m、4 000 m、4 500 m和5 000 m的4个视频。图3-图6显示了各视频不同场景的帧图像，可以看出视频中的车辆(小亮点)较小且很难发现。
图3 3 500 m视频场景及第900帧图像
图4 4 000 m视频场景及第900帧图像
图5 4 500 m视频场景及第900帧图像
图6 5 000 m视频场景及第900帧图像
2.2 评估指标
本研究中设定，如果二值化结果在地面真实边界框质心的给定阈值(本研究中设为2个像素)内，则检测为真(TP)，否则为假(FP)。基于正确的检测和误报计数(missed detections, MD)，可计算准确率P、召回率R及准确率和精确率的调及平均值F1，定义分别为：
(6)
(7)
(8)
2.3 不使用SORT的检测效果
结合ZSM和LIG算法的处理流程如图7所示，其没有使用SORT算法，连通区域分析包括几个步骤：首先，用自适应阈值对LIG图进行二值化，即低于阈值的区域为0，高于阈值的区域为1。然后，对获得的二值化图像进行扩张处理，扩张运算所使用的结构元素是正方形，其大小取决于图像的分辨率。在原始比例下，使用长度为5的正方形，对于高分辨率视频，为了兼顾检测精度和计算效率，使用长度为10的正方形。
图7 结合ZSM和LIG的工作流程图
本研究中，使用了DUF和ZSM的预训练模型。ZSM是在大型Vimeo-Septuplet数据集上训练的，该数据集包括Vimeo上各种视频中约90 000个短视频文件，每个视频文件包括7帧图片序列。采用ZSM算法的结果如表1所示。
从表1可知，ZSM在准确率和召回率方面都属于最优或并列最优。在4 000 m的情况下，就使用超分辨率图像实现高性能而言，ZSM×2和ZSM×4的表现都略好于所有其他算法。对于4 500 m、5 000 m远距离而言，双三次×2和DUF×2算法已表现出了较好的效果，因此ZSM算法没有太大的改进空间，但是其效果仍然可以与性能最好的方法相比。虽然ZSM算法结果比原始分辨率的视频有所提高，但F1值提高并不显著。因此，在实际的目标检测应用中，VSR方法的效果增益是有限的。
表1 采用ZSM算法对不同分辨率的视频进行检测的的性能
2.4 使用SORT进行轨迹关联的改进
本节研究使用SORT算法后对整体检测性能的影响，图8为完整流程。结果表明，使用ZSM算法的超解析处理提高了检测性能，但效果有限，因此，本文不采用超解析处理过程。
图8 结合LIG、CC和SORT的工作流程图
在实验中，SORT算法是在连通区域分析步骤之后实现的。每个连通区域的边界框信息作为输入，然后使用SORT算法关联跨帧的边界框。由于在工作流程的早期阶段检测率相对较高，跟踪关联将有助于消除大多数误报。表2的测试结果证明，在3 500 m视频的300帧中，SORT算法消除了所有的误报，同时在其他距离视频中的效果也有所提高，可见，SORT算法有助于进一步区分背景异常目标和实际目标。
表2 SORT算法目标检测性能对比
2.5 计算复杂度
由于本文使用LIG算法，因此导致计算速度较慢，即使使用LIG Parallel并行计算，处理一帧也需要大约75 s左右，如表3所示。
表3 建议的目标检测框架计算时间
2.6 效果评估
对比有、无SORT算法的处理流程的结果如图9-图12所示。可以看出，在某些帧中，采用SORT算法有助于消除误报。
图9 3 500 m距离视频对比
图10 4 000 m距离视频对比
图11 4 500 m距离视频对比
图12 5 000 m距离视频对比
本研究主要针对远程红外视频中的小目标检测，结论如下。
1)提出了一个集成的、灵活的、模块化的框架，包括视频超分辨率、小目标检测、连通域分析和目标轨迹关联。
2)所提出的无监督目标检测方法对于目标尺寸非常小的远距离视频(3 500 m及以上)具有良好的检测能力。
3)使用了SORT算法后，通过对3 500 m～5 000 m远距离视频数据集的测试，证明了所提检测框架的有效性。
猜你喜欢分辨率红外阈值网红外卖环球时报(2022-05-23)2022-05-23闪亮的中国红外『芯』金桥(2021年4期)2021-05-21采用红细胞沉降率和C-反应蛋白作为假体周围感染的阈值临床骨科杂志(2020年1期)2020-12-12小波阈值去噪在深小孔钻削声发射信号处理中的应用制造技术与机床(2019年9期)2019-09-108路红外遥控电路电子制作(2019年7期)2019-04-25TS系列红外传感器在嵌入式控制系统中的应用电子制作(2019年7期)2019-04-25原生VS最大那些混淆视听的“分辨率”概念家庭影院技术(2018年9期)2018-11-02一种提高CCD原理绝对值传感器分辨率的方法制造技术与机床(2017年7期)2018-01-19基于深度特征学习的图像超分辨率重建自动化学报(2017年5期)2017-05-14基于自适应块组割先验的噪声图像超分辨率重建自动化学报(2017年5期)2017-05-14
