为了对电力设备进行故障诊断，首先需要对图像中的电力设备进行检测和定位。
具体地，需要对电力设备上的各个部件进行准确的定位和识别。
传统的基于计算机视觉的 红外图像电力设备部件检测技术仍然在采用人工设计的特征，不仅需要为在特定场景下的 应用调整许多模型的参数，并且当红外图像的背景相对比较复杂的时候，传统的方法无法 提供令人满意的结果。

问题拆分

该方法包括步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；

步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；

步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。

问题解决

本发明的一种红外图像电力设备部件实时检测方法，包括：

[0006] 步骤（1):获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅 红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图 像区域；

[0007] 步骤(2):构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样 本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；

[0008] 步骤(3):采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的 待测红外图像进行处理，输出电力设备部件的检测结果。

[0009] 进一步的，在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特 征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理 使得预测框接近于目标框。

[0010] 在步骤(2)中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获 得一系列不同尺度的特征图；

[0011] 取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度 为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得 到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输 入。

[0012] 具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及 批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增 加，从而获得一系列的不同尺度的特征图。
为了得到融合多尺度信息的特征图，本方法将低 层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图， 然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征 图。

[0013]其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。
[00M] 进一步的，在所述步骤⑵对已构建的神经网络进行训练的过程，还包括：

[0015] 将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个 预测框，每一个预测框具有框标签；

[0016] 在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格 的实际预测框；

[0017] 采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得 每个网格内的实际预测框逐渐接近目标框，完成训练。

[0018] 其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比 例。

[0019] 进一步的，在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有 未知部件级标签的待测红外图像进行处理的过程包括：

[0020] 在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网 格以及各个网格获得各自的预测框的结果；

[0021] 对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结 果。

[0022] 进一步的，对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终 的预测结果的过程为：

[0023] 首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交 叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为〇,置信度较 大的预测框保留下来；

[0024] 然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度 小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。

[0025] 本发明的第二目的是提供了一种红外图像电力设备部件实时检测服务器。

[0026] 本发明的一种红外图像电力设备部件实时检测服务器，包括：

[0027] 样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其 中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电 力设备部件的图像区域；

[0028] 神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神 经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对 其进行训练；

[0029] 部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部 件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。

[0030] 进一步的，在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征 的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。

[0031] 在该模块中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获 得一系列不同尺度的特征图；

[0032] 取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度 为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得 到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输 入。

[0033] 具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及 批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增 加，从而获得一系列的不同尺度的特征图。
为了得到融合多尺度信息的特征图，本方法将低 层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图， 然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征 图。

[0034] 进一步的，所述神经网络训练模块，还用于：

[0035] 将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个 预测框，每一个预测框具有框标签；

[0036] 在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格 的实际预测框；

[0037] 采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得 每个网格内的实际预测框逐渐接近目标框，完成训练。

[0038] 其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比 例。

[0039] 其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。

[0040] 进一步的，所述部件检测模块，还用于：

[0041] 在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网 格以及各个网格获得各自的预测框的结果；

[0042] 对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结 果。

[0043] 进一步的，所述部件检测模块，还用于：

[0044] 首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交 叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为〇,置信度较 大的预测框保留下来；

[0045] 然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度 小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。

[0046] 本发明的第三目的是提供了一种红外图像电力设备部件实时检测系统。

[0047] 本发明的一种红外图像电力设备部件实时检测系统，包括检测服务器和客户端， 所述检测服务器被配置为：

[0048] 获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像 均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；

[0049] 构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的 红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；

[0050] 采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外 图像进行处理，输出电力设备部件的检测结果。

[0051] 进一步的，所述检测服务器还被配置为:对已构建的神经网络进行训练的过程中， 通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务 学习进行处理使得预测框接近于目标框。

[0052] 进一步的，所述检测服务器还被配置为：

[0053] 将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个 预测框，每一个预测框具有框标签；

[0054] 在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格 的实际预测框；

[0055] 采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得 每个网格内的实际预测框逐渐接近目标框，完成训练。

[0056] 进一步的，所述检测服务器还被配置为:在电力设备部件检测神经网络的输出端 得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；

[0057] 对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结 果。

[0058] 进一步的，所述检测服务器还被配置为:在对所有的预测框进行非极大值抑制，根 据置信度选择预测框作为最终的预测结果的过程中，首先，对于属于同一电力设备部件类 别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信 度较小的预测框的置信度设置为〇,置信度较大的预测框保留下来；

[0059] 然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度 小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。

[0060] 与现有技术相比，本发明的有益效果是：

[0061] 本发明方法利用YOLO目标检测框架，在大量已标注部件的红外图像上进行训练， 充分学习得到网络的参数，采用的全卷积神经网络的设计方式使得模型的测试速度能够在 GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。