(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 112233095 A(43)申请公布日 2021.01.15
(21)申请号 202011110722.4(22)申请日 2020.10.16
(71)申请人 哈尔滨市科佳通用机电股份有限公
司
地址 150060 黑龙江省哈尔滨市经开区哈
平路集中区潍坊路2号(72)发明人 金佳鑫
(74)专利代理机构 哈尔滨市松花江专利商标事
务所 23109
代理人 时起磊(51)Int.Cl.
G06T 7/00(2017.01)G06T 7/10(2017.01)
权利要求书2页 说明书5页 附图3页
(54)发明名称
一种铁路货车锁紧板装置多种故障形态检测方法(57)摘要
一种铁路货车锁紧板装置多种故障形态检测方法，属于铁路货车运行领域。本发明为了解决由于锁紧板装置容易出现松动、位移导致无法对交叉杆起到固定作用，而影响行车安全的问题。本发明通过轨道周围搭建的图像检测系统收集不同车辆图像组成货车锁紧板样本数据集；并建立改进的YOLACT深度学习实例分割模型；基于获取的锁紧板样本数据集和改进的YOLACT深度学习实例分割模型，改进的YOLACT深度学习实例分割模型多次训练，训练的最优模型作为锁紧板部件的分割模型；经实例分割模型分割出锁紧板区域后，对锁紧板区域二值化，根据分割后的二值化结果判断锁紧板的具体故障类型。本发明用于铁路货车锁紧板故障检测。
CN 112233095 ACN 112233095 A
权 利 要 求 书
1/2页
1.一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，包括：步骤一、建立锁紧板图像样本库，获取锁紧板样本数据集；步骤二、建立改进的YOLACT深度学习实例分割模型；步骤三、基于获取的锁紧板样本数据集和改进的YOLACT实例分割模型，进一步对改进的YOLACT深度学习实例分割模型进行多次训练；观察训练过程中的loss误差下降曲线，直至训练出最优模型并导出，作为锁紧板部件的分割模型；
步骤四、经过实例分割模型分割出锁紧板区域后，对锁紧板区域二值化，将锁紧板位移、锁紧板缺损和锁紧板变形情况分割出来，根据分割后的二值化结果，判断锁紧板的具体故障类型；所述锁紧板故障类型包括：锁紧板移位、锁紧板缺损和锁紧板变形。
2.根据权利要求1所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述步骤一建立锁紧板图像样本库，获取锁紧板样本数据集；具体过程为：
通过图像检测系统截取锁紧板装置区域图像，通过收集不同时间段、不同天气状况、不同车辆图像组成样本集；利用实例分割网络，创建COCO格式的目标检测JSON注释文件；即使用labelme标记样本集文件，标注出锁紧板区域，并创建labels.txt文件；通过labelme2coco.py代码转换，生成COCO格式的锁紧板样本数据集。
3.根据权利要求2所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述步骤二建立改进的YOLACT深度学习实例分割模型；具体过程为：
步骤二一、CNN主干网络引入可变形卷积DCNv2，将CNN主干网络中固定形状的卷积核变为可变卷积核，正常3*3大小的普通卷积核对于每个输入y(p0)，均采样9个位置，公式为：
其中，y(p0)表示；p0表示在每个位置卷积后的输出值；R为采样规则网格，表示为：R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}；Pn表示对R中所列位置的枚举；w(pn)表示Pn位置对应的卷积核值；x(p0+pn)表示Pn位置对应的待卷积的图像像素值；
引入偏移量△pn，变成可变卷积核，采样的9个位置向四周扩散，公式表示如下：
其中，y1(p0)表示引入偏移量后在每个位置卷积的输出值；进一步引入权重△mk，分配不同权重给经过偏移量修正过的区域，公式如下：
其中，y2(p0)表示引入权重在每个位置卷积的输出值；；DCNv2应用在最后的conv3到conv5层，用3*3可变形卷积层替换各个ResNet块中的3*3卷积层，将可变形卷积层添加到yolact的主干网络中；
步骤二二、保持anchor的长宽比不变，增加FPN每层特征的anchor尺寸比例，对Anchor超参数优化；
步骤二三、在模型原结构基础上增加一个mask重评分分支，将YOLACT模型得到的mask预测结果作为输入，使用6层以Relu为激活函数的卷积层来提取特征，连接一层全局池化层，输出预测的IoU，将预测的IoU和分类分数相乘作为最终的分数，即为重新评定的最优分
2
CN 112233095 A
权 利 要 求 书
2/2页
数。
4.根据权利要求3所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述步骤四中判断锁紧板的具体故障类型；判断方式包括：
正常情况下，锁紧板下沿与铁轨保持水平，当锁紧板下沿与铁轨成一定的夹角时，采用hough变换检测直线的方式，检测下沿线与水平方向夹角，若夹角大于10°，则判断为锁紧板位移，若夹角小于10°，则继续判断故障类型；
正常情况下，锁紧板下沿与右侧边沿成90°角，若角度异常，则判断为出现锁紧板缺损或变形，此时截取二值化区域右侧1/3图像作为判断依据，计算区域轮廓及面积；若面积过小且轮廓点出现向左侧凹陷的情况，则判断为锁紧板缺损故障；若面积过小且轮廓点未出现向左侧凹陷的情况，则判断为锁紧板变形故障；
若未分割出锁紧板，则认为不存在锁紧板，报警锁紧板丢失；若以上情况均未出现，则判断为锁紧板正常；当锁紧板出现任意故障时，根据故障判断结果通过TFDS货车故障检测系统立即上传到故障显示平台。
5.根据权利要求1所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述最优模型为：
选择1000张锁紧板图像作为测试集，测试训练后的模型的鲁棒性，测试结果满足准确检测分割出锁紧板区域准确率为100％，则认为是最优模型，若不满足，则继续训练，直至分割准确率达到100％。
6.根据权利要求2所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述labels.txt文件，格式为：
__ignore___background_Lockingplate其中，Ignore和background为labels.txt文件中的固定格式；Lockingplate表示锁紧板样本标签名称。
7.根据权利要求2所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述COCO格式的锁紧板样本数据集包括生成的png格式的图像和每张图像所对应的标签。
8.根据权利要求2所述一种铁路货车锁紧板装置多种故障形态检测方法，其特征在于，所述检测系统为TFDS-货车故障轨迹边图像检测系统。
3
CN 112233095 A
说 明 书
一种铁路货车锁紧板装置多种故障形态检测方法
1/5页
技术领域
[0001]本发明涉及一种铁路货车锁紧板装置多种故障形态检测方法。属于铁路货车运行领域。
背景技术
[0002]随着我国铁路事业的迅猛发展，铁路安全尤为重要，在铁路货车技术全面提高的大背景下，迫切需要及时发现货车运行过程中出现的部件故障，避免造成严重的后果。锁紧板装置是货车紧固底部交叉杆的重要装置，是转向架的支点，对转向架起到支撑作用，由于在运行过程中交叉杆不断地在受力运动，两端的锁紧板装置也会随之出现松动、锁紧板移位、甚至严重者出现破损、变形、丢失，无法对交叉杆起到固定作用，影响行车安全。[0003]在此背景下，采用机器检测与人工检测相结合的方式更好的保证了故障被发现的概率，不仅能提高工作效率，也能降低人工列检的时间和成本，大大降低了安全隐患。发明内容
[0004]本发明是为了解决由于锁紧板装置容易出现松动、位移导致无法对交叉杆起到固定作用，而影响行车安全的问题。现提供一种铁路货车锁紧板装置多种故障形态检测方法。[0005]一种铁路货车锁紧板装置多种故障形态检测方法，包括：[0006]步骤一、建立锁紧板图像样本库，获取锁紧板样本数据集；[0007]步骤二、建立改进的YOLACT深度学习实例分割模型；[0008]步骤三、基于获取的锁紧板样本数据集和改进的YOLACT实例分割模型，进一步对改进的YOLACT深度学习实例分割模型进行多次训练；观察训练过程中的loss误差下降曲线，直至训练出最优模型并导出，作为锁紧板部件的分割模型；[0009]步骤四、经过实例分割模型分割出锁紧板区域后，对锁紧板区域二值化，将锁紧板位移、锁紧板缺损和锁紧板变形情况分割出来，根据分割后的二值化结果，判断锁紧板的具体故障类型。[0010]有益效果[0011]1、将深度学习技术和图像处理技术应用到铁路货车故障检测中，实现了故障的自动识别，能够提高故障检测效率，降低了列检时间和列检成本，也降低了危机行车安全的风险。
[0012]2、采用改进的YOLACT实例分割模型，在保证原YOLACT模型速度快的特点的同时大大提高了模型的分割精度，达到了实时过车实时检测故障的速度要求，同时分割精度也能够满足锁紧板装置的分割精度要求。[0013]3、在故障判别阶段，采用图像处理技术处理分割出的锁紧板区域，能够将锁紧板装置故障形态细分，使故障报警信息更加准确，更方便人工进一步核实具体发生的故障情况，而且大大降低了货车运行的安全隐患。
4
CN 112233095 A
说 明 书
2/5页
附图说明
[0014]图1为故障识别整体流程图；[0015]图2为可变形卷积核示意图；[0016]图3为mask重评分分支结构图；
[0017]图4为正常锁紧板区域分割结果图；[0018]图5为锁紧板位移区域分割结果图；[0019]图6为锁紧板缺损区域分割结果图；[0020]图7为锁紧板变形区域分割结果图；
具体实施方式
[0021]具体实施方式一：结合图1具体说明本实施方式，本实施方式的一种铁路货车锁紧板装置多种故障形态检测方法，包括：[0022]步骤一、建立锁紧板图像样本库，获取锁紧板样本数据集；[0023]步骤二、建立改进的YOLACT深度学习实例分割模型；[0024]步骤三、基于获取的锁紧板样本数据集，对改进的YOLACT深度学习实例分割模型进行多次训练；观察训练过程中的loss误差下降曲线，直至训练出最优模型并导出，作为锁紧板部件的分割模型；[0025]步骤四、经过实例分割模型分割出锁紧板区域后，对锁紧板区域二值化，将锁紧板位移、锁紧板缺损和锁紧板变形情况分割出来，根据分割后的二值化结果判断锁紧板的具体故障类型，所述锁紧板故障类型包括：锁紧板移位、锁紧板缺损和锁紧板变形；[0026]步骤五、经过以上步骤的判断，若判断出锁紧板故障，则根据判定结果立即上传到故障显示平台。
[0027]具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一建立锁紧板图像样本库，获取锁紧板样本数据集；具体过程为：
[0028]通过TFDS-货车故障轨迹边图像检测系统截取出锁紧板装置区域图像，通过收集不同时间段、不同天气状况的不同车辆图像组成样本集；利用实例分割网络，需要创建COCO格式的目标检测JSON注释文件；首先使用labelme标记样本集文件，标注出锁紧板区域；然后创建labels.txt文件，格式如下：[0029]__ignore__[0030]_background_[0031]Lockingplate[0032]其中，Ignore和background为labels.txt文件中的固定格式；Lockingplate表示锁紧板样本标签名称；
[0033]最后通过labelme2coco.py代码转换，生成COCO格式的锁紧板样本数据集，所述COCO格式的锁紧板样本数据集包括生成的png格式的图像和对应的标签两个文件夹(图像经过labelme工具标注之后生成的文件，每张数据集图像对应一个标签，本文需要将标注后的图像及标签文件转换为coco格式的数据集，然后训练模型)。[0034]其它步骤及参数与具体实施方式一相同。[0035]具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二建立
5
CN 112233095 A
说 明 书
3/5页
改进的YOLACT深度学习实例分割模型；具体过程为：
[0036]YOLACT实例分割模型是基于one-stage一阶段网络的实例分割模型，较two-stage二阶段网络的分割模型比精度差一些，但是速度快，能够保证实时性；因此本发明在保证速度实时性的前提下，对模型做进一步的改进，提高分割的准确性，使模型更好的应用在锁紧板区域分割上；
[0037]一阶段(one-stage)网络包括：YOLACT、SDD、YOLO等，one-stage网络生成的ancor框架只是一个逻辑结构或一个数据块，只需要对此数据块进行分类和回归；二阶段(two-stage)网络包括：Fast R-CNN、Mask-RCNN等，two-stage网络生成的ancor框架会映射到feature map的区域(rcnn除外)，然后将该区域重新输入到全连接层进行分类和回归，每个ancor映射的区域都要进行这样的分类和回归；[0038]步骤二一、建立CNN主干网络：[0039]首先对主干网络进行改进，其中卷积层对提取图像特征起关键作用，为了提高提取图像特征的准确度(YOLACT原卷积层是传统通用的卷积核，需要将卷积核改为可变形卷积核，提高所需要的部件特征提取精度，如图2所示：普通卷积核提取的是3*3标准的特征点，改进后能够提取出右侧比较复杂的特征点，这个新结构特征点符合锁紧板不规则6边形特征)，需要对卷积层做适当的修改，提高主干网络对不同形态的特征的收集功能；
[0040]CNN主干网络(普通的YOLACT特征提取网络)引入可变形卷积DCNv2(Deformable ConvNets v2)，将CNN主干网络中固定形状的卷积核变成可变卷积核，这样就改变了采样方式，正常3*3大小的普通卷积核对于每一个待卷积的位置点p0，都要采样9个位置，用公式表示如下：
[0041]
其中，p0表示每个待卷积的位置点，y0(p0)表示在每个位置卷积后的输出值；R表示
采样规则网格：表示为：R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}；pn表示对R中所列位置的枚举；w(pn)表示pn位置对应的卷积核值；x(p0+pn)表示pn位置对应的待卷积的图像像素值；[0043]经过引入偏移量△pn，变成可变卷积核，则采样的9个位置向四周扩散，用公式表示如下：
[0044]
[0042]
其中，y1(p0)表示引入偏移量后在每个位置卷积的输出值；
[0046]可变形卷积核如图2所示；[0047]通过引入偏移量△pn，使得特征提取过程能够更加集中于有效信息区域，即本发明中需要检测的锁紧板区域，通过引入可变卷积，选择最适合的偏移量(根据多次卷积层后提取特征的效果确定)能够更加集中的提取出锁紧板区域特征；[0048]引入可变形卷积后，能够更好的适应目标(精确的锁紧板区域)几何变换，但是偏移量选择过大，会使采样特征超出目标范围，导致特征不受图像内容影响，针对这一问题，进一步引入权重△mn，通过分配不同权重给经过偏移量修正过的区域，实现更加准确的特征提取(引入偏移量后，偏移量也要符合锁紧板区域特征，如果随意选择过大的偏移量，会导致对图像特征提取失效)，公式表示如下：
6
[0045]
CN 112233095 A[0049]
说 明 书
4/5页
其中，y2(p0)表示引入权重在每个位置卷积的输出值；
[0051]DCNv2应用在最后的conv3到conv5层，用3*3可变形卷积层替换各个ResNet块中的3*3卷积层，将可变形卷积层添加到YOLACT的主干网络中，提取特征效果更好，不影响提取速度的同时精度大大提升。
[0052]步骤二二Anchor锚点超参数优化：
[0053]由于锁紧板属于不规则的六边形结构，所以在形状上比较特殊，并且在货车实时运行过程中，相机拍摄的图像会存在拉伸或压缩等情况，导致锁紧板区域尺寸不一；
[0054]超参数anchor是在原始图片经过一系列卷积层和池化层以及激活函数relu后，得到了特征图feature map之后开始使用的，在这个特征图上进行窗口的滑动，根据不同长宽比例、不同面积的anchor，逆向推导出它所对应的原始图片中的一个区域，此区域即为所需目标区域；按照传统的anchor选取方式，鲁棒性较低，因此选择合适的anchor锚点超参数是非常重要的；
[0055]anchor锚点超参数包括比例和长宽比，本发明依据锁紧板形状特征，尝试了多种anchor锚点超参数设置，例如(1)保持FPN每层特征的anchor尺寸不变，将anchor的长宽比数量增加；(2)保持长宽比不变，将FPN每层特征的anchor尺寸比例增加；两种方式都增加了anchor的数目，因此提取到的特征信息更丰富，也能够更好的适应不同尺寸的锁紧板区域的特征提取；经过测试选择方式(2)保持长宽比不变，增加anchor尺寸比例，更符合锁紧板形态规律，更适合锁紧板区域特征提取；在预测目标时，按照此优化后的参数能够更准确提取目标；
[0056]步骤二三、增加mask重评分分支：
[0057]YOLACT模型本身的预测精度相对于two-stage二阶段网络的要低，因此为了进一步提高预测精度，在YOLACT模型结构基础上增加一个mask重评分分支，将YOLACT模型得到的mask预测结果作为输入，本发明使用6层以Relu为激活函数的卷积层来提取特征，然后连接一层全局池化层，输出预测的IoU(预测边框和真实边框的交并比)，将预测的IoU和分类分数相乘作为最终的分数，即为重新评定的最优分数，最终得到YOLACT深度学习实例分割模型；增加的网络分支结构如图2所示，通过增加这个网络结构，缩小了分类预测和mask分割质量间的差距，提高了整体预测精度。
[0058]其它步骤及参数与具体实施方式一或二相同。[0059]具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤四根据分割后的二值化结果判断锁紧板的具体故障类型；具体过程为：[0060](1)检测锁紧板下沿：正常锁紧板下沿(最下侧)是与铁轨成水平的，如图3中正常锁紧板，当锁紧板下沿与铁轨成一定的夹角时，如图3中锁紧板移位，此时采用hough变换检测直线的方式，检测下沿线与水平方向夹角，夹角大于10°，则判定为锁紧板移位；若夹角小于10°，则继续判断其他故障类型；[0061](2)检测锁紧板右侧边沿：正常锁紧板下沿与右侧边沿成90°角，若出现角度异常，则认为出现破损或变形情况，此时截取二值化区域右侧1/3图像作为判断依据，计算区域轮廓及面积，面积过小(面积小于正常锁紧板面积的50％)且轮廓点呈现向左侧凹陷的情况，
[0050]
7
CN 112233095 A
说 明 书
5/5页
认为是锁紧板缺损；面积过小且轮廓点未出现向左侧凹陷的情况，则认为是锁紧板变形；[0062](3)若未分割出锁紧板，则认为紧板丢失；[0063](4)以上异常情况均未出现，则认为锁紧板正常。[00]其它步骤及参数与具体实施方式一至三之一相同。[0065]具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤三中最优模型为：
[0066]选择1000张锁紧板图像作为测试集，测试训练后的模型的鲁棒性，测试结果保证满足准确检测分割出锁紧板区域，准确率满足100％，则认为鲁棒性高，即为最优模型，若不满足，则继续训练，直至分割准确率为100％。
[0067]其它步骤及参数与具体实施方式一至四之一相同。
8
CN 112233095 A
说 明 书 附 图
1/3页
图1
9
CN 112233095 A
说 明 书 附 图
2/3页
图2
图3
图4
10
CN 112233095 A
说 明 书 附 图
3/3页
图5
图6
图7
11
