每周文章分享
2022.11.21-2022.11.27
标题: LW-Net: an interpretable network with smart lifting wavelet kernel for mechanical feature extraction and fault diagnosis
期刊: Neural Computing and Applications (2022) 34:15661–15672
作者: Jing Yuan, Shuwei Cao, Gangxing Ren, Fengxian Su, Huiming Jiang, Qian Zhao.
分享人: 河海大学——谢雨航
壹
背景介绍
随着人工智能技术的飞速发展,现代机械设备已广泛应用于国民经济的各个行业。保证机械设备的安全运行,降低机械设备的维护成本显得尤为重要。如何利用故障诊断技术对机械设备运行过程中的故障进行识别和维护,成为研究人员关注的焦点。深度学习已应用于机械故障诊断。其中,卷积神经网络(CNN)具有浅层卷积运算,支持特征学习功能。然而,CNN的可解释性一直是一个亟待解决的问题,尤其是浅卷积运算在特征提取和学习中的潜在逻辑和物理含义。
贰
关键技术
在本文中,将提升小波引入到CNN卷积层中,提出了一种基于内积匹配原理的可解释性智能提升小波核,用于机械特征提取和故障诊断。智能提升小波核是由提升小波基函数开发的,具有自适应特性和良好的信号处理性能。利用智能提升小波核,通过提升小波变换设计浅层网络,帮助CNN发现具有物理意义的特征提取原理。在此基础上,提出了由智能提升小波核驱动的CNN——LW-Net,可为CNN的浅层提供物理解释。与标准的卷积层依赖于一组随机初始化的参数不同,LW-Net将输入信号与一组参数化的提升小波核进行卷积,实现浅层特征提取,预测器和更新器的两个参数从输入信号中学习。基于内积匹配原理,网络浅层重点提取冲击故障特征,使网络输出结果具有明确的物理意义,并对不同数据具有鲁棒性。
本文的创新和贡献如下:
1)利用提升小波理论约束下的高阶消失矩、短紧支、正则性等信号处理特性,构造了智能提升小波核。此外,该核可以学习和适应各种输入信号,适合于准确提取冲击故障特征。
2)基于提升小波变换设计了一个嵌入底层逻辑和物理意义的浅层特征提取网络。通过可重复模拟验证和讨论了新核对浅层的可解释性,重点讨论了波形匹配方面的问题。
3)建立了一种新的LW-Net模型,该模型提出的提升小波核层具有普适性,可应用于任何卷积网络。此外,与传统CNN相比,LW-Net大大减少了浅层参数,从而提高了网络的收敛速度。
叁
算法介绍
1. 提升小波变换Lifting wavelet transform
图1 提升小波分解示意图
提升小波可以很容易地在时域设计,打破了传统小波只能在频域构造的惯例。这不仅大大扩展了小波的类型,而且可以根据输入信号在时域内构造合适的小波,利用内积匹配原理实现特征的高度匹配。提升小波变换的框架由拆分、预测和更新三个步骤组成。图1是提升小波变换的操作过程。
2. 提升层
一般来说,卷积神经网络第一层提取的特征与整个网络的性能有很大的关系。传统的卷积层不能有效地从输入信号中提取有用的冲击故障特征。考虑到提升小波和变换的自然卷积的优势,采用智能提升小波核设计提升层,对输入信号进行学习和适应,提取冲击故障特征。提升层的整个数据流路径是一个时域提升处理,包括对子层的分割、预测和更新,以获得底层特征。
分割子层将输入信号x分成奇样本序列和偶样本序列,如下所示:
预测子层的计算如下:
其中f(·)是卷积模。Ps是智能提升小波的预测因子。
更新子层的计算如下:
其中Us为智能提升小波的更新者。多项式的阶数等于小波的消矩。
通过核函数,Ps和Us可以得到具有高阶消失矩、短紧支和规律性的智能提升小波。同时,它是一种具有典型冲击波形特征的基函数,适用于根据内积匹配原理进行局部故障诊断。更重要的是,根据两个自由参数的特征学习,自适应构造智能提升小波,从而实现(10)-(12)对设计提升层的有效特征提取。因此,提升层可以是一个浅层,其中嵌入了潜在的逻辑和物理意义。
3. LW-Net的总体结构和参数
表1给出了LW-Net的具体参数,其中,本文的输入样本设置为1024点:
(1)根据实验经验,提升层卷积核大小为2,核数为6,大大提高了网络的训练速度和收敛速度;
(2)设置两个一维卷积层(Conv1D),对提升层后提取的特征信息进行更深层次的挖掘,其中一个层的内核大小为5,内核编号为10,另一个层的内核大小为25,内核编号为16;
(3)采用核数16设计自适应最大池化层(AdaptiveMaxPool1D),使特征更明显;
(4)增加1核数的线性层来识别特征;
(5)最终输出的大小为m, m表示标签的数量。
表1 LW-Net模型的参数
图2是LW-Net机械特征提取和故障诊断的流程图,描述如下:
步骤1:数据处理阶段,将采集到的各种类型的故障数据分为训练集和测试集。
步骤2:在训练阶段,完成LW-Net的初始化。
步骤3:根据阶约束(N = ~N = 10),设计Ps和Us。
步骤4:采用Ps和Us自适应ws对数据进行分裂、预测和更新子层处理。
步骤5:结合conv1d和AdaptiveMaxPool1D提取输入信号的故障特征。
步骤6:通过softmax映射和交叉熵函数计算输出结果。同时,利用反向传播算法计算了提升层ws和其他层参数的梯度。
步骤7:根据训练损失率判断网络是否训练完全,考虑到准确率高、效率高,设置为0.001。
步骤8将经过良好训练的LW-Net应用于测试数据,并对故障类型进行分类。
步骤9输出用于故障诊断的标签。
图2 机械特征提取与故障诊断的LW-Net流程图
4. 可解释性
一种常用的标准提升小波记为SLW(10,10),其中N为10,{wi} =[0.6056, 0.6056]作为模拟信号的故障特征。同时,引入2阶(Db2)和12阶(Db12) Daubechies小波构造的两个干涉特征,扩展了模拟的标签类型。图3显示了仿真的三个小波标签的波形。此外,在三个小波标签中加入一个受下式约束的正弦信号作为干扰噪声。
图3 三个小波标签的波形:a SLW(10,10), b Db2, c Db12
混合信号见图4。对包含三个小波标签的模拟信号进行重排和随机截取,形成每个标签编号为60、每个信号长度为1024的模拟数据。然后,将数据按2:1的比例分成训练集和测试集。
图4 混合信号:a带有SLW(10,10)小波标签,b带有Db2标签,c带有Db12标签
由于有三个小波标签,LW-Net的输出标签数为3。在仿真中,LW-Net进行了三次训练,训练过程中损失和分类精度的变化如图5所示。特别是在第30次迭代时,参数更新属于局部优化。但在第31次迭代中,参数更新跳出局部最优解,寻找全局最优解。从图5可以看出,LW-Net在训练过程中逐渐收敛。同时,LW-Net在训练后的测试集上的准确率为100%。
图5 LW-Net的训练过程:a交叉熵损失的变化,b分类精度的变化
提升层的目的是使智能提升小波核从输入信号的特征中学习来匹配冲击特征,相应的提升小波在高阶消失矩上也具有良好的信号处理性能,具有良好的紧支持性和规律性。采用内积匹配原理来验证提升层的底层逻辑和物理意义。
图3a所示的SLW(10,10)是淹没在输入数据中的设计冲击特征,应该由提升层提取。图6显示了三次训练前后提升层提升小波的提升小波波形的变化。其中,智能举升小波1和智能举升小波2分别对应六个智能举升小波核中的两个,其中前两个小波核与训练后SLW(10,10)的模拟特征最相似。尽管在不同的初始化{wi}内,智能提升小波核可以学习输入信号的特征,即SLW(10,10)的波形。因此,根据输入数据中SLW(10,10)的特征波形学习绿线中智能提升小波的各种初始化,并训练其近似于红线中嵌入的冲击特征。特别是第三次训练后,智能升降小波1和智能升降小波2的波形与SLW(10,10)极其相似,两者之间的相关系数均大于99.9%。显然,提升层的提升小波核通过从输入信号中学习和匹配嵌入的特征来执行特征提取的有效性,以提高收敛能力和网络的准确性。
在轴承故障诊断中,提升层适合从有噪声的输入信号中学习和提取轴承的不同冲击故障特征波形,轴承故障类型的不同标签主要在于故障特征频率,即这些提取的故障特征之间间隔时间的逆。因此,LW-Net的智能提升层虽然只有一种提升小波,但对于机械故障诊断,尤其是具有冲击故障特征的故障诊断具有很强的能力。综上所述,通过仿真可以得出,LW-Net在提升层上的可解释性符合机械特征提取和故障诊断的内积匹配原则。新核浅提升层的基本逻辑和物理意义是对冲击故障特征的自适应波形匹配。
图6 三次训练前后提升层智能提升小波的学习
肆
实验结果
1. 实验设置
使用CWRU数据集来验证本文的方法。实验中共选取了四种类型的外圈故障、内圈故障和滚子故障及正常状态。对于具有相同故障类型的轴承,有三种故障直径,包括0.007英寸,0.014英寸和0.021英寸。因此,在这个数据集中有10种标签。电机运行速度为1750 rpm,驱动端加速度采样频率为12khz。
2. 结果分析
图7显示了10个标签的典型输入信号。每个输入信号的长度设置为1024,每个标签截取100个原始信号,按3:2的比例随机分配到训练集和测试集。因此,训练样本总数为600,测试样本总数为400。需要注意的是,本文提出的方法和比较的方法都是在相同的环境下使用相同的数据进行训练,每个网络都进行了4次训练,以保证结果的客观性和真实性。图8和图9显示了LW-Net的训练和学习过程以及CWRU数据集的比较方法。在图8和图9中,将迭代训练到图5的30倍时,出现异常跳点的原因与图8和图9相同。
图7 10个标签的典型输入信号
图8 交叉熵损失的变化
图9 分类精度的变化
可以看出,LW-Net的交叉熵损失在第8轮时减少到很小,接近于0,并且比比较方法的交叉熵损失要快。同时,LW-Net的分类精度比比较方法提高了接近1。LW-Net中的提升层比一般卷积层具有更少的参数,导致网络在训练中快速收敛。表2显示了LW-Net的分类结果的比较。从表2可以看出,LW-Net在CWRU数据集上的表现优于其他经典和流行的智能诊断模型,平均准确率为99.37%。
表2 不同方法分类结果比较
伍
总结
针对多无人机路径规划问题中存在的路径和障碍干扰,以及无人机连续的动作空间,本文提出了Adv.TD3,实现了算法的快速收敛,减小了路径规划的能效。随后使用两步式框架(离线训练,在线规划),减小了多无人机对边缘计算的依赖,使无人机能够实时执行路径规划成为可能。
-END-
==河海大学网络与安全实验室==
微信搜索:Hohai_Network
联系QQ:1084561742
责任编辑:何宇