1. 问题描述

本文考虑MDA的以下问题。给定N个不同的标记源域数据集和一个未标记的目标域数据集Xt，其中Xsj包含nsj个输入服从分布psj，并且Ysj表示对应的ground truth set。此外，目标数据集Xt服从分布pt是在没有标签观察Yt的情况下采样的。将这些N+1个数据集视为训练集集合，MDA旨在学习预测函数f*以最小化测试数据集的预期风险目标分布pt，即

 其中F是假设空间，L是目标函数。

针对多工况下的RUL预测任务，给出了在不同工况下收集的N个run-to-failure数据集。这些标记的源数据集与新操作条件下的未标记数据集一起用作训练集。本文的任务是使用这些N+1个数据集通过学习内在的域不变信息来改进新操作条件下的推理泛化。

2. 模型结构概述

图1 MDAN架构图

为了解决多源RUL预测任务，本文提出了一种MDAN，将MDA算法嵌入到DL过程中。图1所示的架构主要由以下组件组成：公共特征提取器、特定领域的特征提取器和特定领域的回归器。

显然，为每对源域和目标域构建N个SDA网络是一种直观的方法，但非常不经济，让这些网络共享一些权重更为可行。这样的设置是基于这样一种观点，即来自不同源域的样本虽然服从它们自己不同的分布，但应该共享一个潜在的公共分布。换句话说，它们应该有一些共同的特征。然而，直接学习所有源域的域不变表示是一项艰巨的工作。相反，更容易分别提取每对源域和目标域的域不变表示。因此，N个域特定的特征提取器和N个域特定的回归器用于来自不同源域的特征。

特定于域，或者确切地说是特定于源域，意味着来自不同源域的数据通过不同的提取器和回归器而不会相互干扰。给定一个输入xi，无论是来自源域还是目标域，它首先通过卷积神经子网络的共同特征提取器F(·)，以获得共同的潜在表示F(xi)。对于来自第j个源域的样本xi(sj)，它随后经过域特定提取器Hj(·)以获得域特定表示Hj(F(xi(sj)))。然后，域特定回归器Cj(·)将域特定表示映射到估计的标签yi。

为了充分挖掘每个源域中的监督信息，MDAN应该最小化所有源域样本的回归误差。在这里，本文采用均方误差(MSE)损失函数，如下所示：

其中θF、θ(Hj)、θ(Cj)分别表示共同特征提取器、第j个域特定特征提取器和第j个回归器中的可训练参数。

3. 两阶段多源域自适应

本文采用独特的两阶段MDA策略，即最小化每对源域和目标域之间的域差异，以便学习每对域的域不变表示。之后，将每对特定领域回归器之间的回归器差异最小化，以对齐不同回归器的决策边界。

1）最大均值差异：为了测量域差异，Gretton提出了最大均值差异（MMD），它是基于拒绝或接受原假设H0的核双样本检验：p=q由观察到的样本。两个分布p和q之间的MMD定义为p和q的平均嵌入之间的再现核希尔伯特空间(RKHS)距离。

2）CORAL Loss：作为域适应中广泛使用的度量，MMD计算域间距离的一阶矩，但这可能不是一个全面的度量。因此，本文另外引入了CORAL损失，这是源特征和目标特征之间的二阶统计量。Sun将CORAL损失定义为源样本和目标样本的协方差之间的距离。

3）特定域分布适应：尝试减少每对源域和目标域之间的差异，即减少潜在表示之间的分布距离，来自源域j和目标域的样本在通过公共提取器F(·)和特定特征提取器Hj(·)后，如图2所示。在这里，采用多阶统计矩，它结合了一阶MMD和二阶CORAL损失。

图2 特定域分布适应减少了每对源域和目标域之间的差异

4）特定域回归适应：缩小目标表示和每个源表示之间的分布差距，但它并没有直接有效地缩小源域之间的决策差异。因此，目标域样本通过不同域特定路径（提取器和回归器）的输出可能会有很大差异，即决策边界不重合。如图3所示，即使在两个源域之间的分布距离显着减小后，它们各自的决策边界仍然存在显着差异。因此，需要一种有效的策略来产生一致的决策边界，以弥合特定领域回归器之间的差距。

图3 特定域回归适应对齐决策边界

在本文中，通过直接减少目标域样本在不同域特定回归器上的输出之间的差异来对齐不同域特定回归器的决策边界。具体来说，本文计算任何两个不同回归器的输出之间的MSE并将它们相加，最小化这个统计量将激励不同的回归器调整他们的决策边界，以便充分利用来自不同源域的监督并平衡他们的贡献。因此，MDAN能够通过平均多个回归器的输出来实现更强大的知识聚合。

4. 基于MDAN的RUL预测框架

图4 基于MDAN的RUL预测框架

在提出的MDAN的基础上，提出了多工况下轴承的RUL预测框架。具体而言，所提出的框架如图4所示，其详细过程可列举如下。

1）数据采样。收集多种运行条件下轴承从运行到故障的振动信号。

2）信号预处理。同步压缩小波变换（SWT）用于处理原始信号以获得时频表示（TFR）。源域样本根据它们的RUL进行标记。

3）模型初始化。根据确定的网络结构构建和初始化模型。

4）线下训练。MDAN使用预先收集的训练数据进行离线训练，包括来自多源域的标记数据集和来自目标域的未标记数据集，以实现回归误差最小化和多源域自适应。

5）在线推理。训练后的模型用于从目标域推断测试样本。由于数据是沿时间连续体收集的，因此可以对在线预测进行推理。

6）效果评估。计算预测评估指标并评估模型性能。

A. RUL预测

图5 目标函数中每个分量的训练曲线

目标函数各分量的训练曲线如图5所示。注意，与epoch平均误差不同，单步误差非常不稳定，因此图中的曲线已经过滑动平均，以清楚地反映趋势。从图5可以看出，随着迭代的进行，回归误差Lerr迅速减小，而Ldis和Lreg最初由于βt的增加而增加了它们的贡献。随后，随着训练的继续，每个误差项不断下降。最终，总误差J趋于平稳。回归误差、域差异和回归距离都趋于优化。

显然，提出的MDAN架构侧重于在训练的早期阶段提取有效的隐藏表示以减少回归误差，同时在后期阶段缩小域差异以学习域不变监督。这符合深度迁移学习的一般方法，也有助于收敛。

B. 迁移任务的预测结果

图6 RUL预测结果多源域适应

训练后的网络用于推断目标域中的未知样本，以获得RUL预测。所有迁移任务的预测结果如图6所示。图中浅色区域表示基于多个预测结果的标准差绘制的95%置信区间。观察这些数字，我们发现了以下内容。

1）图中的RUL预测呈现出良好的下降趋势，除了任务B出现异常下降；

2）此外，特别值得注意的是，在轴承生命周期的后期，预测值更接近真实值，这对于在轴承接近失效时提供精确的维修指导具有重要意义；

3）初始阶段的较差结果可能是由于磨合阶段的较大振动，这对操作条件之间的知识迁移造成了障碍。

C. 与最先进技术的比较

图7 与最先进技术的比较结果

从图7中的这些结果，可以获得以下观察结果。

1）使用TL或DA的方法明显优于传统的基于DL的方法。这显着显示了TL方法在跨域泛化中的优势。

2）相同的单源TL方法通过源组合模式往往比单一最佳模式表现更好。本文认为，这种现象的最重要原因是数据集大小增加的好处，即使这些数据来自不同的来源。

3）MDA方法都优于单源域自适应方法，无论它们是在源组合还是单一最佳模式下工作。这表明多源域任务确实需要使用专门的方法。

4）提出的MDAN方法在多源RUL预测任务上获得了最好的预测结果，验证了其有效性和优越性。

为了利用来自多个来源的历史数据，本文提出了一个MDAN和相应的RUL预测框架，用于在多种运行条件下的轴承剩余使用寿命预测。MDAN由一个公共特征提取器、几个特定域的提取器和特定域的回归器组成。所提出的架构采用两阶段域适应策略，包括特定域分布适应和特定域回归适应。前者减少任何一对源和目标之间的分布差异以获得域不变特征，而后者减少不同域回归器之间的距离以对齐决策边界。