1. EM-AM算法

EM算法是一种有效的识别算法，可以识别具有不完整数据的一维系统。然而，与一维系统不同，二维因果系统在每个采样瞬间都会有更多的数据丢失，这使得二维因果系统识别更具挑战性。下图显示，2-D系统在每个采样瞬间丢失M个数据点，而在1-D系统中，每个采样瞬间仅丢失一个数据点。本文提出的EM-AM算法可以扩展到二维因果系统。

图1 二维系统数据丢失情况

本文使用EM算法处理具有缺失输出数据，分为求期望（E步）和最大化Q函数（M步）两步，E步即对数似然函数求期望：

求得函数期望值即建立参数的下界，通过不断优化下界（M步），使得参数的下界不断逼近真实的参数，迭代之后即可以得到参数值。

针对本文中存在的数据缺失问题，使用了链式概率准则和条件概率公式对模型进行化简，这样做的目的在于通过概率分布去估计参数的后验概率密度，随后计算出Q函数。

算法流程图如下：

图2 算法流程图 

从EM-AM算法的流程图中可以看出，应该在每个采样时刻mk估计M个缺失输出。而对于一维系统，只需要在每个采样时间mk估计1个缺失输出即可。

为了获得模型参数，应首先估计缺失的输出数据。众所周知，卡尔曼滤波器或平滑器是估计线性状态空间模型未知状态的有效估计器。因此本文针对具有缺失输出数据的二维因果系统，提出了一种改进的卡尔曼滤波和平滑方法EM-KF算法。

2. EM-KF算法

针对本文存在的输出数据缺失问题，在输出数据未知的情况下，需要通过输出数据的概率分布进行迭代计算与参数估计，所以这里使用输出数据的期望值去估计缺失的输出数据:

由于我们使用的期望值和缺失的输出数据有误差，这里的估计误差用新息表示，计算公式为：

在卡尔曼滤波原理中，协方差阵通常被用于预测矩阵的计算，预测矩阵p会随着每一步新息的改变而改变，所以新息方差和协方差矩阵的数量关系在卡尔曼滤波过程中，是参数估计和模型迭代的关键步骤，它们的关系如下：

通过两个相邻测量的每个间隔内的测量输出来改进估计输出，如下图所示：

图3 系统数据缺失

协方差阵为：

预测协方差阵：

改进后的输出估计可计算如下：

基于估计的缺失输出为：

本文提出的EM-KF算法根据可预测输出来调整参数估计结果，因此，计算精度更高。与ML算法不同，EM-KF算法在EM-E步骤中使用了改进的卡尔曼滤波和平滑方法来估计丢失的输出，因此它比ML算法复杂度更高，计算成本较大。由于在EM-M步骤的每次迭代中都涉及导致大量计算成本的矩阵反演计算我们可以使用梯度下降算法更新E步骤中的参数估计，以减少计算成本。

考虑二维因果系统：

二维因果系统如下图所示：

图4 二维因果系统建模

1. EM-AM仿真结果

EM-AM算法的估计和误差如下表所示：

 表1 EM-AM算法的估计和误差

从上表可以看出EM-AM算法提供的估计误差随着h的增加而变小并接近零。本文在仿真时使用 h = 20 时的估计参数对二维系统进行建模。下图显示了二维因果系统的估计响应：

图5 使用EM-AM算法的估计响应

 误差轨迹如下图所示：

图6 全局估计轨迹误差

当i=3时，二维因果系统退化为以为系统，误差估计从曲面退化为二维平面图像

 的误差如下图所示：

图7 i=3时EM-AM算法估计误差轨迹

2. EM-KF算法仿真结果

同样使用h=20时二维因果系统的估计响应

 误差轨迹如下图所示：

 图8 使用EM-KF算法的估计响应

 的误差如下图所示：

图9 i=3时EM-KF算法估计误差轨迹

当2-D系统缺少输出时，EM-KF算法优于EM-AM算法。仿真结果表明使用EM-KF算法的参数估计的均值和方差小于使用EM-AM算法的均值和均值，说明EM-KF方法更有效。

本文使用改进的Kalman滤波，并与EM算法相结合，应用在了回归模型中。基于辅助模型的EM算法直接使用辅助模型的输出来估计缺失数据，本文的EM-KF算法通过可观测的数据优化估计的缺失数据，提高了估计的精度。但是，在EM-KF算法中通过计算协方差阵和预测协方差阵的方法对估计值进行优化，在数据出现连续缺失的情况时计算精度容易受影响。