在隐马尔可夫模型中,一般的假设是状态和观测都是离散的随机变量。如果假定隐藏的状态变量满足连续分布,那么得到的就是线性动态系统。虽然这个概念更多地出现在信号处理与控制论中,看起来和机器学习风马牛不相及,但是从马尔可夫性和贝叶斯概率的角度观察,线性系统也是一类重要的处理序列化数据的模型。
线性动态系统(linear dynamical system)的作用可以通过下面这个例子来说明。假设一个传感器被用于测量未知的物理量 z,但测量结果 x 会受到零均值高斯噪声的影响。在单次测量中,根据最大似然可以得到,对未知的 z 最优的估计值就是测量结果本身,也就是令 z=x。可是如果可以对 z 进行多次重复测量的话,就可以通过求解这些结果的平均来平滑掉随机噪声的影响,从而计算出更加精确的估计。
可一旦多次测量结果是在不同的时间点上测出的,也就是时间序列 x1,x2,⋯,xN 时,问题就没有那么简单了,因为这种情况下需要将未知变量 z 的时变特性考虑进去,前一时刻的 z 和后一时刻的 z 就不一样了。如果还是像上面那样直接对不同时刻的测量结果求均值的话,虽然随机噪声的影响可以被平滑掉,但变量本身的时变特性又会作为另一种噪声出现在结果中。