Skip to content
状态估计与 AI阅读约 8 分钟
SSMMambaControl TheorySequence ModelingDeep Learning

从连续时间线性时不变(LTI)状态空间方程出发,解析 ZOH 离散化、选择性输入门控机制与经典卡尔曼增益之间的数学同构性。

结构化状态空间模型(SSM / Mamba)与经典控制论的桥梁:面向长序列机器人时序建模 ​

传统 Transformer 自注意力机制在长度 L 序列上具有 O(L2) 计算复杂度,面对 400 Hz 连续采样的长周期传感器信号(IMU、高频力控、雷达回波)时,历史 KV Cache 显存开销迅速成为端侧瓶颈。结构化状态空间模型(Structured State Space Models, SSM / Mamba) 重新拾起现代控制理论中的连续状态空间表达式,在训练期保持并行可加速性,在推理期退化为严格 O(1) 单步递推,展现出与自适应卡尔曼滤波惊人的数学亲缘关系。


1. 从连续 LTI 控制方程到 ZOH 离散化 ​

经典单输入单输出连续状态空间模型通过隐状态 h(t) ∈ ℝN 将输入信号 x(t) 映射至输出 y(t)。为了在离散数字系统上运行,通常采用零阶保持(Zero-Order Hold, ZOH)在步长 Δ 下将其转化为离散递推式:

Continuous SSM & Zero-Order Hold Discretization
h′(t) = A h(t) + B x(t),   y(t) = C h(t) + D x(t)(1) 连续状态空间方程
Ā = exp(ΔA),   B̄ = (ΔA)−1 (exp(ΔA) − I) · ΔB ≈ ΔB(2) ZOH 离散化
hk = Āk hk−1 + B̄k xk,   yk = Ck hk(3) 选择性时变递推

注意到在 Mamba(S6)中,步长 Δk、输入投影矩阵 Bk 与输出投影 Ck 不再是固定常数,而是由当前输入 xk 实时线性预测得到的。从控制与估计视角看,自适应步长 Δk 本质上充当了一个时变遗忘/增益调节器:

  • 当 Δk 增大时,状态衰减矩阵 Āk = exp(ΔkA)(其中 A 特征值为负)快速衰减历史记忆,强力吸纳当前新输入 xk——等价于卡尔曼增益 Kk → 1;
  • 当 Δk → 0 时,Āk → I 且 B̄k → 0,隐状态几乎完全忽略当前充满噪声的观测,保持既有惯性状态——等价于卡尔曼滤波在检测到传感器遮挡/野值时令 Kk → 0。

2. 双模式执行架构与参考实现 ​

A. 离线训练模式:并行关联扫描 (Parallel Scan)利用矩阵乘法结合律,以 O(log L) 深度并行计算全序列x_1:L 序列融合核 Scany_1:LB. 端侧部署模式:恒定内存递推 (O(1) Step)无需维护历史序列缓冲,单步固定维度 h_k 滚动更新x_kh_k = Ā_k h_k-1 + B̄_k x_ky_k
python
import torch
import torch.nn as nn
import torch.nn.functional as F


class SelectiveStateSpaceStep(nn.Module):
    """Single-step selective SSM cell for constant-memory online inference."""

    def __init__(self, d_model: int, d_state: int = 16) -> None:
        super().__init__()
        self.d_model = d_model
        self.d_state = d_state
        # Negative diagonal log-parameterization guarantees stability
        self.A_log = nn.Parameter(torch.log(torch.arange(1, d_state + 1, dtype=torch.float32)).repeat(d_model, 1))
        self.proj_params = nn.Linear(d_model, d_model + 2 * d_state)
        self.D = nn.Parameter(torch.ones(d_model))

    def forward_step(self, x_k: torch.Tensor, h_prev: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor]:
        # x_k: [B, D], h_prev: [B, D, N]
        params = self.proj_params(x_k)
        delta_raw, B_k, C_k = torch.split(params, [self.d_model, self.d_state, self.d_state], dim=-1)
        delta = F.softplus(delta_raw)  # [B, D]

        A = -torch.exp(self.A_log)  # [D, N]
        A_bar = torch.exp(delta.unsqueeze(-1) * A.unsqueeze(0))  # [B, D, N]
        B_bar_x = (delta * x_k).unsqueeze(-1) * B_k.unsqueeze(1)  # [B, D, N]

        h_next = A_bar * h_prev + B_bar_x
        y_k = torch.einsum("bdn,bn->bd", h_next, C_k) + self.D * x_k
        return y_k, h_next

3. 时序建模范式综合对比 ​

架构推理单步复杂度长期记忆容量物理参数先验典型机器人应用
Transformer (Attention)O(L)强(全历史精确索引)弱低频多模态语义规划、长程场景图记忆
选择性 SSM (Mamba)O(1)较强(结构化压缩隐状态)中(连续微分方程骨架)100–400 Hz 惯性里程计、触觉/电机长序列反馈
KalmanNet / 自适应 KFO(n3)固定马尔可夫物理状态极强(显式动力学与协方差)强约束位姿估计、多传感器噪声自适应融合

讨论区开启了自动与人工双重审核,文明交流的评论会在短时间内展示。

Built with VitePress