主题
结构化状态空间模型(SSM / Mamba)与经典控制论的桥梁:面向长序列机器人时序建模
传统 Transformer 自注意力机制在长度 L 序列上具有 O(L2) 计算复杂度,面对 400 Hz 连续采样的长周期传感器信号(IMU、高频力控、雷达回波)时,历史 KV Cache 显存开销迅速成为端侧瓶颈。结构化状态空间模型(Structured State Space Models, SSM / Mamba) 重新拾起现代控制理论中的连续状态空间表达式,在训练期保持并行可加速性,在推理期退化为严格 O(1) 单步递推,展现出与自适应卡尔曼滤波惊人的数学亲缘关系。
1. 从连续 LTI 控制方程到 ZOH 离散化
经典单输入单输出连续状态空间模型通过隐状态 h(t) ∈ ℝN 将输入信号 x(t) 映射至输出 y(t)。为了在离散数字系统上运行,通常采用零阶保持(Zero-Order Hold, ZOH)在步长 Δ 下将其转化为离散递推式:
Continuous SSM & Zero-Order Hold Discretization
h′(t) = A h(t) + B x(t), y(t) = C h(t) + D x(t)(1) 连续状态空间方程
Ā = exp(ΔA), B̄ = (ΔA)−1 (exp(ΔA) − I) · ΔB ≈ ΔB(2) ZOH 离散化
hk = Āk hk−1 + B̄k xk, yk = Ck hk(3) 选择性时变递推
注意到在 Mamba(S6)中,步长 Δk、输入投影矩阵 Bk 与输出投影 Ck 不再是固定常数,而是由当前输入 xk 实时线性预测得到的。从控制与估计视角看,自适应步长 Δk 本质上充当了一个时变遗忘/增益调节器:
- 当 Δk 增大时,状态衰减矩阵 Āk = exp(ΔkA)(其中 A 特征值为负)快速衰减历史记忆,强力吸纳当前新输入 xk——等价于卡尔曼增益 Kk → 1;
- 当 Δk → 0 时,Āk → I 且 B̄k → 0,隐状态几乎完全忽略当前充满噪声的观测,保持既有惯性状态——等价于卡尔曼滤波在检测到传感器遮挡/野值时令 Kk → 0。
2. 双模式执行架构与参考实现
python
import torch
import torch.nn as nn
import torch.nn.functional as F
class SelectiveStateSpaceStep(nn.Module):
"""Single-step selective SSM cell for constant-memory online inference."""
def __init__(self, d_model: int, d_state: int = 16) -> None:
super().__init__()
self.d_model = d_model
self.d_state = d_state
# Negative diagonal log-parameterization guarantees stability
self.A_log = nn.Parameter(torch.log(torch.arange(1, d_state + 1, dtype=torch.float32)).repeat(d_model, 1))
self.proj_params = nn.Linear(d_model, d_model + 2 * d_state)
self.D = nn.Parameter(torch.ones(d_model))
def forward_step(self, x_k: torch.Tensor, h_prev: torch.Tensor) -> tuple[torch.Tensor, torch.Tensor]:
# x_k: [B, D], h_prev: [B, D, N]
params = self.proj_params(x_k)
delta_raw, B_k, C_k = torch.split(params, [self.d_model, self.d_state, self.d_state], dim=-1)
delta = F.softplus(delta_raw) # [B, D]
A = -torch.exp(self.A_log) # [D, N]
A_bar = torch.exp(delta.unsqueeze(-1) * A.unsqueeze(0)) # [B, D, N]
B_bar_x = (delta * x_k).unsqueeze(-1) * B_k.unsqueeze(1) # [B, D, N]
h_next = A_bar * h_prev + B_bar_x
y_k = torch.einsum("bdn,bn->bd", h_next, C_k) + self.D * x_k
return y_k, h_next3. 时序建模范式综合对比
| 架构 | 推理单步复杂度 | 长期记忆容量 | 物理参数先验 | 典型机器人应用 |
|---|---|---|---|---|
| Transformer (Attention) | O(L) | 强(全历史精确索引) | 弱 | 低频多模态语义规划、长程场景图记忆 |
| 选择性 SSM (Mamba) | O(1) | 较强(结构化压缩隐状态) | 中(连续微分方程骨架) | 100–400 Hz 惯性里程计、触觉/电机长序列反馈 |
| KalmanNet / 自适应 KF | O(n3) | 固定马尔可夫物理状态 | 极强(显式动力学与协方差) | 强约束位姿估计、多传感器噪声自适应融合 |