流形潜在因子和神经观测之间的关系用带有 MLP 编码器和解码器网络的自动编码器 154 建模,其中流形潜在因子是瓶颈 155 表示。从神经观测到流形潜在因子的虚线仅用于 156 推理,不是生成模型的一部分。动态和流形潜在因子共同形成 157 LDM,其中流形因子是动态因子的噪声观测,构成 158 LDM 状态。动态潜在因子的时间演变用线性动态 159 方程描述。所有模型参数(LDM、自动编码器)都是在单次优化中联合学习的,通过最小化未来神经观测与过去的预测误差。在无监督 161 版本中,在训练 DFINE 模型之后,我们使用映射器 MLP 网络来学习 162 流形潜在因子和行为变量之间的映射。我们还扩展到监督式 DFINE,其中映射器 MLP 网络与所有其他模型参数同时进行训练,以达到优化效果,现在可以最小化神经和行为预测误差(方法)。(b)显示了使用 DFINE 的推理过程。我们首先使用每个时间点的非线性流形嵌入来获得流形潜在因子的噪声估计。借助动态方程,我们使用卡尔曼滤波来推断动态潜在因子 𝐱𝐱 𝑡𝑡|𝑘𝑘 并改进我们对流形潜在因子 𝐚𝐚 𝑡𝑡|𝑘𝑘 的估计,下标为
主要关键词