使用 LLM 实现时间序列推理

多模态大型语言模型 (MLLM) 已在视觉等领域的理解和推理方面取得了许多进展,但我们尚未看到时间序列取得如此广泛的成功。尽管之前对时间序列 MLLM 的研究在时间序列预测中表现出色,但很少有研究展示 LLM 如何用于自然语言的时间序列推理。我们提出了一种新颖的多模态时间序列 LLM 方法,该方法可以学习跨各个领域的可推广信息,并具有强大的零样本性能。首先,我们在… 之上训练一个轻量级时间序列编码器

来源:Apple机器学习研究

多模态大型语言模型 (MLLM) 已在视觉等领域的理解和推理方面取得了许多进展,但我们尚未看到时间序列取得如此广泛的成功。尽管之前对时间序列 MLLM 的研究在时间序列预测中表现出色,但很少有研究展示如何将 LLM 用于自然语言的时间序列推理。我们提出了一种新颖的多模态时间序列 LLM 方法,该方法可以学习跨各个领域的可泛化信息,并具有强大的零样本性能。首先,我们在 LLM 之上训练一个轻量级时间序列编码器,以直接提取时间序列信息。然后,我们使用思路链增强的时间序列任务对我们的模型进行微调,以鼓励模型生成推理路径。我们表明,我们的模型学习了一种反映特定时间序列特征(例如斜率、频率)的潜在表示,并且在一系列各种领域的零样本推理任务中表现优于 GPT-4o。