开云体育这些令牌通过自把稳力机制-开云(中国)Kaiyun·官方网站 - 登录入口

时序数据分析在工业监控、医疗会诊等范畴至关伏击。
比如航空发动机监控这个复杂工业场景中,工程师需分析海量多通说念传感器数据,以判断设立景色并制定爱戴方案。
然而,现存照料多聚焦于分类、揣测等单一任务,与现实工业场景中众人通过当然谈话进行复杂交互和方案的需求存在显耀相反。
上海交通大学航空航天学院李元祥证实团队、上海创智学院、复旦大学数据科学学院团队以航空发动机运维为布景,冷落高效、可迁徙的时序 - 谈话桥接架构——ITFormer,将众人会诊过程玄虚为"贯通、感知、推理、方案"四个明白头绪,并初次系统性地界说为"时序问答"任务范式。
团队基于 NASA 航空发动机数据,构建了包含 11 万余问答对的 EngineMT-QA 数据集。该数据集的任务打算精良贴合众人的明白历程,为评估模子在的确工业场景下的推理才能提供了首个法式化基准。
截止深入,ITFormer 以模块化打算达成了时序数据与大谈话模子的高效会通,仅需考试不及 1% 的极端参数,便可在通用时序问答数据集上进展出优胜的性能和细密的迁徙才能,展现了不凡的"即插即用"特点。它可无缝适配 PatchTST、Informer、Crossformer 等多种时序编码器,以及 Qwen、LLaMA、GLM 等不同限制和架构的大谈话模子。
此外,在使用 EngineMT-QA 进行预考试后,ITFormer 的性能获得进一步的雄伟晋升,在沿路五项任务上均达到 SOTA 水平,其中"因果分析"准确率高达 0.83。

用户不错进行追问式探索,"昨天哪个设立的能耗最高?" "为什么它的能耗这样高?" "和上周同期比较情况怎么?"。这种交互式的分析历程,让数据探索过程更合适东说念主类的想维民风,从而真确达成了数据分析的宇宙化。

航空发动机能用大模子了
时代难点
高维数据的语义索求:单个时序样本可包含数万个数值(如 32 通说念 × 600 时候步),怎么从中索求出有用的语义特征是重浩劫题。
玄虚语义的对皆建模:时序信号的花式变化(如徐徐高潮、片刻波动)与物理系统的景色调动(如设立老化、突发故障)之间的对应关系高度玄虚,难以径直建模。
多范例时候依赖的处理:时序数据中的关节信息可能分散在不同的时候范例上,模子必须具备处理多范例依赖的才能。

ITFormer 架构与关节模块

ITFormer 的打算想想是动作一个轻量级的"桥梁",在冻结预考试时序编码器和大型谈话模子(LLM)的前提下,达成两者的高效对皆与会通。
时候令牌位置编码(TPE)
为精准表征多维时序数据的结构,TPE 在三个头绪上进行位置编码:时候步(Temporal Steps)、通说念(Channels)和时序片断(Segments),确保模子能诀别不同时代点、不同传感器以及不同数据段的语义信息。
可学习教唆令牌(LIT)
为了让模子贯通具体的任务教唆,LIT 在文本查询前添加了一组可学习的令牌。这些令牌通过自把稳力机制,未必从当然谈话查询中自动拿获并浓缩任务关系的语义信息,从而交流明续的跨模态会通。
教唆时候把稳力(ITA)
动作 ITFormer 的中枢更动,ITA 通过一个高效的两阶段过程达成跨模态对皆:
通说念教唆会通(Channel Instruct Fusing):字据 LIT 提供的任务教唆,动态地对每个时候步上的多通说念特征进行加权团员,筛选出与任务最关系的传感器信息。
时候教唆把稳力(Time Instruct Attention):在上一步的基础上,再次字据任务教唆,在时候维度上进行把稳力加权,团员最关节的时候片断信息。
这一打算显耀晋升了计较恶果,同期保证了对皆的精准性。
时候令牌即谈话(TAL)
该计谋将 ITA 会通明的时序特征向量径直视为谈话令牌,并替换掉文本查询中预设的占位符。这使得时序信息能以一种与谈话模子兼容的形势,无缝镶嵌到 LLM 的输入序列中,从而达成端到端的建模。
EngineMT-QA 数据集打算

EngineMT-QA 基于的确的工业左右场景打算,其任务头绪反应了众人处理时序数据的明白过程。

数据限制:包含逾越 11 万对高质地问答数据,源于 NASA N-CMAPSS 法式数据集。
数据维度:掩盖 32 个传感器通说念,每个样本包含 600 个时候步。
质地保证:所特等据均经过范畴众人的交叉审核,确保时代准确性。

适配主流 LLMs,性能达成 SOTA
EngineMT-QA 数据集上的性能对比

在 EngineMT-QA 数据集上,ITFormer 的性能全面特出了包括主流多模态 API,如 ChatGPT-4o、Gemini,以及专用时序 - 文本模子 Time-LLM、AutoTime 在内的扫数基线。尤其在需要深度分析的"推理"和"方案"任务上,F1 分数和 BLEU 得分的显耀起原,证明了 ITFormer 对复杂时序 - 谈话关系具备刚毅的建模才能。
ITFormer 模块有用性考据:消融实验

消融实验截止量化了 ITFormer 各中枢组件的孝敬。实验标明:TPE(时候令牌位置编码) 对模子性能的晋升最为关节,是模子贯通多维时序结构的基础。同期,ITA(教唆时候把稳力) 与 TPE 的集合未必产生显耀的协同效应。最终,包含沿路组件的齐全架构性能最好,考据了 ITFormer 系统性打算的有用性。
架构通用性:适配不同期序编码器与谈话模子

ITFormer 展现了不凡的"即插即用"特点。实考据明,它可无缝适配 PatchTST、Informer、Crossformer 等多种时序编码器,以及 Qwen、LLaMA、GLM 等不同限制和架构的大谈话模子。此外,跟着底层谈话模子限制的晋升,举座任务性能也随之稳步提高,进展出细密的可延伸性。
跨域泛化与数据集价值

为考据模子与数据集的通用价值,照料团队在公开基准 TimeSeriesExam 上进行了测试。
截止深入:1.ITFormer 措施的有用性:即便不经过预考试,ITFormer 径直在 TimeSeriesExam 上考试,其性能已在多个任务上优于通用基线,证明了其架构打算的先进性。 2.EngineMT-QA 数据集的价值:在使用 EngineMT-QA 进行预考试后,ITFormer 的性能获得进一步的雄伟晋升,在沿路五项任务上均达到 SOTA 水平,其中"因果分析"准确率高达 0.83。
这充分证实,EngineMT-QA 动作一个时序论本对数据集,未必为模子提供对于时序 - 文本关系的现实性学问,从而显耀晋升其在其他任务上的泛化才能。
推理恶果考据

恶果测试标明,ITA 机制相较于传统的跨模态把稳力(cross-attention),在处理多通说念、长序列数据时推理速率上风较着。同期,LIT 模块也能有用裁减长文本输入带来的计较支出。这些截止证明,ITFormer 的架构打算兼顾了高性能与高恶果,为大限制及时左右提供了可能。
ITFormer 及 EngineMT-QA 为时序 AI 社区提供了新的照料范式和珍重资源,在工程和科学范畴均具有广宽的左右出路。
时序 QA 论文牍册:
https://github.com/Pandalin98/Awesome-Time-Series-QA-Papers
技俩主页:
https://pandalin98.github.io/itformer_site/
论文通顺:http://arxiv.org/abs/2506.20093
一键三连「点赞」「转发」「留意心」
宽宥在研讨区留住你的目的!
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见开云体育
- 体育游戏app平台芙崽在 MWC 上展出-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-19)
- 开云体育这些令牌通过自把稳力机制-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-19)
- 欧洲杯体育让它先生成一张北极熊喝可乐的像片-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-19)
- 开云体育(中国)官方网站本科文化中式收尾分数线为平方类一段线的65%-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-18)
- 开云体育其本性为涉案毒品数目少但往复次数多-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-18)
- 开云体育东谈主们沿着习近平总文书检修时的萍踪-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-18)
- 体育游戏app平台正股最新价为16.97元-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-17)
- 体育游戏app平台风语转债信用级别为“AA-”-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-17)
- 体育游戏app平台正股最新价为7.88元-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-17)
- 开云体育仿佛踏入了霍格沃茨的学院专区-开云(中国)Kaiyun·官方网站 - 登录入口 (2026-06-16)
