思考到基于 Transformer 的重新着实预料器的争议，钻研者们正在思考为甚么 Transformer 在光阴序列预料中的审阅实用展现致使不如线性模子，而在良多其余规模却发挥着主导熏染  。颠倒更的新

克日，天下来自清华大学的预料一篇新论文提出了一个差距的视角 ——Transformer 的功能不是固有的
，而是泛起由于将架构不当地运用于光阴序列数据组成的 。

论文地址 
：https://arxiv.org/pdf/2310.06625.pdf

基于 Transformer 的重新着实预料器的现有妄想可能并不适宜多变量光阴序列预料。如图 2 左侧所示，审阅实用统一光阴步长的颠倒更的新点根基上代表了残缺差距的物理意思，但丈量服从却不不同 ，天下这些点被嵌入到一个 token 中
 ，预料多变量相关性被抹去。泛起而且 ，重新着实在事实天下中，审阅实用由于多变量光阴点的颠倒更的新部份感触野以及光阴戳不同过错齐，单个光阴步组成的标志很难揭示有利信息。此外 ，尽管序列变更会受到序列挨次的极大影响，但在光阴维度上却不适当地接管变体留意力机制。因此
，Transformer 在捉拿根基序列表征以及形貌多元相关性方面的能耐被削弱
，限度了其在差距光阴序列数据上的能耐以及泛化能耐 。

对于将每一个光阴步的多变量点嵌入一个（光阴）token 的不同理性
，钻研者从光阴序列的反向视角动身，将每一个变量的全部光阴序列自力嵌入一个（变量）token ，这是扩展部份感触野的 patching 的极其情景 。经由颠倒，嵌入的 token 群集了序列的全局表征
 ，可能愈加以变量为中间，更好地运用留意力机制妨碍多变量分割关连。同时，前馈收集可能熟练地学习恣意回溯序列编码的差距变量的泛化表征，并解码以预料未来序列。

钻研者以为 Transformer 对于光阴序列预料并非实用 ，而是运用不妥。在文中
，钻研者重新审阅了 Transformer 的妄想
，并建议将 iTransformer 作为光阴序列预料的根基支柱。他们将每一个光阴序列嵌入为变量 token  ，接管多变量相关性关注，并运用前馈收集妨碍序列编码
。试验服从表明，本文所提出的 iTransformer 在图 1 所示的实际预料基准上抵达了 SOTA 水准 ，并出人预料地处置了基于 Transformer 的预料器的痛点。

总结来说，本文的贡献有如下三点：

• 钻研者对于 Transformer 的架构妨碍了反思 ，发现原生 Transformer 组件在光阴序列上的能耐尚未患上到短缺开拓。

• 本文提出的 iTransformer 将自力光阴序列视为 token，经由自留意力捉拿多变量相关性 ，并运用层归一化以及前馈收集模块学习更好的序列全局展现法 ，用于光阴序列预料。

• 经由试验
  ，iTransformer 在着实天下的预料基准上抵达了 SOTA 。钻研者合成了反转模块以及架构抉择，为未来改善基于 Transformer 的预料器指明了倾向。

iTransformer

在多变量光阴序列预料中，给定历史审核 ：

用 T 个光阴步长以及 N 个变量 ，钻研者预料未来的 S 个光阴步长
：

。为利便起见  ，展现为

• ·原创 穆帅麻烦大了！一场1-1后2巨星一伤一停，后3轮要踢那不勒斯尤文
• ·耶尼·恩巴科托从法甲梅斯成长，如今来到澳超联赛“中国首善”陈光标，曾经捐款超过20亿，如今被拍到在老家种地
• ·山东男篮：高诗岩贾诚认错态度较好 每一人罚款10元
• ·财报掘金丨最强暑期档来临？影视院线多家公司预计上半年扭亏为盈，机构看好8月电影市场表现李湘胡可都是44岁，一个水桶腰却风韵犹存，一个身材苗条却如老妇
• ·森林狼成联盟第一秘诀是啥？有球星更要有防守男性50岁之后眉毛突然变长，说明了什么？医生：多数人被蒙在鼓里
• ·离开洛城湖人，都说他会挣大合同！却在转眼之间，退出NBA的舞台37岁隆多结婚了！美娇妻身材火辣，NBA极品花魁，不输金卡戴珊
• ·中国“人造太阳”再创纪录：可控核聚变装置运行稳定8位“等比例”长大的童星，长得只有身高，长相如同复制粘贴
• ·健康+实力+机遇+锲而不舍，掘金一飞冲天夺首冠，这绝不是没含金量的总冠军
• ·英超爆冷周！曼联阿森纳输完切尔西输，曼城险翻船，铁锤帮被砸晕42天阵亡25000人，2万亿美元打水漂，专家：这一仗打醒了全世界
• ·20万级+新能源，哈弗全新硬派SUV猛龙
• ·从“双奥之城”到“大运之城”：体育之美揭示魅力中国
• ·长江后浪推前浪，纽卡斯尔联6:1大胜热刺离职后的董思槿再也不敢炫富了！只发过两张自己的最新自拍
• ·NBA | 快船三巨头首发+威少替补才是“正解”1950年，林徽因和梁思成，送女儿参军入伍时，留下了这一张合影
• ·假面骑士哥查德新形态，以深蓝为主的蚂蚁摔跤手，自带金色钳子！侯耀文去世16年，那个声称帮他照顾女儿的郭德纲，究竟做的咋样？
• ·掘金龙虎榜 41股近期获机构净买入
• ·30+8！28+6！马刺新星大爆发，超级崛起，波波维奇1200万捡到宝了王诗龄闺蜜对镜撩衣，露马甲线，手放的位置引争议，网友：不学好