关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3052人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

尼克斯112-100力克湖人豪取6连胜,东契奇30分,詹姆斯22分

懂球帝 浏览 3029

山西废止烟花爆竹禁令背后:5年前最严"禁炮令"出台

澎湃新闻 浏览 8796

太阳报:曼联考虑在非洲杯期间让小将谢伊-莱西进入一线队

懂球帝 浏览 4223

欧盟峰会与美俄乌磋商在即 被冻结俄资产成博弈焦点

北青网-北京青年报 浏览 3648

Cariad不再是“灵魂”担当,大众请外援能否赌赢未来?

禾颜阅车 浏览 4524

第一次见有人被官方认证吹牛!内娱这位“老师”简直让人笑掉大牙

娱乐圈笔娱君 浏览 3952

华熙生物:前三季度业绩双降计提减值准备超九千万元 联营企业或以子公司自居现疑云

金证研 浏览 4258

现在宝马5系只要30万出头!中期改款前脸大改,这颜值值得等~

蜗牛车志V 浏览 3093

厄德高谈晋级世界杯:这种感觉无法用语言形容,简直疯狂至极

懂球帝 浏览 4055

小米电竞鼠标2官宣搭载专属原相全新旗舰传感器PAW3955XM

IT之家 浏览 1163

理想汽车1月销量跌破3万辆,同比、环比均下滑!

车秀小咖 浏览 3081

老兵们打赢了第一仗,但真正的战争是整个赛季

体坛周报 浏览 4199

112名“中国留学生”被韩国调查

中国新闻周刊 浏览 33450

全球红人经济“超级枢纽”!天下秀递表港交所,新浪微博持股近27%|港E声

时代周报 浏览 3449

日本外务省高官今日访华 将解释高市早苗言论

界面新闻 浏览 44205

腾讯回应元宝崩了

第一财经资讯 浏览 3025

一年暴赚233%的新“公募一哥”,新基才刚刚回本

深蓝财经 浏览 3384

《向往》口碑翻车!官方以嘉宾清闲为豪?

萌神木木 浏览 4405

立案!光环下的清越科技,藏着多少“秘密”?

财经下午茶 浏览 4281

贝克汉姆长子在说谎?英国媒体爆料婚纱实情

译言 浏览 3200

利智和李连杰合影,一个合不拢嘴,一个一脸苦相

港剧叔 浏览 4281
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1