关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1420人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

法兰克福左后卫布朗:我们依靠整体防守萨拉赫,而不是我单防

懂球帝 浏览 2732

成本3元卖60元,“99%高纯”磷虾油实测核心成分为0!百年同仁堂“栽”在贴牌上

国际金融报 浏览 2122

中国色特别策划 | 故宫技艺与古意新生

时尚COSMO 浏览 2114

尼帕病毒疫情扰动全球神经,A股病毒防治板块逆势拉升

览富财经网 浏览 1593

入秋第一条裤子就买它!时髦显瘦,巨好看!

Yuki女人故事 浏览 3496

环球圆桌对话:G7打造“稀土联盟”更像是政治表演

环球网资讯 浏览 2798

当众辱骂阿隆索!1.5亿欧熊皇惹怒老佛爷+更衣室 皇马准备处罚他

风过乡 浏览 2728

排队两小时买奶皮子糖葫芦,值吗?

时尚COSMO 浏览 2192

加州大学圣地亚哥分校发现:AI评估基准存在滞后性

科技行者 浏览 2653

法学专家:只要美愿意 完全能判马杜罗有罪并终身监禁

上游新闻 浏览 7142

全智贤近况曝光!44岁了放弃谍战剧去拍偶像剧,资源降级遭群嘲

萌神木木 浏览 2524

郑丽文第二波人事公布:张荣恭、萧旭岑任国民党副主席

海峡导报社 浏览 8028

卷首语 | 拒绝和解的勇气

时尚COSMO 浏览 2597

最喜欢的对手,特罗萨德职业生涯对利物浦进球最多

懂球帝 浏览 1730

新增1.2T发动机 新款Tata Punch官图发布

车质网 浏览 1628

去年上海人工智能产业规模预计超5500亿元,增速超30%

澎湃新闻 浏览 1766

恭喜!49岁萧煌奇官宣结婚,和妻子晒结婚戒指分享甜蜜

素素娱乐 浏览 1585

搭载1.5T插混系统 探岳L PHEV申报图曝光

网易汽车 浏览 1698

恩里克:我的球员今天表现得很出色,不过在结果上略有遗憾

懂球帝 浏览 2147

国米官方:博尼左膝轻微扭伤,将在下周接受进一步评估

懂球帝 浏览 2033

阿尔巴:自己未来不会当教练;身体状态很好但退役是综合考虑

懂球帝 浏览 2614
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1