关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1410人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

“勃肯鞋”今年冬天爆火!这几双怎么搭都好看

LinkFashion 浏览 1896

最高续航达610km 江铃羿驰05S上市售9.79万元

网易汽车 浏览 2708

梅婷首公开女儿闺房,这才是真正的富养

草莓解说体育 浏览 729

全球港口博弈拉警报?李嘉诚亮终极底牌了

大猫财经Pro 浏览 1435

晒意大利女总理"色情照"的网站发关闭声明:很快再见

中国新闻周刊 浏览 7305

登顶Hugging Face GAIA全球榜首!中兴超级智能体终结「AI黑盒」时代

新智元 浏览 2815

张维伊把婚房订成三人间,董璇直接傻了眼

烟云过眼 浏览 3191

入秋包包合集!这12个有质感还不撞款!

Yuki女人故事 浏览 2863

【观察】不抱怨、情商高、擅激励,齐沃堪称“宝藏”主帅

体坛周报 浏览 1402

李开复,在成都投了一家“0卡糖”

投中网 浏览 2876

麻省理工学院教授文小刚追忆杨振宁:他是近代物理的伟人

澎湃新闻 浏览 2876

美国同意提供安全保障 美乌“和平计划”将提交俄方

环球网资讯 浏览 2032

齐溪自曝二胎是女儿,二胎已经满一岁了,41岁生二胎原因好暖心

扒虾侃娱 浏览 2842

2026年了,最好看还是这件大衣!

LinkFashion 浏览 1628

三星 Exynos 芯片被曝放大招:5G 基带将首次集成 AI 核心

IT之家 浏览 2761

日媒炒作"台湾有事美军放弃撤离冲绳" 渲染美对日支持

环球网资讯 浏览 23321

看来看去还是这些穿搭舒适!深浅互补、多穿阔腿裤,简约自然

静儿时尚达人 浏览 2832

代码无需审核、数据随便喂,AI 正在催生下一场企业级灾难

IT之家 浏览 2647

男子去理发结果给店家投40多万 自称不好意思拒绝别人

极目新闻 浏览 7768

中超3队集体垫底!亚冠12场2胜+客场不胜,博主开炮:真别玩了

奥拜尔 浏览 2605

媒体:美国对台军售 本质是在加重中华人民共和国负担

新民周刊 浏览 7634
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1