关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1415人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国庆出游,就要这么“出彩”!

Yuki女人故事 浏览 3412

特朗普在10天内4次誓言"拿下格陵兰" 强调"不择手段"

扬子晚报 浏览 1648

AI终端战事升级:大厂跨界厮杀,阿里、字节、理想同场竞速

时代财经 浏览 2111

时代不同了,莲花怎么办?

HighendLife 浏览 3289

不造车,京东谋何局?

盖世汽车 浏览 2655

高市内阁名单出炉 身材火辣的日本知名写真女星入选

红星新闻 浏览 8641

德天空:法比奥-卡瓦略冬窗会离开布伦特福德,可能永久转会

懂球帝 浏览 2640

252名记者在加沙遇难 巴勒斯坦记者游行悼念

环球网资讯 浏览 2863

恩里克:我们在23分钟内丢了3个球?那是对手球员的实力所致

懂球帝 浏览 2858

米兰冬奥中国体育代表团领奖装备亮相,藏着李宁的奥运“双胜”叙事

时代周报 浏览 2768

中国人民大学的研究突破:让AI思考过程更快更省的神奇方法

科技行者 浏览 1446

女子家门口遇害案被告家属首发声:女儿带刀是为"防身"

南方都市报 浏览 18412

俄副总理称亲自参战:用狙击步枪在乌军袭击时还击

鲁中晨报 浏览 2430

共享电单车下沉战升级!松果出行递表港股,业务覆盖全国422个市县|港E声

时代周报 浏览 1791

周星驰悼梁小龙,翻起港圈大佬们的恨海情天

仙女事件簿 浏览 1584

27分钟28+8早早打卡!亚历山大场下观赛脸都笑烂了 雷霆24胜1负

颜小白的篮球梦 浏览 2093

连衣裙+运动鞋,今秋最美穿法!舒适又时髦!

Yuki女人故事 浏览 2616

中国男子在意涉嫌抢枪被警察击伤头部 疑是两孩父亲

扬子晚报 浏览 8253

带领泰州队夺冠 苏超唯一"女教头"不到半年里瘦了17斤

新民周刊 浏览 8354

特朗普失去耐心 给泽连斯基下最后通牒

华西都市报 浏览 7178

40岁宋仲基带老婆参加友人婚礼,被误认成徐帆

丁丁鲤史纪 浏览 1480
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1