关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3054人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

迈向智能化 广汽丰田雷凌L新老款车型对比

车质网 浏览 3267

被曲解的雷军:“安全至上”与“好看第一”并不冲突

虎嗅APP 浏览 3801

生物芯片上海国家工程研究中心四川分中心在成都揭牌

封面新闻 浏览 4328

停办吧!《奔跑吧》首播差评一片,请一大堆明星没一个能拿得出手

娱乐圈笔娱君 浏览 3868

83岁的何享健再度冲击IPO,美的系第十子即将诞生?

BT财经 浏览 5014

腾讯回应元宝崩了

第一财经资讯 浏览 3030

鲁本-迪亚斯:经验告诉我们,如果不在最佳状态就无法夺冠

懂球帝 浏览 3565

陈都灵上台领奖,白鹿没鼓掌惹争议,两家疑似因《长月烬明》结怨

萌神木木 浏览 3582

闪迪SSD将涨价超100%!且必须全款

快科技 浏览 3219

豪华大六座SUV/最新鸿蒙座舱 岚图泰山将于11月18日上市

网易汽车 浏览 4055

稳定输出,亚历山大22中11砍35分7板6助,三分9中3&11罚10中

懂球帝 浏览 4068

23岁中国女导演在柬埔寨坠亡 头部与身体遭受严重撞击

红星新闻 浏览 6917

科贝:卡尼萨雷斯质疑弗洛伦蒂诺的皇马所有制计划

懂球帝 浏览 268

探展2025世界制造业大会:解锁“人机共融”新图景

中国商报 浏览 5136

U16国足4-1复仇朝鲜!终结热身2连败 15岁红星大四喜+一条龙爆射

我爱英超 浏览 4440

美媒:美对伊朗行动选项"远超传统空袭"

新华社 浏览 3243

理想「断腕」:关店100家,李想手里还剩什么牌?

电车通 浏览 3102

10位院士与会 2025中国自动化大会成功举行

网易科技报道 浏览 4475

电商老板的焦虑,在被飞书解压?

虎嗅APP 浏览 4156

数字孪生+AI智能体技术突破,新思科技重塑芯片设计

第一财经资讯 浏览 5176

天翎科旗舰飞行器L600真机下线,累计获得近千架意向订单|最前线

36氪 浏览 4162
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1