关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1459人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

美媒:美军已向特朗普提交对委内瑞拉动武方案

环球网资讯 浏览 2374

绿地张玉良,失去一员“大将”

红星资本局 浏览 3403

关键时刻又崩!许利民发布会罕见发怒,却甩锅球员态度与球员能力

篮球资讯达人 浏览 1766

U16国足4-1复仇朝鲜!终结热身2连败 15岁红星大四喜+一条龙爆射

我爱英超 浏览 2845

相同的3nm工艺:天玑9500要比第五代骁龙8至尊版便宜50%以上!

快科技 浏览 2851

女子产后抑郁自缢骨灰被丈夫私自下葬 父母苦寻四年

新民晚报 浏览 7006

俄"默许"朱拉尼相关提案 中国在联合国动用一票否决权

梁讯 浏览 13450

马斯克也要涉足GEO,AI应用概念全面爆发

览富财经网 浏览 1691

郑爽新账号遭封禁,晒自拍一个细节被人认出,疑似穿男友衣服出镜

萌神木木 浏览 1710

短剧泛滥成灾,燃起观众热潮与烦恼

喜欢历史的阿繁 浏览 1756

净利润减少超50%,珍酒李渡能靠“大珍”走出低谷吗?

征探财经 浏览 919

北约和俄罗斯空中对峙升级 推高爆发军事冲突风险

澎湃新闻 浏览 3330

新奥能源研究院院长刘敏胜:探索球形环氢硼聚变技术,开发商用聚变能源

红星新闻 浏览 2914

抢在苹果之前,三星推出三折叠手机

华尔街见闻官方 浏览 2267

宗馥莉第二次请辞 娃哈哈员工:宗庆后可能也没想到

澎湃新闻 浏览 5698

北京“远航天梦”航天科技体验中心项目正式落成

环球网资讯 浏览 1692

英伟达向CoreWeave追加投资20亿美元,首推独立CPU芯片

华尔街见闻官方 浏览 1528

西媒:巴萨系俱乐部在仓库存了30万件球衣,共花费400万欧元

懂球帝 浏览 1467

艾科维曾通过外部客户转贷逾千万元 两家“0人”供应商合计撑起超五千万元采购额

金证研 浏览 2868

约谈风波后岳云鹏用一句话,让德云社口碑翻盘了

东方不败然多多 浏览 2018

CBA常规赛第26轮最佳阵:周琦阿不都沙拉木领衔,姜伟泽在列

懂球帝 浏览 625
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1