关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3100人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

周星驰发文悼念梁小龙,直言永远怀念对方,两人曾因拍戏反目多年

萌神木木 浏览 3294

豪华MPV的"新解法" 吉利银河V900上市26.98万起售

车评社Auto 浏览 3108

爱马仕的暮色时分有多美?

时尚COSMO 浏览 2458

阿莫林自信可率曼联英超夺冠!对比弗爵时代不公平,理解名宿质疑

罗米的曼联博客 浏览 3761

国家禁止亏本卖车,价格战就能不打了?

汽车公社 浏览 3363

丹麦增兵格陵兰岛 欧洲多国派兵

央视新闻客户端 浏览 2705

史上最强编程模型Claude 5泄露,最慌的是黄仁勋?

字母榜 浏览 3088

OpenAI发力机器人与AI设备,被爆寻找美国供应商

华尔街见闻官方 浏览 3210

图片报:皇萨塔、曼联、拜仁、药厂、多特等球队关注艾希霍恩

懂球帝 浏览 1709

女友BELLA+封面 | 高杨:步履稳定,心向未知

伊周潮流 浏览 3826

车机升级 第五代宏光MINIEV将于3月下旬上市

车质网 浏览 2252

苹果公司总市值首次升破4万亿美元

证券时报 浏览 3475

“霸凌”周迅的奚美娟,现在付出代价了?

除夕烟火灿烂 浏览 3726

纯电续航可达700km AMG GLC 53 EQ谍照曝光

车质网 浏览 3398

奔驰/宝马/奥迪销量集体下滑,谁也逃不过以价换量

郑谊 浏览 3238

伊姐周日热推:电视剧《重案解密》;电视剧《21世纪大君夫人》......

伊周潮流 浏览 1283

今年秋冬我一定要买这件衣服,越看越心动!

黎贝卡的异想世界 浏览 3507

日本太空航母野心披露 被指正谋划“太空珍珠港事件”

极目新闻 浏览 3610

关晓彤马尔代夫度假,满屏大长腿超抢镜

扒虾侃娱 浏览 4372

陈匡怡怒斥台媒毁人名节,自曝写了遗书

萌神木木 浏览 2899

基米希被法比安鲁伊斯爆头,裁判未做表示,VAR未介入

懂球帝 浏览 4083
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1