关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3096人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

315风波后续来了!鹿哈取消直播被追着维权

萌神木木 浏览 2291

谁在重塑中国财富格局?AI前十强企业合计价值超1.8万亿,暴涨207%

时代周报 浏览 3242

中国移动成功举办“AI赋能医院后勤管理新发展”论坛

北青网-北京青年报 浏览 3768

伊朗船只逼近美航母 美连开数炮全打空

每日经济新闻 浏览 2298

超微电脑Q1财季营收大幅下滑15%,毛利率暴跌至9%,盘后股价重挫10%

华尔街见闻官方 浏览 4038

韩国防部给出核潜艇下水时间点 此前韩国已向中方保证

澎湃新闻 浏览 16789

蓝宝石高管首度回应显卡16Pin烧毁:就算解决、名声也臭了

快科技 浏览 3736

普京酝酿的“重大行动”,会给中国带来机遇?

浏览 27506

激光雷达/全面焕新 全新一代传祺向往 E8 PHEV开启预订

网易汽车 浏览 1285

马筱梅首晒孕肚状态绝佳,新生儿性别已暗示,汪小菲家将有新成员

不八卦会死星人 浏览 3312

AI教育机器人首秀广交会!西班牙客商:科技水平太惊艳了

南方都市报 浏览 4583

环球圆桌对话:G7打造“稀土联盟”更像是政治表演

环球网资讯 浏览 4342

8亿买入5%股份!四川国资战略入股湖南百亿锂电龙头,标的前三季度净利大增118.85%

红星资本局 浏览 4327

PPE平台打造 宾利全新纯电SUV测试谍照曝光

车质网 浏览 3714

中企在非洲因环境问题引争议 遭800亿美元天价索赔

澎湃新闻 浏览 41778

Prada如何解构身体与气质?

时尚COSMO 浏览 6404

塔帅:赢球能带来能量和信心,我觉得这是足球最重要的两件事

懂球帝 浏览 3264

卫衣+百褶裙,初秋最韩系穿搭,又美又撩人!

Yuki女人故事 浏览 4147

黄仁勋与李飞飞,让AI不止于“动嘴”

首席商业评论 浏览 3402

“羽绒服+半身裙”,混搭风太好看了!保暖又气质!

Yuki女人故事 浏览 3308

邮报:法布雷加斯和特里不在切尔西新帅候选名单上

懂球帝 浏览 3430
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1