趋势导航
2025 年，AI 大模子的竞争焦点正在发生根人道挪动。
预窥伺的旯旮收益鄙人降，数据的红利在消退，总共行业齐在寻找下一个增长引擎。谜底越来越明晰：强化学习（RL）。
DeepSeek V3.2 的工夫阐发里有个细节很值得玩味—— RL 窥伺的算力干预仍是跳跃预窥伺的 10%，况且性能弧线还在往上走。OpenAI 的 o 系列、Claude 的推理才气、Gemini 的多模态阐述，背后齐站着大领域 RL。
强化学习正在从"精雕细镂"形成大模子进化的主战场。
但这里有一个卡脖子的问题：在万亿参数模子上跑 RL，资本高得离谱。
传统递次需要上千张顶级 GPU，窥伺周期动辄数周，绝大多数团队根柢玩不起。这不是工夫问题，这是资源操纵——唯有少数几家公司能就业得起这种领域的 RL 窥伺。
当今，这个时局被冲突了。
来自 Macaron AI 背后的究诘团队 Mind Lab 给出了他们的谜底：寰球首个在 1T 参数模子上竣事的 LoRA 高效强化学习窥伺，GPU 消费直降 90%。
这不是工程优化的小成功，而是窥伺范式的根人道蜕变。NVIDIA Megatron-Bridge 和 Seed verl 已官方合并这套工夫，代码全部开源。
更硬核的是，这支 10 东说念主究诘团队的成员来自 OpenAI、DeepMind、Seed，发表 200+ 篇论文，累计被援用 30,000+ 次。
先说说布景。
最近几个月，万亿参数级的推理模子开动扎堆出现—— Kimi-K2、Ring-1T 接踵登场，在多个推理基准上仍是追平以至杰出闭源模子。
但预窥伺仅仅首先。望望 DeepSeek V3.2 就知说念了—— RL 窥伺的算力干预仍是跳跃预窥伺的 10%，性能弧线还没见顶。强化学习正在从"精雕细镂"形成大模子进化的主战场，成为将来一年的兵家必争之地。
要让万亿参数模子实在适配 Agent 任务，RL 不再是可选项：
RL 能优化多步推理，而不是只作念下一个 token 的瞻望
RL 能整合来自器用、环境、用户的响应信号
RL 能塑造长程步履，这对 Agent 系统越来越伏击
问题在于资本。
在万亿参数模子上跑全参数 RL，对绝大多数团队来说根柢不履行——就算你能拿到开源的模子权重，窥伺支拨也能把你劝退。
Mind Lab 给出的解法是：用 LoRA 作念参数高效适配，配合专门为万亿参数 MoE 模子瞎想的混杂并行引擎，把 RL 的计较量砍到只剩十分之一，同期性能不打折。
Mind Lab 径直拿 Kimi K2 开刀作念了考据。
先看模子设置：
基座模子：Kimi K2，万亿参数 MoE 推理模子
激活参数 / 总参数：32.6B/1.04T
激活巨匠 / 分享巨匠 / 总巨匠：8/1/384
看重力头数：64
再看窥伺设置：
8 个节点 × 8 张 NVIDIA H800（共 64 张 GPU）
RL 算法：GRPO
适配样式：在 dense 层和 expert 层齐加 LoRA，rank=128
重要论断有三条：
第一，资本大幅下落。
在 Kimi K2 上跑 LoRA RL，GPU 消费唯有传统全参数 RL 的 10% 驾驭。
第二，窥伺厚实敛迹。
学习弧线骄矜，reward 和任务见遵守跟着窥伺步数安祥普及，莫得出现不陶然性崩溃。
第三，通用才气保住了。
在 hold-out 基准上的评测标明，LoRA RL 在普及特定任务阐述的同期，保留了基座模子的通用才气。
你可能会问：LoRA 不是早就有了吗？为什么在万亿参数 MoE 上跑就这样难？
问题出在 MoE 的架构特质上。当代万亿参数推理模子基本齐是 MoE Transformer，几百个巨匠、大齐的 all-to-all 通讯、dense 和 expert 参数混杂在一说念。
在这个设定下，浅薄的数据并行 +LoRA 决策会被三个问题卡死：
问题一：路由不平衡。
几百个巨匠的 token 路由终点不均匀，拖慢模糊、放大 RL 更新的方差。
问题二：通讯压力爆炸。
LoRA 的适配器权重需要不时跨成立集聚，all-gather 支拨广泛，动不动就 OOM。
问题三：并行布局太复杂。
rollout 和 training 要在合并套硬件上紧耦合运行，浅薄的并行战略根柢带不动。
Mind Lab 的解法是瞎想了一套混杂协同并行引擎，把 tensor、pipeline、expert、sequence 四种并行样式融合调换：
Tensor 并行：责罚同节点内的大矩阵乘法
Pipeline 并行：把层分担到不同节点
Expert 并行：分片 MoE 巨匠，跨成立路由 token
Sequence 并行：责罚长波折文场景
中枢瞎想念念想是：把并行当成可调换的资源，而不是固定的布局。
LoRA 的设置也有厚爱：
在 dense 层和 expert 层齐挂适配器，让 RL 信号能同期影响全局步履和巨匠步履
用中等的 LoRA rank（比如 128），平衡抒发才气和厚实性
适配器绝对分片，尽可能和会进现存 kernel，幸免荒谬支拨
最终效果：LoRA 的参数目和通讯量大要是全参数 RL 的 10%，但 RL 信号的传导旅途并莫得被阉割。
还有一个坑：RL 窥伺里，rollout（生成轨迹）和 training（更新参数）鄙俗用不同的后端。
推理端可能跑在一个零丁的、为 serving 优化的引擎上；窥伺端可能跑在一个重型的、需要不时同步的分片后端上。
这就导致了散布不匹配——生成轨迹的战略和更新参数的战略不是合并个东西。
在万亿参数领域下，这个问题会被急剧放大：
logits 的渺小各别会导致采样轨迹的广泛偏差
朴素的伏击性采样比率可能爆炸，让窥伺透彻失稳
Mind Lab 的解法是引入了截断伏击性采样比率（truncated importance ratio），显式修正这种不匹配，同期不引入不行秉承的方差。具体的数学公式触及 vllm 和 megatron 两个后端的战略比值，通过截断操作把梯度权重收尾在合理领域内。
整套决策仍是集成到开源窥伺栈里：verl 负责 RL 窥伺轮回、rollout 编排和 reward 团员；Megatron-Bridge 把 verl 接入 Megatron 立场的 MoE 后端，融合剖释四种并行样式。
代码已合并至 NVIDIA Megatron-Bridge 和 Volcengine verl。
一个当然的问题是：为什么非要在超大模子上作念 LoRA RL，而不是径直用小模子跑全量 RL 呢？
Mind Lab 作念了一组对如实验，泰国修车群在 Math 数据集上窥伺三个战略：
三个模子只在 Math 上窥伺，然后同期在 AIME 2025（域内）和 GPQA（域外）上评测。
为了刚正相比，团队收尾了：
总 RL FLOPs（tokens × 参数 × 更新次数）
环境交互次数
奖励模子和 RL 经过
为了剔除大模子首先更高的上风，团队用了一个" headroom-normalized "的蓄意：联系于首先分数到满分之间的普及比例。
论断相等明晰：
32B 模子 +rank=8 的 LoRA，在交流 RL 计较预算下，headroom-normalized 增益最大。
况且在域外任务 GPQA 上，32B+LoRA 的迁徙效果亦然最佳的——更强的先验带来了更好的泛化。
浅薄说："大先验 + 小 LoRA "比"小模子全参数 RL "更合算。
背后的逻辑是：RL 实质上是先验受限的（prior-limited）。若是基座模子自己生成不出高质料轨迹，RL 就莫得什么有效的信号不错放大。大模子仍是编码了丰富的推理、器用使用和东说念主类交互花式，RL 不错在这些基础上精修，而不是重新造轮子。
除了 RL 窥伺框架，Mind Lab 还搞了一套全新的追想机制—— Memory Diffusion。
传统的 Agent 追想决策有两类：
第一类是推理式追想。每轮对话后，模子主动总结追想片断。问题是反复总结计较支拨大，况且重要细节容易在多轮迭代中丢失。
第二类是器用式追想。把追想存在外部数据库里，需要时检索转头插入波折文。问题是检索和重整合的过程容易丢失奥妙的语境。
Mind Lab 的念念路绝对不同：把轨迹自己手脚追想，通过反复的"瞒哄 - 分派 - 重填"操作来动态压缩。
三步走：
Mask
：从轨迹中选一块，确定性地遮掉
Allocate
：凭证伏击性给这块分派 token 预算——伏击的多给，不伏击的少给或径直扔掉
Refill
：在预算照顾下从更生成这块内容，取得压缩但语义完满的默示
这个瞎想的灵感来自东说念主类的渐忘机制。
东说念主脑年复一年齐在高速丢弃无关信息——开车上班时，你会蓦然忘掉途经的告白牌，只记着目的地和道路。Memory Diffusion 让 AI 也学会了这种"机灵地渐忘"：不追求记着一切，而是只保留实在有真义的教悔。
重要是，这套递次的时期复杂度是 O ( 1 ) ，不改变模子架构，严格恪守波折文预算。
在 Locomo 基准测试上，Memory Diffusion 达到了 93% 的准确率，刷新了 SOTA。
Andrej Karpathy 说过一句话：
" Human thought naively feels a bit more like autoregression but it ’ s hard to say that there aren ’ t more diffusion-like components in some latent space of thought. "
Mind Lab 正在把这个直观形成工程履行——用扩散说话模子来作念追想更新自己，让"机灵渐忘"成为模子原生的才气。
Research-Product Co-Design：居品即是最佳的 RL 环境
Mind Lab 还淡漠了一个核神志念：研产共设（Research-Product Co-Design）。
为什么？因为实在居品能提供合成环境给不了的东西：
偏好会随时期变化的实在用户
镶嵌实在照顾的任务
杰出"对错"的长程响应信号
居品实质上即是自然的 RL 环境。它捏续生成接地的 reward 信号——剪辑、使用花式、任务完成率、留存率，以至用户的流失，齐在告诉你系统到底有莫得在赞理。
Mind Lab 在前端代码生成任务上作念过一个实验：用产等第的东说念主类响应窥伺为什么非要在超大模子上作念 LoRA RL，而不是径直用小模子跑全量 RL 呢？，然后用它来优化战略。
阻隔骄矜：
用实在东说念主类响应窥伺的 GenRM，显耀优于只经过预窥伺的模子
用 GenRM 作念 RL，显耀优于 SFT
况且，静态环境下的 reward model 容易被" hack "——模子找到知足 proxy 但招架实在意图的病态战略后，莫得自动纠错机制。
但在实在居品里，偏好数据是滚滚不停的。用户会交互、会反对、会障翳系统的输出。这种捏续的响应流让 reward model 能不竭更新，破裂易过拟合到退化战略上，步履也更靠拢实在的用户价值。
底层工夫的突破不是停留在论文里的数字。
基于此次模子升级，Macaron AI 的 Mini-app 生成速率从 20 分钟径直干到 2 分钟，普及 10 倍。同期上线了群聊协和谐 Daily Spark 等新功能。
这即是"研产共设"的实在后果——更高效的模子窥伺，带来更快的推理速率，最终转机为用户可感知的体验升级。
在最新的访谈中，Ilya 默示：咱们正在收尾一个以「算力领域化」（Scaling）为中枢的时期，从新回到一个以「基础究诘」（Research）为驱动的时期。
Ilya Sutskever 说了一句让总共行业齐在讨论的话：
Pre-training as we know it will end. What comes next is superintelligence: agentic, reasons, understands and is self aware.
预窥伺时期正在走向散伙。那么，下一个时期是什么？
Mind Lab 的谜底是：教悔智能（Experiential Intelligence）时期。
这可能是寰球第一个专门为"后预窥伺时期"而生的究诘实验室。
他们的中枢命题唯有一个：
他们的中枢宗旨是：预窥伺时期构建了"大脑"，但下一个时期属于"心智"。大脑记着了互联网上的海量常识，但在面临实在宇宙的复杂性时依然满目疮痍。心智不仅仅存储的常识——它是能通过交互不竭更新的宇宙模子、能从响应中学习的里面机制、能动态感知任务的追想系统。
浅薄说：大脑负责追想，心智负责活着界中活着。
而此次万亿参数 LoRA-RL 的突破，恰是他们为这个新时期打下的第一块基石——当 RL 窥伺的门槛被砍掉 90%，更多团队就能进入这个赛说念，总共行业的进化速率齐会加速。
团队威望相等硬核：
10 东说念主中枢究诘团队，成员来自 OpenAI、DeepMind、Seed
学术布景横跨清华、MIT、Cornell
创举东说念主 Andrew 现任清华深圳究诘院 Research Director
团队合作始于 10 年前，发表 200+ 篇论文，被引 30,000+ 次
Slogan 也很专诚念念：
Real intelligence learns from real experience.
实在的智动力于实在的体验。
他们究诘的三个宗旨：
1. 基础关节：买通居品到 Agent 的闭环，更快更低廉的窥伺决策
2. 杰出预窥伺：捏续学习、追想机制、推理与反念念
3. 盛开与可复现：可被复现的伏击实验，寻找下一个 scaling law
Mind Lab 的各别化在于：他们不是居品公司，不会耐久追着最新最强的模子跑；他们以究诘智能为宗旨，不竭提高模子学习的遵守。也许现时模子不是最佳的居品选拔，但好算法的斜率更大，耐久会成为阿谁更好的选拔。
用他们我方的话说：
From training to becoming, from static intelligence to living intelligence.
从窥伺到成为，从静态智能到活的智能。
姿色主页：
Mind Lab Blog: https://macaron.im/mindlab/
开源地址：
https://github.com/volcengine/verl/pull/4063
https://github.com/NVIDIA-NeMo/Megatron-Bridge/pull/1310
https://github.com/NVIDIA-NeMo/Megatron-Bridge/pull/1380
一键三连「点赞」「转发」「戒备心」
接待在驳斥区留住你的想法！
— 完 —
咱们正在招聘别称眼疾手快、关切 AI 的学术剪辑实习生 � �
感趣味趣味的小伙伴接待关切 � � 了解笃定
� � 点亮星标 � �
科技前沿进展逐日见趋势导航