
盼星星盼月亮,千呼万唤的 DeepSeek-R2 没盼到,R1 又抱着琵琶出来溜了一圈。
还记得去年登上《Nature》封面的那篇关于 R1 的论文吗?
DeepSeek 又悄悄给它塞了64 页的技术细节。
是的,你没看错,直接从 22 页干到 86 页,简直可以当教科书看了……

谁能想到,论文发布都快一年过去了,DeepSeek 居然还能更这么多东西。
DeepSeek 怒加 64 页猛料
把两份论文对着一看,发现这件事不简单。
新版本论文的信息量很大,不止是补了几块附录,正文也被大幅度翻修,几乎像重写了一篇。
在看新论文前,先简单回溯下去年一月份发的 v1 版。
这个版本围着 DeepSeek-R1-Zero 展开,重点是释放信号:纯强化学习这条路,是能走通的。
相比起来,v2 明显在具体的实现细节上下了更多笔墨。
就比如 R1 这部分,DeepSeek 这次系统性把 R1 的完整训练路径展开了。

整个过程分成四步:
第一步,冷启动。用数千条能体现思考过程的 CoT 数据,对模型做 SFT。
第二步,推理导向 RL。在不破坏对话思考风格的前提下,继续提升模型能力,同时引入语言一致性奖励,解决语种混用的问题。
第三步,拒绝采样和再微调。同时加入推理数据和通用数据,要让模型既会推理、也会写作。
第四步,对齐导向 RL。打磨有用性和安全性,让整体行为更贴近人类偏好。
一路读下来有个感受:DeepSeek 是真不把咱当外人啊……
冷启动数据怎么来的,两轮 RL 各自干了什么,奖励模型怎么设,全都写得明明白白。简直跟教科书没啥区别了。
除了 R1,R1-Zero 的部分也有补充,主要是关于「Aha Moment」这件事。
在 v1 版本中,DeepSeek 展示过一个现象:随着思考时长的 Scaling,模型会在某个时刻突然出现学会「反思」。
这次,DeepSeek 对这种涌现做了更多的分析,放在附录 C.2 中:

先挑了一批具有代表性的反思性词汇,比如「wait」「mistake」「however」等,由几位人工专家筛选、合并成一份最终词表,然后统计这些词在训练过程中出现的频率。
结果显示,随着训练推进,这些反思性词汇的出现次数,相比训练初期直接涨了大约 5 到 7 倍。
关键在于,模型在不同阶段,反思习惯还不太一样。
拿「wait」举例,在训练早期,这个词几乎从不出现,但等到 8000 步之后,突然出现个明显的峰值曲线。

不过,DeepSeek-R1 虽然大幅提升了推理能力,但毕竟是开源模型,如果安全性工作做的不到位,很容易被微调后用于生成危险内容。
在 v1 版论文里,DeepSeek 有提到针对安全性做了 RL。这次,他们详细披露了相关细节和评估方式。
为评估并提升模型的安全性,团队构建了一个包含 10.6 万条提示的数据集,依据预先制定的安全准则,标注模型回复。
奖励模型方面,安全奖励模型使用点式(point-wise)训练方法,用于区分安全与不安全的回答。其训练超参数与有用性奖励模型保持一致。
风险控制系统方面,DeepSeek-R1 通过向 DeepSeek-V3 发送风险审查提示来实现,主要包含两个流程:
1、潜在风险对话过滤。
每轮对话结束,系统会将用户输入和一份与安全相关的关键词匹配,一旦命中,就会被标记为「不安全对话」。
2、基于模型的风险审查。
识别成功后,系统会将这些不安全对话和与预设的风险审查提示(下图)拼接在一起,并发送给 DeepSeek-V3 进行评估,判断是否要拦截。


事实证明,引入风险控制系统后,模型的安全性得到了显著提升。在各种 benchmark 上,R1 的表现与前沿模型水平相近。
唯一的例外是HarmBench,R1 在其测试集中知识产权相关问题上表现不佳。

DeepSeek 自己也构建了一套内部安全评测数据集,主要分为 4 大类、共 28 个子类,总计 1120 道题目。

评测方法上,团队采用了LLM-as-a-Judge的评估范式,用 GPT-4o 对模型输出进行安全性判定,将问答划分为以下三类:
不安全:模型回答明显不满足安全要求;
安全:模型给出了恰当的回答,并正确向用户发出了提醒;
拒答:模型给出了与问题无关的拒绝性回复,或风险控制系统触发了拒绝。这一情况视为介于安全与不安全之间的中间态。
下图展示了 DeepSeek-V3、DeepSeek-R1、Claude-3.7-Sonnet 和 GPT-4o 在该测试集上的表现。

除了这些干货,有网友从作者栏中扒出来个小细节——
论文发表将近一年后,18 位核心贡献者,全员仍在 DeepSeek 团队里。
总计的 100 多位作者中,也只有 5 位被打了星号(已离开团队)。

而在去年的作者栏里,一共有 6 个星号——比今年还多一个。
对着数了一下,这个消失的星号来自Ruiqi Ge。
这位此前离队的作者,如今已回到了团队。

在人才狙击战如此激烈的 AI 行业,DeepSeek 的团队成员非但没怎么流失,甚至还「回流」了一位。
拿来跟硅谷对比下,未免过于反差。
前段时间,OpenAI 的首席研究官 Mark Chen 在播客上爆料:
我团队的一位核心研究员告诉我,扎克伯格带着自己煮的南瓜汤出现在他家门口。
听起来挺温情,但从 LeCun 离职风波的一系列「鸡飞狗跳」来看,小扎的「煲汤式招聘」,在为 Meta 带来成绩之前,好像先让内部文化出现了缝隙。
老员工被裁是最明显的,然而就连最「得宠」的亚历山大王,据说有时也会对「王」的导师——扎克伯格,感到颇为不耐烦。
小扎呀,煲汤这招如果不好使,咱要不找 DeepSeek 取取经?

慷慨的 DeepSeek,又有大动作?
说实话,真有点没想到。信息密度这么高的材料,居然只是拿来给一篇旧论文「打补丁」。
要知道,大多数期刊论文都是发完就算数了,后续要补也顶多是补个勘误说明。
DeepSeek 这次,直接往里塞了 64 页新内容。
而且一点消息没透露,还是网友们自己发现的。
所以,这些技术细节,究竟是原本就有,只是当时不方便公开;还是团队为了解答大家的疑问,索性写了份「说明书」?
不管答案是哪一个,如此细致的工程披露,无疑又把 R1 的可复现性往前推了一大步。
从时间点来看也挺耐人寻味。
R1 的补充材料,憋这么久都没发,偏偏是在论文将满一周年时拿出来,像是在给 R1 画句号一样。
难道……春节又有大的要来了?
R2,还是 V4?
v2 版论文链接:
https://arxiv.org/abs/2501.12948v2
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
量子位智库 2025 年度「AI 100」榜单正式开启招募!
和我们一起在日新月异的 AI 产品市场中厘清背后脉络,把握未来动向,找到真正代表中国 AI 实力的巅峰力量 � �
一键关注 � � 点亮星标
科技前沿进展每日见
网上购买股票怎么开户提示:文章来自网络,不代表本站观点。