金佰利 告别 Prompt 哲学！脸谱心智陆重大团队提议 Adam's Law，高频文本优化大模子训诫与推理

学术早慧方面，陆重大准00后创业者，高中时就自学收场大学数学，本科就读于帝国理工学院算计机系，博士就读于香港中语大学，曾在微软预训诫AI模子。2023年就开动探索璀璨化的空间智能以及寰宇模子——这条技能阶梯自后被李飞飞所考据。2023年草创了AI的去浑浊化璀璨检测与评估赛说念——被北大李戈憨厚团队follow。2023年草创了多智能体的交互进化，并获取相干发明专利。便是说在很早期的阶段就踩中了自后的多个风口以及主流方针。

学术后果方面，他入学6个月即达到博士毕业条目，在这时间，他完成了一篇后续得到ACL系列Best Paper Awards的大奖，这既是历史上第一次中国机构孤苦得到此奖，同期亦然一篇莫得任何公司配景撑捏的著述。登上领奖台的作家团队独一两个东说念主，陆重大和他的博导林伟教诲，而身为一作的陆重大在这个时刻只是收受了6个月的科研训诫。同期陆重大亦然少数博士就读时间就能任职ACL顶会规模主席的博士。

废弃传统学术阶梯方面，陆重大在论文以及发明专利、奖项方面是拿到了手软。之是以执意选拔创业这条阶梯莫得选拔传统的学术教职，是因为陆重大的假想是能够创造一个像谷歌或者脸书一样的业界和学界交叉的公司。

有这么一种“模子哲学”：明明是兼并个Prompt，只是换一种说法，模子的回应可能就一龙一猪。

深挖这个好意思瞻念，是一个兴趣兴趣兴趣兴趣、有效、但“反直观”的问题：淌若语义不变，只是把一句话改写成更常见、更高频的“大口语”，模子的推理以及训诫推崇会不会更好？

最近，来自脸谱心智与香港中语大学的科研东说念主员围绕这个问题张开了系统扣问，并提议了一项中稿 ACL 2026 Main的新责任。他们提议了一个极具挂念点的新想法：Adam’s Law，aka Textual Frequency Law（文本频率定律）。

论文用表面推导以及模子实际向咱们展示了：当不同表述抒发兼并个兴趣兴趣时，语言模子每每更偏好“高频文本”。而这种偏好不仅出当今你敲下 Prompt 的那一刻，致使在模子训诫阶段也雷同适用。

用大口语说，好多时候决定模子是否聪惠的，不单是“你问了啥”，还包括“你是如何说的”。

这启发了什么？今天咱们业内谈起模子优化，重要词历久是：更强更大的基座、更长的推理念念维链、以及腾贵的高质料训诫数据，或者是极其复杂的alignment算法。但Adam's Law揭示了文本频率关于模子训诫以及推理的蹙迫性。

扣问标明，高频抒发因为在训诫语料中出现的次数饱胀多，大模子对它们有着自然的“肌肉挂念”。因此，在濒临这些模子自己熟练的文句时，模子在相识、推理和生成时更容易零百“参加情状”。

Who is Adam？

Adam’s Law 主张的铁律是：咱们应该优先使用句子级频率更高的expression，不管是作念inference也曾training。

扣问团队不甘让论断停留在“哎哟，好像确乎是这么”的empirical observation。

他们先是提供了素雅的theoratical proof，也为其搭建了一个竣工的framework，由三板斧构成：

第一把斧 TFL（Adam’s Law）： 提议Textual Frequency Law：“高频文本应被优先选拔”；

图：极其硬核的部分推导数学辅佐

第二把斧 TFD（Textual Frequency Distillation）： 既然算不准，那就让模子我方启齿。用方针模子生成的文本，去反向修正frequency estimation；

第三把斧 CTFT（Curriculum Textual Frequency Training）： 把文本频率引入课程学习，给模子发一册交替渐进的讲义。

用大口语来说，他们的操作进程是这么的： 先给一句话算算“八字”（估算常见度），米兰体育MiLan(中国)官网把同义句里最接地气、最frequent的那句挑出来喂给模子；淌若怕算得不准，就让模子我方作念几说念“故事续写”题，望望它浮浅潜顽强里爱用什么词，借此来修正频率估算；终末，在训诫时，不光是要挑数据频率，况兼训诫王法都给你安排得辉煌晰楚。

如何才算“常见”？好意思妙的工程解法

这里有一个大坑：像是GLM这种主流大模子，预训诫数据全是个黑箱，连它吃过几碗干饭都不知说念，你如何算它对哪句话更眼熟？毋庸挂念不紧要。

作家给了个极其好意思妙且工程化的解：咱不纠结模子见过啥，径直借助公开的庞杂corpora和词频资源去估算就行。 在Adam’s Law中，句子的频率被雷同为词频的组合，径直攒出一个“句子级频率方针”。

这意味着，建设东说念主员十足不需要破解闭源模子的训诫集，就能径直用这套频率估算大法。极其接地气，绕开了黑箱限定，把哲学激动到了可考据、可复现的工程层面。

固然，仅靠公开词频臆想概况率是有罪戾的。Adam打出了第二把斧 TFD：让方针模子对给定文本作念“story completion续写补全”。这至极于在审问模子：“别装了，金佰利暴露你的真实用语风俗吧！”用模子我方吐出来的语料蒸馏，再去赞成修正原始频率，这么就无穷贴近了模子里面委果熟练的口语抒发分散。

别光顾着改 Prompt推理，训诫的章程也变了

Adam's Law最绝的少量，是莫得把“文本频率”局限在一个讨巧的 Prompt 推理技能上，而是径直杀到了更硬核的模子训诫范式里。

在辅导（Inference）阶段，逻辑颠倒顺滑：兼并起数学题，淌若把题目里的荒僻词换成大口语的高频抒发，模子随即就算得更准。

但在训诫（Training）阶段，Adam抛出了一个灵魂拷问：淌若雇主给的算力预算有限，训诫数据该如何挑如何用？Adam说：高频文本可能比低频文本更值得优先保留！

况兼 CTFT 致使篡改了喂数据的姿势。作家发现，低频抒发每每语境更荒芜、结构更复杂。就像咱们上语文课一样，先让他死磕难解的古文（更低频），再让他看平凡的口语文（更高频），最终的管理效果，竟然比只怕乱喂数据还要好。

实际末端：白嫖的性能普及

为了拿数据言语，作家死磕出了一个成心的数据集 TFPD（Textual Frequency Paired Dataset），涵盖了数学推理、机器翻译、知识推理和智能体器用调用等多个场景。

为了保证严谨，他们先用模子生成一批“文绉绉、极其罕有”的改写，和一批“大口语、极其常见”的改写，再费钱请东说念主工标注员挨个检讨，确保改写后兴趣兴趣没变，终末凑成了“高频 vs 低频”的成对样本。

末端极其直不雅。

在数学推理、Agent任务、以及知识解析上，只是只是把Prompt换成更高频的抒发，不换模子、不加训诫数据、不增多inference时长，inference效果显贵增多；在机器翻译上，Adam's Law雷同安如泰山：扣问东说念主员连接测了 100 个语言翻译方针：在训诫实际里，三板斧CTFT 的威力雷同剖析。在 Pangasinan（一种菲律宾语支）的机器翻译任务中，使用了 CTFT 后， BLEU 分数狂涨29.96%。

图：Adam's Law在上百种语言上的末端可视化，最外圈为Adam's Law的末端。

更颠覆贯通的是：有时候用高频改写数据去训诫，效果致使比径直用原汁原味的基准training set还要好！ 这径直挑战了业内“原始数据自然最优”的传统偏见。

Adam's Law，给行业带来了什么？

Adam’s Law 把一种渺茫的“直观”，打酿成了一套可界说、可估算、可考据、可部署、绕过黑盒的体式学定律，通过数学推导以及实际的体式讲授了其可靠性。

对搞诈骗（作念 Agent、写 Prompt）的打工东说念主： 别再给Prompt跋扈加毫无必要的定语、握住和高端词汇了。先把Prompt理顺，改得更当然、更高频，这可能是一种简直莫得本钱、奏效极快的“魔法”。

对搞训诫（Pre-training、SFT、蒸馏、作念数据清洗）的真金不怕火丹师： 这是全新的Data Engineering处置念念路。以后洗数据作念数据，除了看数据的质料、长度、难度，咱还得给文本频率拉个画像。GPUTPU吃紧时，“留什么数据”不单看标注对别离，咱还得望望这句话是不是饱胀“大口语”。

对评测（Benchmark）的扣问者： 淌若一起题，换个冷门说法模子就弗成，那它是确切有了“推理才气”，也曾只是靠着“刷题”，记取了特定表述的熟练度？这给过去构建更抗造的评测榜单提了个醒。

Conclusions

Adam’s Law 像一面镜子，照出了 LLM 的内容：模子不仅在“相识寰宇”，它更是在“记取东说念主类语言寰宇里，什么东西最常出现”，然而这是双向的，LLM在看寰宇的时候，寰宇也在看LLM。

当总共这个词 AI 圈都在为了更长的 RL 推理、更庞杂的参数目、更玄乎的对皆算法无脑卷生卷死时，这篇责任轻巧地给出了一条无比朴素的踪迹：

让模子变聪惠的捷径，不是把话说得更高尚，而是把话说得更大口语少量。这在推理时有效，也在训诫时有效

论文信息：

论文标题： Adam’s Law: Textual Frequency Law on Large Language Models

作家： Hongyuan Adam Lu金佰利， Z.L.， Victor Wei， Zefan Zhang， Zhao Hong， Qiqi Xiang， Bowen Cao， Wai Lam

机构： FaceMind Corporation、The Chinese University of Hong Kong

一作先容：

Hongyuan Adam Lu，FaceMind CEO，CUHK AI PhD扣问课题：LLM预训诫、寰宇模子、端侧模子训诫；帝国理工CS本硕；爱丁堡大学AI硕士；ACL系顶会Outstanding Paper Award一作；曾于MSRA（北京）任预训诫一职，研发了寰宇上第一个支捏200种语言的LLM；旗舰会议ACL 2025、NAACL 2025 Area Chair，创办了AI软件：叠叠社，深受二次元青睐，是一款被投资东说念主称之为“米哈游的蔡浩宇都要学习的AI居品”；