论文相连：https://arxiv.org/pdf/2604.16042github 相连：https://github.com/PKU-PILLAR-Group/Survey-Intrinsic-Interpretability-of-LLMs

这几年，假话语模子越来越强，但个老问题永远莫得隐匿：咱们到底能不行果真相连它为什么这样修起、为什么这样理，又为什么会在某些场景下犯错致使失控？

往日，主流作念法大多是过后表现（post-hoc interpretability）。也便是说，先查验出个能很强但里面复杂的模子，再用特征归因、探针、LogitLens、疏淡自编码器、因果烦闷等法，从外部去分析它。这样的考虑特等伏击，也如实匡助咱们看到了不少模子里面律例。但它有个根底局限：好多表现并不是模子果真经营历程自己，而是对这个历程的近似、投影或重建。论文中将这种问题概述为表现与果真经营之间的针织差距 (fidelity gap)。

也正因为如斯，越来越多考虑者运转把眼神转向另条阶梯：内生可表现（intrinsic interpretability）。它追求的不是在模子查验完之后 “补个表现器”，而是在模子结构、查验野心和信息流旅途里，径直把可表现嵌进去。换句话说，模子的 “表现” 不再是外挂，而是模子自己的部分；这些可表现部件位于迤逦经营旅途上，蜕变它们会径直影响模子输出。

从 “表现黑箱” 到 “瞎想玻璃箱”，这是大模子可表现考虑中个正在形成的伏击转向。图 1 对比了两种范式：post-hoc 是在模子外部加分析器具，intrinsic 则是把表现径直作念进模子结构与查验旅途中。

咱们近的篇综述论文 《Towards Intrinsic Interpretability of Large Language Models: A Survey of Design Principles and Architectures》 被 ACL 2026 Main Conference 继承。这篇责任想修起的中枢问题其实很径直：若是说往日的大模子可表现考虑主要在奋发 “看清黑箱”，那么当今，个值得关注的问题是 —— 咱们能不行把黑箱径直改变成接近 “玻璃箱” 的系统？ 论文系统梳理了这向的代表法，并将现存责任回顾为五类中枢瞎想范式。

图 2 内生可表现的五类瞎想范式，全文中枢的张总览图。

在这篇综述中，咱们将现存法概述为五条阶梯：透明（Functional Transparency）、宗旨对都（Concept Alignment）、表征可瓦解（Representational Decomposability）、显式模块化（Explicit Modularization）以及潜在疏淡诱（Latent Sparsity Induction）。这五类法并不是简单按模子族来分，而是按 “表现是若何被构造出来的” 来分。也便是说，咱们护士：表现究竟被放在了模子的哪个层面，又通过什么机制进入了果真经营旅途。

先看类，透明。这类法强调：模子里面的经营历程自己就应该具有浮现结构和明确语义，而不是由难以拆解的广大变换构成。论文中提到，这向的代表包括广义加模子 （GAM），以及后续些但愿让运算自己可读的结构瞎想（NAM， SENN， KAN）。它们的共同点是尽量把 “模子在算什么” 写浮现，让每个部分承担明确的。代价也很彰着：结构越透明，时常越容易受到抒发智力和查验率上的限定。

二类是宗旨对都。若是说透明强调 “算得浮现”，那宗旨对都强调 “想得昭着”。这类法但愿让模子中的某些中间变量，径直对应到东谈主类可以相连的宗旨，比如属、症状、主题或语义类别。宗旨瓶颈模子（CBM）便是其中的代表：模子先估量宗旨，再基于宗旨作念下贱判断。这样的克己是，咱们可以径直看到模子是否在宗旨层面出了问题；但难点在于，东谈主类宗旨自己不定好意思满，也不定总适复杂话语任务。论文将这种代价概述为对都资本 （alignment tax）：当咱们强行让示意面对东谈主类相连式时，模子的解放抒发空间可能会受到抑止。

三类是表征可瓦解。这条阶梯关注的是荫藏示意自己的组织式。好多尺度神经网罗的示意度纠缠，不同语义身分混在起，很难说清某个维度究竟在示意什么。于是，些责任尝试把示意拆成就的子空间、翻脸码本或可分离的构成部分，让不同语义身分尽量存在于各自的空间。举例 Backpack Language Models 会把估量拆成可表现的构成部分，尽量分离词义示意与险峻文加权作用；而像 CoCoMix 这样的责任，则逾越把层的语义宗旨显式融入生成历程。这类责任的中枢野心都是缩小语义纠缠，请示意层面的可读与可操控。

四类是显式模块化。这是频年来与大模子架构结得细巧的条阶梯之，典型的完毕载体便是混模子 （Mixture-of-Experts， MoE）。传统 MoE 多是为了普及容量和率，但论文指出，近来的不少责任运转把 “可表现” 也纳入 MoE 的瞎想野心：举例，让 网罗 简单、疏淡，或者让开由器的决议具语义结构。这样来，锚索咱们不单知谈模子输出了什么，还能看到它调用了谁来完成这步经营。

图 3 面向可表现的 MoE 瞎想念念路林芝钢绞线价格表，包括网罗里面疏淡化、细粒度瓦解，以及有语义结构的路由机制。

五类是潜在疏淡诱。这类法通过疏淡抑止、门控机制或结构化正则，让模子在查验历程中我方长出浮现的激活旅途与折柳。比如，在 Transformer 中往常使用的 GLU / SwiGLU 类门控结构，就可以让不同输入激活不同的通路；而逾越的疏淡查验（sparse training）法，则径直在查验历程中施加强疏淡抑止，促使模子形成紧凑、也容易表现的经营子电路。这类法的中枢直观是：好多 “不可表现” 问题，本色上来自过度广大和度近似；若是模子被动有选拔地激活参数和通路，它的里面单干就容易自满出来。

手机号码：15222026333

不外，这五类范式并不是相互摒除的标签。正值相背，论文特等强调，它们像是五种瞎想原则，而不是五个相互隔的工夫盒子。践诺中的好多法会同期具备多种特征：既有模块化结构，也有宗旨监督；既依赖疏淡路由，也强调示意解耦。也正因为如斯，内生可表现并不是某个单点妙技，而像种新的模子瞎想不雅：不是在模子查验完成后再问 “它为什么这样作念”，而是在瞎想模子时就提前王法 “它应该以什么样的式念念考”。

若是把时辰线再拉长点看，这个向自己也履历了彰着演化。早期偏向低容量、东谈主工界说结构，比如 GAM 类法；而频年的考虑则越来越转向能够兼顾能与透明的、数据驱动的疏淡架构与模块化架构。底下的图 4 就把这种演化历程很直不雅地展示了出来：扫数域正在从 “刚、预界说、低容量” 的可表现模子，走向 “无邪、可膨大、同期保留可表现结构” 的当代架构。

图 4 内生可表现的发展头绪：从早期低容量、强先验的表现模子，慢慢走向无邪、容量、也适大模子时期的结构瞎想。

天然，这个向还远莫得熟练。论文回顾了几个迤逦挑战。先，界说和评估尺度仍然不统：什么才算果真的 “内生可表现”？只是有疏淡结构、模块化旅途，是否就弥漫？其次，可表现与能之间的采用仍然存在。固然频年考虑标明两者未对突破，但如安在大鸿沟 LLM 上牢固完毕 “既透明又庞大”，仍然是怒放问题。再次，好多法在受控环境、小模子或局部模块上阐述可以，但它们是否能稳当膨大到果真复杂的大模子系统，还需要多考据。

但论若何，个趋势依然越来越浮现：大模子可表现考虑正在从 “不雅察模子” 走向 “瞎想模子”。这不单是法层面的变化，是考虑视角的变化。往日，咱们像是在黑箱外部考虑它；当今，咱们运转隆重念念考，能不行在造这台机器的时候，就让它容易被相连、被审计、被限定。

这好像便是内生可表现伏击的真义。它不是单纯为了 “把论文讲得顺耳”，也不是给模子套表层表现包装，而是在通往果真、可控、安全的大模子系统这条路上，提供种底层的可能。

咱们的这篇综述但愿作念的，恰是为这个向提供个系统的起始：面梳理已有法背后的共同瞎想念念想，另面也匡助考虑者把 “可表现” 从分析野心，果真进为模子瞎想原则。关于大模子考虑来说，这可能是个值得持久干涉的新起始。

论文作家：

共同作家：

宇彤 北京大学经营话语所实习生，南京理工大学经营机系本科生 https://github.com/gao-1

孟庆霖 普渡大学经营机系博士生 https://qlmeng2025.github.io

二作家：

周源 普渡大学经营机系博士生 https://scholar.google.com/citations?user=r82PG7EAAAAJ&hl=zh-CN

通信作家：

潘亮铭 北京大学经营机学院助理素养，考虑员，博士生师 https://liangmingpan.bio

相关词条:离心玻璃棉     塑料挤出机     钢绞线厂家    铝皮保温    pvc管道管件胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。