推理为何集中在低维流形？理解 LLM 的几何诊断与证据边界

这篇论文尝试用模型内部表示的几何结构，补充“答对了多少题”这一评价方式。 作者提出：较强的推理通常伴随紧凑的隐藏状态轨迹，但维度低还不够，轨迹内部需要保留足够的变化，底层词嵌入也需要有足够的表达空间。

论文为 Yanbiao Ma 等人的 Reasoning emerges from constrained inference manifolds in large language models，2026 年 5 月 2 日提交。本文依据 arXiv v1 全文，并逐项核对 PDF 中的图表。论文采用 CC BY 4.0 许可；本文为中文解读，数值教学和交互图为自行构造。

先给阅读结论：这是一个值得研究的表征诊断框架，现有证据主要是相关性。 它没有证明低维结构导致推理，也不能判断某条回答必然正确。此外，v1 的相关系数表述与图 5B 不一致，顺序打乱对照也需要澄清。下面既解释方法，也把这些边界算清楚。

1. 动机：正确率之外，模型内部发生了什么？

两种模型可以有相近的正确率，却有不同的内部计算方式。一种可能稳定地组织中间步骤，另一种可能依赖熟悉的题型、知识记忆或特定提示。只看最终答案，很难区分这些情况。

作者因此研究推理时的隐藏状态，提出三个互补的量：

量	直观问题	观测对象
\(D_{\mathrm{world}}\)	静态表示空间有多少有效自由度？	词表的输入嵌入向量
\(D_{\mathrm{stim}}\)	当前生成过程主要沿多少个方向变化？	每个生成步骤的末位置隐藏状态
\(V\)	这些变化方向保留了多少幅度与分散程度？	中心化隐藏状态的二阶统计量

这里的 world 是作者对静态表达能力的命名。它并不直接测量模型掌握多少事实，也不是一个预测环境变化的世界模型。

如果把高维表示空间想成一个大房间，低维流形可以类比其中一条弯曲的细带：带子处于三维房间里，但沿带子活动未必需要三个独立坐标。环境维度是房间的维度，内在维度是描述局部变化所需的自由度。对真实隐藏状态，这是一种统计估计，而不是肉眼看到一条曲线后的判定。

低维本身没有语义保证。反复输出同一种句式、几乎不变化的向量，甚至一些无意义的点集，都可能显得很“紧凑”。所以，论文没有只用低维程度来排序模型。原文 Results

2. 方法：从生成轨迹得到三个结构指标

2.1 先分清“层数”和“生成步数”两条轴

给定提示 \(x\)，在生成步 \(t\)、Transformer 层 \(\ell\)，提取当前序列末位置的隐藏向量：

\[ h_{\ell,t}(x)\in\mathbb R^{d_\ell}. \]

固定一层，跨生成步收集 \(T\) 个向量，才形成这一层的轨迹。比较各层的轨迹指标，才得到论文中“随网络深度变化”的曲线。

① 生成并记录固定一个提示；每生成一步，记录各层当前末位置的隐藏向量。

② 按层分析点集在同一层收集所有生成步的向量，去均值；估计内在维度和信息体积。

③ 汇总模型指标在最后一层跨提示聚合；结合静态词嵌入的内在维度，计算诊断分数。

跨 token 收集轨迹，跨层比较指标。这不是将所有层的向量混成一条轨迹，也不只取整篇回答最后一个 token。

原文的跨模型汇总使用最后一层的指标，再跨提示聚合。模型仅做推理，没有额外微调；计算内部指标时不加载答案标签。Methods：表示提取

2.2 内在维度：局部有多少独立变化方向？

论文 Methods 使用 TLE，tight local intrinsic dimensionality estimator，基于欧氏距离下的近邻几何估计局部维度，再对点取平均。默认近邻数为 \(k=20\)。

它分别应用于静态词嵌入和生成过程的隐藏状态，得到 \(D_{\mathrm{world}}\) 与 \(D_{\mathrm{stim}}\)。这两个量估计的是不同点集，不能互相替代。

内在维度不等于 PCA 保留多少个主成分，也不等于矩阵的精确秩。一个弯曲的低维结构可能跨越多个线性方向，而有限样本、局部邻域大小和噪声都会影响估计。

复现时还有一个命名细节：图 2 的说明将 TLE 写成了 “Two-Nearest-Neighbor local estimator”，而 Methods 写的是 tight local estimator，并设置 \(k=20\)。本文按 Methods 理解，不能将它直接替换成只使用两个近邻的 TwoNN 方法。Methods：ID 估计

2.3 信息体积：给低维结构加一个幅度指标

省去层和提示下标，令轨迹均值为 \(\bar h\)，把中心化后的隐藏向量排成列：

\[ Z=[h_1-\bar h,\ldots,h_T-\bar h]\in\mathbb R^{d\times T}. \]

论文定义：

\[ V=\frac12\log\det\left(I+\frac dTZZ^\top\right). \]

若 \(\lambda_j\) 是 \(ZZ^\top/T\) 的特征值，就可以等价地写成：

\[ V=\frac12\sum_{j=1}^{d}\log(1+d\lambda_j). \]

这个形式更容易理解：完全没有变化的方向不贡献体积；有变化的方向按幅度贡献一个对数项。加上单位矩阵后，即使轨迹落在低秩子空间里，行列式也仍然为正，可以稳定定义对数。公式 12–14

这里的“信息”是论文采用的几何代理量。 公式并没有访问答案、语义标签或推理步骤之间的逻辑关系，因此不能直接将较大的 \(V\) 解释为更多正确知识、更多有效推理，或与答案之间更大的互信息。

2.4 合成分数：如何平衡三项？

论文将其命名为 reasoning health score，记作：

\[ \mathcal H=\log(D_{\mathrm{world}})\,V \exp(-\varepsilon D_{\mathrm{stim}}), \qquad\varepsilon=0.1. \]

较大的 \(V\) 提高分数，较大的 \(D_{\mathrm{stim}}\) 带来指数惩罚，\(D_{\mathrm{world}}\) 则以对数形式提供背景权重。作者称 \(\varepsilon\) 事先固定，没有按各基准或模型家族分别调参；该分数用于事后分析，没有作为训练目标。公式 15

这是一种由经验观察启发的诊断设计。论文没有给出普遍适用的“超过多少分就推理正确”的阈值。

3. 完整数值教学：维度相同，体积可以相差很大

下面是教学用简化例子，使用自然对数。将真实模型缩为隐藏宽度 \(d=4\)、生成步数 \(T=4\)，取四个向量：

\[ h_1=(1,0,0,0)^\top,\quad h_2=(-1,0,0,0)^\top, \]

\[ h_3=(0,1,0,0)^\top,\quad h_4=(0,-1,0,0)^\top. \]

它们的均值为 0，因此中心化后不变：

\[ Z=\begin{bmatrix} 1&-1&0&0\\ 0&0&1&-1\\ 0&0&0&0\\ 0&0&0&0 \end{bmatrix},\qquad ZZ^\top=\operatorname{diag}(2,2,0,0). \]

因为 \(d/T=1\)：

\[ I+\frac dTZZ^\top=\operatorname{diag}(3,3,1,1), \]

\[ V=\tfrac12\log(3\times3\times1\times1)=\log3\approx1.0986. \]

为继续演示合成分数，假设两个维度输入为 \(D_{\mathrm{world}}=4\)、\(D_{\mathrm{stim}}=2\)。这里将二维变化作为理想化教学输入；四个点不足以运行论文默认 \(k=20\) 的 TLE，不能声称这些 ID 是从本例真实估计出来的。

\[ \mathcal H=\log4\times1.0986\times e^{-0.2} \approx1.2469. \]

现在只把所有隐藏向量缩小到原来的 \(0.1\) 倍。非零的整体缩放不改变理想几何的维度，但使 \(ZZ^\top\) 缩小到原来的 \(0.01\) 倍：

\[ V_{0.1}=\tfrac12\log(1.02^2)=\log1.02\approx0.0198, \]

\[ \mathcal H_{0.1}\approx\log4\times0.0198\times e^{-0.2} \approx0.0225. \]

两者的维度输入相同，但体积和诊断分数差别很大。反过来，固定 \(V\) 和 \(D_{\mathrm{world}}\)，若把 \(D_{\mathrm{stim}}\) 从 2 改为 4，分数会乘以 \(e^{-0.2}\approx0.8187\)，降为约 1.0209。这说明三项确实在表达不同的偏好。

动手试：缩放点集，再改变访问顺序

下面将四维向量的前两个坐标画出；后两个坐标始终为零。连线只表示访问顺序，不代表在连线上额外采样了隐藏状态。

同一组点，改变幅度或访问顺序

幅度 a：

1.0

切换访问顺序

假设的 ID2

信息体积 V1.0986

诊断分数 H1.2469

访问顺序：h1 → h2 → h3 → h4

固定 d = 4、T = 4、Dworld = 4、Dstim = 2、ε = 0.1。演示直接计算 V = ln(1 + 2a²)，不运行 TLE，也不评判语义正确性。切换访问顺序时，点集和分数均不变。

这个演示也提醒我们：提高分数可能来自向量幅度增加。它是否意味着推理更好，需要额外证据，不能由公式本身判断。

4. 实验结果：论文观察到了什么？

4.1 设置与主要趋势

Methods 列出的模型家族包括 Qwen2.5（0.5B–72B）、Qwen3（0.6B–32B）、Gemma 3（1B、4B、12B、27B）以及 DeepSeek-R1-Distill-Qwen（1.5B、14B、32B）。推理温度为 0.7，最大生成长度为 15000 token，每个提示每轮生成一个 completion。

刺激来自 Methods 所称的 MMLU-Other；它们用于诱发隐藏状态，计算内部指标时不读取答案。概念扩展实验将提示分成 13 类，逐步加入更多类别。Methods：模型与刺激

作者报告三组主要观察：

• 图 1–2：生成轨迹的内在维度通常随层深下降，在许多设置中低于 10；静态词嵌入的估计维度则高得多。
• 图 3–4：单看低 ID，不能稳定区分模型表现；加入 \(V\) 后，高表现模型更多集中在低维且变化量较大的区域。
• 图 5A：混入更多概念类别后，轨迹 ID 上升；不同模型的上升程度有差异，作者将其与静态表达能力联系起来。

这些是观测到的联合变化。它们没有单独排除模型规模、训练方式、向量范数、生成长度等共同影响因素，也未将“低维是推理的必要条件”证明为普遍定理。Results 与图 1–5

4.2 相关性消融：按图 5B 的实际数值读取

下表转录自 PDF 第 7 页图 5B 柱顶标注。列名 ID、ID+V、完整 \(\mathcal H\) 沿用原图；它们报告的是指标与模型基准表现之间的 Spearman 秩相关系数。

基准	ID	ID+V	完整 H
AIME’25	0.23	0.68	0.76
Arena-Hard	0.69	0.79	0.88
AutoLogi	0.26	0.69	0.92
BFCL v3	0.46	0.74	0.89
Creative Writing v3	0.75	0.88	0.94
GPQA-Diamond	0.29	0.73	0.91
LiveBench2024-11-25	0.31	0.71	0.90
LiveCodeBench v5	0.32	0.68	0.89

完整分数在图中的八项比较里都高于两个简化版本。例如 AIME’25 从 ID 的 0.23 增到 0.76，相差 0.53；AutoLogi 从 0.26 增到 0.92，相差 0.66。这些是相关系数之差，不是模型准确率提升。 论文没有通过这套诊断训练出一个分数更高的新模型。图 5B

需要明确纠正一个阅读陷阱：正文写所有基准的相关系数都超过 0.9，但图中完整 H 的范围是 0.76–0.94。按显示值，只有三项大于 0.9，一项等于 0.90，其余四项小于 0.9。本文采用图中数值，不重复正文的概括。原文诊断结果段

此外，秩相关回答的是“模型排序是否相近”，不回答“某条回答是否正确”，也不保证这种排序能够外推到未见模型家族。Methods 说明了 1000 次 bootstrap 和 95% 置信区间的规则，但仅凭这张柱状图及其标注，无法独立重算每项的区间和显著性。

5. 最有价值的贡献：把“紧凑”与“保留变化”分开

本文认为，这项工作的主要价值是一个可以测量和检验的联合视角：仅仅让隐藏状态维度变低，不足以说明内部计算良好；还要观察紧凑结构里是否存在非退化变化，并考察静态表示空间如何承载不同输入。

这比用一个“压缩越强越聪明”的单调假设更有分析价值。图 5B 也支持在这批模型上组合指标比单独 ID 更接近外部排序。

但从联合相关性走到机制解释，还有距离。公式中的三个因子不是三个已经通过干预实验分离出的因果因素，\(V\) 也没有验证哪些方向确实承载了正确的中间推理。题目中的 “emerges” 应结合作者自己承认的相关性边界来理解。

6. 需要认真核查的两个方法问题

6.1 重排同一批隐藏向量，为什么指标应当不变？

Methods 的 Control analyses 说，将轨迹内 token 顺序随机打乱，再重新计算 ID 和信息体积；随后概括这些对照未复现原有的稳定低维结构。

本文的数学核查是：如果“打乱”指对已经提取的同一批隐藏向量重排，那么文中定义的两项指标都不应因此改变。

对信息体积，设 \(P\) 是一个置换矩阵，重排后的中心化矩阵为 \(Z'=ZP\)。由于 \(PP^\top=I\)：

\[ Z'Z'^\top=ZPP^\top Z^\top=ZZ^\top. \]

因此 \(V'=V\)。均值也不受排列影响。对按欧氏近邻点集计算的 ID，点与点的距离、邻域几何以及局部估计的平均，同样不依赖行进顺序，除去实现中的数值或并列邻居处理差异。

上面的交互图就展示了这个性质：访问路线改变，点集没变，分数没变。它说明这些指标主要刻画状态点集的几何分布，并未直接编码时间方向或步骤间依赖。

如果作者实际做的是“先打乱文本 token，再重新运行模型提取隐藏状态”，或者使用了时间窗口、差分向量等额外操作，那么点集会改变，对照可以有不同结果；但这些是不同的实验，需要明确报告。这个问题应当通过代码或更清楚的流程说明解决，不能据此猜测实验动机。Methods：Control analyses

6.2 信息体积的尺度敏感性意味着什么？

在统一缩放 \(Z\mapsto aZ\) 后：

\[ V(aZ)=\frac12\sum_j\log(1+d\,a^2\lambda_j). \]

只要至少有一个非零变化方向，增大 \(|a|\) 就能提高 \(V\)。理想的内在维度估计对非零统一缩放不变，因此在另外两项固定时，\(\mathcal H\) 也随之提高。

这不自动推翻论文的跨模型相关性，却指出一个需要控制的混杂因素：不同层或不同架构的激活尺度与归一化位置，会不会解释一部分 \(V\) 的差异？ 当前预处理写明去均值，没有说明统一进行范数或方差归一化。

类似地，一个高幅度的一维点集也可以有较大的 log-det 值，随机噪声也可能增加协方差。因此“较大信息体积”等同于“较多有用推理信息”，仍然需要语义验证和适当对照。公式 14 与预处理

7. 局限、改进方向与复现建议

作者明确承认四项边界：末位置隐藏状态只覆盖内部计算的一部分；无标签刺激仍来自特定提示分布；诊断是描述性、相关性的；对非自回归、多模态与具身系统的适用性尚未确立。原文 Limitations and scope

在此基础上，本文建议优先做以下验证：

待解决的问题	具体改进与验证方式	代价或新风险
尺度与宽度混杂	并列报告原始 V、尺度归一化版本、向量范数和隐藏宽度；比较控制这些因素后的相关性	归一化可能去掉真实有用的幅度信号，需保留原始结果作对照
指标不识别时间顺序	单独增加滞后预测、步间差分或局部转移指标；区分“重排状态”与“重排文本后重新推理”	时序指标也可能学到长度和文体特征，需加入重复文本等控制
模型家族与规模的共同影响	增加参数量、隐藏宽度、平均范数等简单基线；做家族内比较、留一家族验证及分层 bootstrap	独立家族数量有限时，区间会更宽
ID 估计的有限样本敏感性	对相同 token 数做匹配，扫描近邻数；比较多个 ID 估计器，并报告短轨迹与重复点处理	近邻分析更贵，截断也可能改变推理内容
相关性不能确立机制	在尽量控制其他因素时干预表示，再同时测量内部指标、正确率与扰动鲁棒性	干预本身可能损伤模型，需要强对照

刺激数据的身份也值得核对：Methods 称其为 MMLU-Other，而相关引用 [19] 指向 MMLU-Pro。是否只是引用选择、具体采用哪一版题目和划分，需要提示清单及数据版本才能确认。无标签不等于无分布偏好，也不等于完全独立于 benchmark 风格。

v1 的 Data availability 与 Code availability 表示，完整源数据和定制分析代码将在发表时公开；当前版本没有附上这些完整产物的地址。通用几何工具包可用，并不等于整个实验已可复现。本文没有复跑模型，也没有自行补造逐模型分数或遗漏的实验配置。数据与代码声明

工程上，先实现哪一小块最合适？

先从已保存的隐藏状态实现信息体积，检查中心化、矩阵维度、重排不变性和缩放行为。下面代码对应公式 14，用奇异值避免直接求行列式；它不包含 TLE，也不是官方完整复现：

import numpy as np

def information_volume(hidden):
    # hidden: [T, d]，一个提示、固定一层的末位置隐藏状态
    hidden = np.asarray(hidden, dtype=np.float64)
    T, d = hidden.shape
    centered = hidden - hidden.mean(axis=0, keepdims=True)
    singular_values = np.linalg.svd(centered, compute_uv=False)
    return 0.5 * np.log1p((d / T) * singular_values**2).sum()

真实实验的存储成本也不可忽略。以 32 层、宽度 4096、15000 个生成步、每数值 2 字节为例，仅保存所有层末位置隐藏向量就约 3.66 GiB / 条生成轨迹，尚未包括模型权重、KV cache 和分析矩阵。这个数值是教学估算，不是论文报告的硬件成本。

如果只需要最后一层的汇总，可以仅保存最后一层；若要复现层间变化，则需要更多层。计算 log-det 时可根据 \(d\) 与 \(T\) 的大小选择较小的 Gram 矩阵，但不能用随意截断奇异值或改变归一化方式后仍声称计算了完全相同的指标。

8. 读者应记住的要点

• 低维、变化幅度、语义正确性是不同概念。 本文的小矩阵足以展示前两者为什么不能混用。
• H 是结构诊断分数，不是答题正确概率。 图 5B 支持其在已评估模型上的排序相关性。
• 按图表读取证据。 v1 的完整 H 相关系数为 0.76–0.94，不能概括成全部超过 0.9。
• 先检查不变性，再解释机制。 顺序重排和统一缩放揭示了指标能看见什么、看不见什么。

原始资料：论文版本页、v1 HTML 全文、v1 PDF。