► 文 观察者网心智观察所

上下文长度受限是重瓶当下主流大语言模型（LLM）普遍存在的痛点。当输入文本过长时，颈被家初决AI往往会出现记忆混乱、司解答非所问、重瓶响应迟缓甚至拒绝处理的颈被家初决情况。其根本原因在于主流架构——Transformer——面临的司解数学瓶颈：其计算复杂度随文本长度呈平方级增长（$O(n^2)$）。

这意味着：
* 文本长度翻倍，重瓶算力需求翻四倍；
* 文本长度翻三倍，颈被家初决算力需求翻九倍。司解

一旦处理百万级Token（约等于两三部《三体》的重瓶体量），计算量将飙升至万亿次，颈被家初决即便是司解顶级GPU也难以承受。因此，重瓶大多数商用模型的颈被家初决上下文窗口被限制在 128K 到 200K Token之间。这一限制使得模型在面对全年客服工单、司解包含数百个文件的代码仓库或数百页的并购协议时，往往“力不从心”。

近日，初创公司 Subquadratic宣布打破了这一瓶颈，推出了全新的 SubQ模型。

核心瓶颈：为什么长文本如此昂贵？

AI理解文本的核心机制是注意力机制（Attention Mechanism）。在处理文本时，模型必须计算每一个词（Token）与其他所有词之间的关联度。

• 计算逻辑：若有 $n$ 个词，需进行约 $n^2$ 次计算。
• 成本示例：处理100万个词，需计算 $100万 \times 100万 = 1万亿$ 次关系。即便使用最先进GPU，单次推理耗时数分钟，成本高达数十至数百美元。
• 扩展困境：若扩展至1200万个词，计算量达144万亿次，经济上完全不可行。

SubQ模型的核心突破，在于大幅削减了不必要的计算次数。

SubQ模型通过优化算法，显著降低了计算复杂度

深度解析：AI如何读懂一句话？

要理解SubQ的优化，首先需拆解Transformer的工作原理。以句子“动物没过马路，因为它很害怕”为例，AI的理解过程如下：

1. 数字化与位置编码

AI首先将文字转化为数字向量（Vector）。每个词对应一个固定长度的数字数组，代表其在数学空间中的坐标。
* 示例：“动物”=[0.8, 0.1, 0.3, 0.9]，“马路”=[0.1, 0.9, 0.2, 0.3]。
* 位置编码：由于向量本身不包含顺序信息，AI需为每个词添加“座位号”（位置编码），使其成为携带坐标的数字包裹，进入Transformer核心。

2. Q、K、V 三张“身份牌”

Transformer为每个词生成三个向量：
* Q (Query, 查询)：代表“我在找什么？”
* K (Key, 键)：代表“我是什么？”
* V (Value, 值)：代表“我携带的具体信息是什么？”

这些向量由词向量乘以训练好的矩阵生成。例如，“它”生成Q向量去寻找有生命的主语；“动物”生成K向量表明自己是实体；“动物”生成V向量提供“四条腿、毛茸茸”等具体信息。

3. 注意力计算（点积）

“它”拿着自己的Q向量，与句中其他词的K向量进行点积运算，计算关联度：
* “它”与“动物”的点积：$1.0\times0.9 + ... = 1.7$
* “它”与“马路”的点积：$1.0\times0.1 + ... = 0.2$

结果1.7远大于0.2，表明“它”与“动物”关联更强。

4. 加权平均与信息融合

通过Softmax函数，将点积转化为归一化的注意力权重：
* “动物”权重：约68%
* “马路”权重：约32%

最终，“它”的新向量 $Z_{它}$ 是各词V向量的加权和：
$$ Z_{它} = (动物V \times 68\%) + (马路V \times 32\%) $$
此时，“它”从空壳代词转变为指向明确实体的词，其向量中融合了68%的动物信息和32%的马路信息。

5. 前馈网络（FFN）与多层抽象

注意力层仅完成加权平均，随后通过前馈网络（FFN）进行非线性变换和特征提炼。FFN通过升维、激活函数筛选、降维，提取更高层次的抽象特征（如因果逻辑）。

在深层Transformer（如GPT-4的120+层）中，浅层关注语法，中层关注指代，深层关注逻辑。经过层层迭代，向量中浓缩了整句话的语义逻辑。

SubQ的优化：从 $O(n^2)$ 到 $O(n \log n)$

传统Transformer采用密集注意力（Dense Attention），即每个词都要与所有其他词计算点积，复杂度为 $O(n^2)$。

SubQ引入了稀疏注意力（Sparse Attention）机制，将复杂度压缩至 $O(n \log n)$或 $O(n \cdot k)$（$k$为小常数）。

• 效率对比：
• 100万词：传统需 $10^{12}$ 次运算，SubQ降低约 64倍。
• 1200万词：传统成本呈天文数字，SubQ仍保持在可承受范围内。

关键技术：动态选择性稀疏注意力（SSA）

早期的稀疏注意力方法（如固定窗口、固定间隔）存在缺陷，如同“近视眼”，容易遗漏远距离的关键信息。

SubQ的 SSA架构引入了一个智能筛选器：
1. 动态判断：不依赖固定规则，而是让模型根据当前文本内容，自主判断哪些词与词之间的关系至关重要。
2. 按需计算：仅计算关键组合的点积，跳过无关组合。
3. 动态变化：每段文本的关注清单不同，实现了真正的动态稀疏。

性能验证与争议

Subquadratic在结束隐身模式后，发布了第三方独立测试结果，数据令人瞩目：

存在的争议

尽管数据亮眼，业界仍有质疑：
1. 训练基础：SubQ并非从零训练，而是复用了中国开源模型 Qwen的参数。因此，性能提升部分归功于Qwen的基础能力，而非完全证明SSA架构的优越性。
2. 证据充分性：部分研究人员认为，目前公开证据尚不足以证明SSA彻底解决了长文本瓶颈。
3. 可用性：SubQ尚未大规模开放试用。

变革前景：RAG的终结者？

目前，处理长文档的主流方案是 RAG（检索增强生成），即切分文档、检索片段、再输入模型。RAG存在两大缺陷：
1. 检索环节可能遗漏关键信息；
2. 跨文档的复杂逻辑被碎片化。

若SubQ能以极低成本处理百万/千万级Token，模型将直接“吞下”整份文档或代码库，无需中介筛选。

• 演示案例：SubQ在几秒内分析了400份文档的信息，而Perplexity甚至无法加载全部文档。

Subquadratic CEO Justin Dangel 表示：“我们想开启一个新时代。几年后，没人会用标准Transformer构建模型了。”

这一愿景令人想起2017年《Attention Is All You Need》论文发表时的场景。当时，用注意力机制取代循环神经网络被视为狂想，直到OpenAI将其转化为ChatGPT，Transformer才成为主流。

SubQ能否重演这一变革，取决于其后续表现及巨头是否已掌握类似技术。让我们拭目以待。

参考文献
* https://www.technologyreview.com/2026/06/19/1139313/a-startup-claims-it-broke-through-a-bottleneck-thats-holding-back-llms/
* https://www.mindstudio.ai/blog/what-is-sub-quadratic-sparse-attention-subq-ssa

来源| 心智观察所
禁止转载