大家好，今天我们来聊一个最近在AI圈子里激起不小浪花的新方向。大家都知道，让大语言模型（LLM）处理越来越长的文本，是通往更强通用人工智能路上的关键一环。无论是分析一本小说、一份财报，还是进行多轮对话，都离不开强大的长文本处理能力。但问题是，传统的基于Token的自注意力机制，计算和内存成本会随着文本长度的增加而呈二次方增长，这使得扩展到百万甚至千万级别的上下文窗口变得异常昂贵。
然而，最近几篇来自顶尖研究机构的论文，包括清华大学的《Glyph》、DeepSeek的《DeepSeek-OCR》，以及来自艾伦人工智能研究所（AI2）的《Text or Pixels? It Takes Half: On the Token Efficiency of Visual Text Inputs in Multimodal LLMs》，不约而同地（发布时间仅相隔一天）提出了一种“降维打击”的思路：为什么我们一定要把文本一个词一个词地“喂”给模型呢？我们能不能把长篇大论的文字直接渲染成一张图片，让多模态大模型（MLLM）用“看”的方式来理解？
这个思路，称之为“视觉文本压缩”（Visual-Text Compression）或“光学上下文压缩”（Contexts Optical Compression），它为解决长文本处理的瓶颈提供了一个全新的、极具潜力的视角。简单来说，就是利用多模态模型的视觉能力，将数千个文本Token压缩成数量少得多的视觉Token，从而在不牺牲甚至提升性能的同时，大幅降低计算成本。
今天，我们就将这三篇论文放在一起，深入解读一下这个新兴领域的早期探索。
三篇论文的核心贡献
这三篇论文虽然切入点各不相同，但共同指向了视觉文本压缩的光明前景。
清华大学团队的《Glyph: Scaling Context Windows via Visual-Text Compression》 (arXiv论文ID: 2510.17800)，他们不仅提出了一个完整的视觉文本压缩框架，还创造性地使用LLM驱动的遗传算法来自动寻找最佳的文本渲染方案（比如字体、行间距、页面布局等），试图在压缩率和信息保真度之间找到完美的平衡点。
DeepSeek团队的《DeepSeek-OCR: Contexts Optical Compression》 (arXiv论文ID: 2510.18234)，则更侧重于将这一想法付诸实践并推向极致。他们将其定义为“光学二维映射”，并推出了一个极其强大的DeepSeek-OCR模型。该模型在文档解析等实际任务上，以更少的视觉Token超越了专门的OCR模型，并实现了惊人的压缩比。
AI2与芝加哥大学等机构的研究者在EMNLP 2025 Findings上发表的《Text or Pixels? It Takes Half: On the Token Efficiency of Visual Text Inputs in Multimodal LLMs》 (arXiv论文ID: 2510.18279)，则进行了一项严谨的量化研究，旨在回答一个核心问题：“文本与像素，哪个更高效？” 他们的结论简单直接：将文本作为图像输入，可以在不降低任务性能的情况下，将解码器处理的Token数量减少近一半。
接下来，我们将深入这些研究的细节。
万字长文，一“图”以蔽之：核心思想
这个新范式的核心思想非常直观。传统的LLM处理文本时，输入的是一长串离散的Token序列。例如，一篇1000个单词的文章可能会被分解成约1300个Token。而采用视觉文本压缩后，这1000个单词会被渲染成一张高分辨率的图片。
图自“Text or Pixels?”文
多模态大模型（MLLM）的视觉编码器（Vision Encoder）会将这张图片转换成一组视觉Token（Visual Tokens）。关键在于，这组视觉Token的数量可能远少于原始的文本Token数量。例如，《Text or Pixels?》论文中展示的例子，一个90个文本Token的上下文，被压缩成一张图片后，送入LLM解码器的仅有50个视觉Token，token用量直接减少了近一半，但所有回答问题所需的信息都被保留了下来。
这种方式的优势显而易见：
计算效率高：送入LLM解码器的序列变短了，自注意力机制的计算负担大大减轻。
内存占用小：更短的序列意味着更小的键值缓存（KV Cache），推理和训练都更节省资源。
潜力巨大：它为处理目前技术难以企及的超长文本（如整本书）打开了一扇新的大门。
各显神通：三大团队如何实现视觉压缩？
虽然目标一致，但三个团队的实现路径各有侧重，展现了这一领域在探索初期的不同思考。
Glyph：追求极致渲染的“艺术家”
清华大学团队提出的Glyph框架，将文本渲染本身视为一门需要优化的“艺术”。他们认为，不是随便把文字转成图片就行，渲染的方式直接影响最终的效果。如何排版、用什么字体、字号多大、行间距多少，都会影响模型读取信息的效率和准确性。
为此，Glyph框架包含三大核心阶段：
持续预训练（Continual Pre-training）：首先，让VLM（视觉语言模型）大量“阅读”被渲染成图像的文本数据，使其适应这种新的输入形式。
LLM驱动的遗传算法搜索（LLM-driven Genetic Search）：这是Glyph最亮眼的部分。他们设计了一套遗传算法，将不同的渲染参数（如页面布局、字体、间距等）作为“基因”。由一个LLM作为评估者，判断哪种“基因组合”渲染出的图像在保持高压缩率的同时，最有利于模型理解。通过不断迭代和进化，最终找到一组最优的渲染配置。
指令微调与强化学习（SFT & RL）：最后，使用找到的最优配置对模型进行微调，进一步提升其在特定任务上的表现。
实验结果证明了Glyph的有效性。在多个长文本基准测试（如LongBench）上，Glyph在实现了3-4倍的Token压缩的同时，性能与Qwen3-8B等顶尖LLM相当。这种压缩还带来了实实在在的速度提升：预填充（prefilling）和解码（decoding）速度提升约4倍，监督微调（SFT）训练速度提升约2倍。更惊人的是，他们指出，通过这种方式，一个128K上下文的VLM有潜力处理100万Token级别的文本任务。
DeepSeek-OCR：将压缩推向极限的“实干家”
如果说Glyph是追求渲染的艺术，那么DeepSeek的DeepSeek-OCR则是在实际应用和压缩极限上做文章的“实干家”。他们将这个过程称为“上下文光学压缩”（Contexts Optical Compression），并将其应用于文档理解这一核心场景。
DeepSeek-OCR由两部分组成：一个专门设计的视觉编码器DeepEncoder，以及一个DeepSeek3B-MoE解码器。其中，DeepEncoder是关键，它被设计用来在处理高分辨率输入时保持低激活（low activations），同时实现高压缩比，以确保视觉Token数量既优化又可控。
他们的实验结果堪称惊艳：
高精度下的高压缩比：当文本Token与视觉Token的压缩比在10倍以内时，模型的解码（OCR）精度高达97%。
挑战极限压缩：即使在20倍的超高压缩比下，OCR准确率依然能保持在**60%**左右。
在实际的文档理解基准OmniDocBench上，DeepSeek-OCR更是展示了其“降维打击”的威力。它仅用100个视觉Token就超越了使用256个Token的GOT-OCR2.0；并且在使用少于800个视觉Token的情况下，表现优于平均每页需要6000多个Token的MinerU2.0。
此外，DeepSeek-OCR还展示了这一技术在模拟LLM“记忆遗忘机制”方面的潜力。通过将历史对话渲染成图片，并逐步降低旧图片的清晰度（即二次压缩），可以模拟人类记忆随时间推移而变得模糊的过程，这为构建更符合生物直觉的AI记忆系统提供了新思路。
Text or Pixels?：量化收益的“精确计算者”
有了“艺术家”和“实干家”，还需要一位“精确计算者”来告诉我们，这项技术到底能带来多大的收益，以及它的边界在哪里。EMNLP 2025 Findings录用的论文《Text or Pixels?》就扮演了这样的角色。
他们的研究方法简单而有效：在长文本检索（RULER）和文档摘要（CNN/DailyMail）等任务上，直接比较“文本输入”和“文本转图像输入”两种方式的性能和Token消耗。
他们的核心发现可以总结为一条清晰的“经验法则”：在不损失性能的前提下，视觉文本压缩可以将解码器需要处理的Token数量稳定地减少约一半，即压缩比约为2。
研究者通过实验发现，对于给定的视觉Token数量（k），模型能够“容忍”的文本Token数量（m）是有限的。一旦超过这个“文本Token容忍度”，模型性能就会急剧下降。而这个容忍度的上限，恰好就稳定在 的关系附近。
这意味着，我们可以用一个非常简单的规则来指导实践：如果你想用图像来表示一段文本，那么图像编码后产生的视觉Token数量，大致应该是原始文本Token数量的一半。
该研究还发现，模型规模（Model Scale）在其中扮演着关键角色。更大的模型（如Qwen2.5-VL-72B）在处理高密度文本图像时，比小模型（如7B版本）表现得更好，容忍度更高。这说明，随着模型能力的增长，视觉文本压缩的效率和潜力也会随之提升。
综合洞察与未来展望
将这三篇论文综合来看，我们可以得出关于“视觉文本压缩”这一新兴领域的几个关键洞察：
可行且高效：这不再是一个停留在概念阶段的想法。来自多个独立团队的研究均证实，将文本渲染成图像是一种可行且高效的长文本处理方案。
“半价”黄金法则：AI2等机构的量化研究为我们提供了一个极具参考价值的“半价”法则（压缩比约为2），即用一半的视觉Token就能承载原有的文本信息而性能不减。
渲染方式值得研究：清华大学的Glyph研究表明，渲染过程本身是一个值得深入探索的优化方向，精细的渲染能进一步提升压缩效率和模型性能。
当然，这一领域仍处于早期探索阶段。如何更好地处理包含复杂格式（如图表、公式）的混合文档？如何将这种压缩方式与其他长上下文技术（如检索增强）相结合？以及，当文本长度达到百万甚至千万级别时，这种方法的极限在哪里？这些都是未来值得研究的方向。
