Appearance
技术原理核心
深度剖析：Transformer架构的本质
自注意力机制的局限性
Transformer架构的自注意力机制是LLM的核心能力来源，它允许模型在处理每个token时同时考虑输入序列中的所有其他token。然而，这种机制存在根本性的局限性：
计算复杂度问题：自注意力的计算复杂度是O(n²)，其中n是序列长度。这意味着随着输入长度的增加，计算成本呈二次增长。尽管有各种优化技术（如Flash Attention、稀疏注意力等），但这一根本限制仍未被完全突破。这导致LLM在处理超长文本（如整本书、大规模代码库）时面临严重挑战。
上下文窗口限制：由于计算复杂度和内存限制，LLM的上下文窗口长度是有限的（通常从2K到128K tokens不等）。这意味着模型只能"记住"一定范围内的上下文信息。当任务需要跨更长时间的上下文依赖时，模型表现会显著下降。例如，在分析长篇小说的角色发展轨迹或理解复杂的技术文档时，上下文窗口的限制成为瓶颈。
位置编码的缺陷：Transformer使用位置编码来注入序列位置信息，但这些编码通常是固定的或相对简单的（如正弦位置编码、学习到的位置编码）。这导致模型对绝对位置和相对位置的理解都存在限制。特别是在处理需要精确空间或时间推理的任务时，位置信息的不足可能导致错误。
概率生成机制的本质约束
LLM基于概率分布逐token生成文本，这一机制决定了其固有的不确定性：
随机性与确定性之间的矛盾：即使使用相同的输入，LLM在"temperature > 0"时可能产生不同的输出。这种随机性对于创造性任务（如写作、头脑风暴）是有益的，但对于需要确定性结果的场景（如数学计算、逻辑推理）则构成问题。虽然可以通过设置temperature为0来减少随机性，但这并不能完全消除不确定性。
贪婪解码的局限性：常见的解码策略（如贪婪解码、束搜索）基于局部最优选择下一个token，这可能导致生成结果偏离全局最优解。例如，在解决复杂推理问题时，早期token的错误选择可能导致后续生成完全偏离正确路径。
训练数据分布依赖：LLM生成的文本遵循训练数据的分布特征。这意味着模型倾向于生成"训练集中常见"的文本，即使在某些情况下这可能不是最准确或最合适的回答。例如，模型可能倾向于生成刻板印象的回答，因为这在训练数据中很常见。