LLM动态上下文载入最佳实践 - 研究摘要

执行摘要

研究背景

在构建复杂AI Agent系统时，System Prompt常常需要包含大量上下文信息：Agent角色设定、可用工具Schema、技能定义、项目文件等。这导致System Prompt很容易达到15,000-30,000 tokens，带来成本激增、性能下降、“Lost in the Middle”等问题。

核心问题

如何在保证角色设定不丢失的前提下，动态载入上下文，避免System Prompt过度膨胀？

主要发现

1. Progressive Disclosure（渐进式披露） 是核心解决思路

   • 分层按需加载：L1导航层（始终加载）→ L2技能层（按需加载）→ L3执行层（即时加载）
   • 可将token使用量减少90%+（William Zujkowski实践：150K → 2K tokens）

2. OpenClaw采用了9层System Prompt架构 + ContextEngine插件

   • 2026.3.7版本引入可插拔的ContextEngine
   • 支持Legacy（滑动窗口）、RAG-based、Custom等多种策略
   • 但当前版本存在插件注册时序问题，生产环境需谨慎

3. 推荐方案：Progressive Loading自建 → 未来迁移到OpenClaw ContextEngine

   • 立即采用分层加载架构
   • 等待OpenClaw插件架构稳定后迁移

关键数据

目录

1. 背景与目标 - 问题定义、约束条件、成功指标
2. 技术原理核心 - Progressive Disclosure、分层加载、ContextEngine架构
3. 方案选型对比 - 四种方案对比、决策矩阵
4. 关键代码验证 - 具体实现示例、配置方法
5. 风险评估与结论 - 风险分析、最佳实践、最终建议
6. OpenCode vs OpenClaw 架构对比 - 深度对比分析、迁移路径建议

核心结论

方案推荐

┌──────────────────────────────────────────────────────┐
│                   方案选择建议                        │
├──────────────────────────────────────────────────────┤
│                                                      │
│  原型/MVP阶段 → Monolithic Loading                   │
│  生产环境(简单Agent) → Progressive Loading ⭐推荐     │
│  生产环境(复杂Agent) → Hybrid (Progressive + RAG)    │
│  已有向量数据库 → RAG-based Assembly                 │
│                                                      │
└──────────────────────────────────────────────────────┘

OpenClaw用户建议

当前（2026.3.7）：

• 使用Legacy Engine + 自定义分层Prompt
• 关注Issue #40232修复进度
• 避免使用第三方ContextEngine插件

未来：

• 等待ContextEngine插件架构稳定
• 实现自定义Progressive Engine
• 贡献社区

实施优先级

1. 立即实施：Token计数、分层设计（P0-P3）
2. 短期（1-2周）：实现Progressive Loading基础版本
3. 中期（1月）：优化意图识别、添加缓存
4. 长期：RAG集成、监控告警、自动化优化

核心参考资料

1. From 150K to 2K Tokens - William Zujkowski - Progressive Context Loading实践，成本节省98%

2. ContextEngine Deep Dive - OpenClaw Blog - OpenClaw 2026.3.7 ContextEngine插件架构详解

3. Inside OpenClaw: 9-Layer System Prompt Architecture - OpenClaw系统提示9层架构分析

4. Context Engineering: Giving AI Agents Memory Without Breaking the Token Budget - Akshay Gupta - Token预算下的Agent记忆管理

5. Reducing Context Bloat with Dynamic Context Loading - Moncef Abboud - MCP场景的动态加载实现

6. Progressive Disclosure in AI Agents - Marta Fernández García - 渐进式披露技术详解

7. OpenClaw GitHub Issue #40232 - ContextEngine插件注册时序问题

8. Context Window Management - Arun Baby - 上下文窗口管理深度分析

附录

关键术语表

相关研究

本研究与以下主题相关：

• AI Agent记忆管理研究
• LLM缓存Token机制
• OpenCode深度分析