背景与目标

问题定义

什么是 LLM 幻觉？

LLM 幻觉（Hallucination）指大语言模型生成看似合理但实际上不真实、无根据或错误的信息。这种输出通常具有高度自信的特征，使得用户难以辨别真伪。

根据 2025-2026 年的多项研究，LLM 幻觉可分为以下类型：

真实场景影响

根据 2025 年调研数据，LLM 幻觉在生产环境中的影响极为严重：

• 平均幻觉率：15-20%（事实性查询）
• 法律领域：6.4%（专业领域显著更高）
• 医疗领域：4.3%（顶级模型仍无法避免）
• 企业损失：年度超过 2.5 亿美元（幻觉相关事件）

典型案例：

1. Air Canada 客服机器人：编造不存在退款政策，被法庭裁定赔偿乘客差价
2. 纽约律师事件：引用 ChatGPT 生成的虚假案例，被联邦法官处罚
3. OpenAI Whisper 医疗转录：1% 样本包含虚构短语，40% 幻觉可能有害

研究目标

本研究旨在系统性地探索 LLM 幻觉问题的解决方案，聚焦以下核心问题：

1. 前置约束机制

如何在任务提交前最大程度减少幻觉可能性？

• Prompt Engineering 约束技巧
• 任务结构化要求设计
• RAG 架构的幻觉抑制
• 工具使用验证机制

2. 自动化检测技术

如何在收到输出后快速识别幻觉？

• Self-consistency 验证
• 事实性检测工具
• 置信度评分系统
• 文件操作真实性验证

3. 验收标准制定

如何为 LLM 任务制定明确可验证的验收标准？

• 验收框架设计
• 并行验证策略
• 可验证输出格式
• 逐步验证机制

验收标准

完整性标准

• 覆盖所有主要幻觉类型及缓解策略
• 提供至少 3 种前置约束方法
• 提供至少 3 种自动化检测技术
• 包含验收标准制定框架
• 提供代码示例或实现参考

准确性标准

• 所有数据点有明确来源
• 技术方案经过实践验证
• 引用的案例真实可查
• 对比分析有明确评判维度

可操作性标准

• 每种方案提供实施步骤
• 包含投资回报率分析
• 提供优先级建议（快速措施 vs 长期投资）
• 列出关键资源和工具推荐

约束条件

技术边界

• 聚焦工程实践：优先选择已验证的工程方案，而非纯理论研究
• 黑盒模型假设：假设使用 API 调用方式（无模型权重访问）
• 成本敏感性：考虑企业级部署的成本效益比
• 实时性要求：检测延迟需满足生产环境需求

应用场景

• 文件批量处理（PDF、发票等）
• 数据提取与转换
• 客服问答系统
• 知识密集型任务（法律、医疗）

成功指标