Appearance
方案选型对比
多维度评估框架
维度一：推理能力边界
推理类型分类：LLM的推理能力可以根据任务类型分为演绎推理、归纳推理、溯因推理、类比推理等。不同类型的推理对LLM的挑战程度不同：
- 演绎推理：从一般到特殊的推理，如"所有人类都会死，苏格拉底是人类，所以苏格拉底会死"。LLM在这类任务上表现相对较好，因为这类推理在训练数据中大量出现。
- 归纳推理：从特殊到一般的推理，如"观察到多个天鹅是白色的，归纳出所有天鹅都是白色的"。LLM在这类任务上容易犯过度概括的错误，因为训练数据中的归纳示例可能存在偏见。
- 溯因推理：从观察到原因的推理，如"草地是湿的，可能刚下过雨"。这类推理需要生成解释，LLM可能生成看似合理但错误的解释。
- 类比推理：跨领域迁移的推理，如"太阳系与原子的类比"。LLM在处理新颖类比时表现不佳，因为训练数据中的类比示例有限。
推理深度限制：LLM的推理深度受上下文长度和计算复杂度的限制。多步推理需要保持中间步骤的状态，LLM需要将所有中间步骤压缩到上下文中，这可能导致信息丢失。研究表明，当推理步骤超过5-7步时，LLM的准确率显著下降。
复杂推理的失败案例：
- 数论问题：需要多步逻辑推导的数学证明题，LLM往往在中间步骤出错
- 逻辑谜题：如数独、魔方还原等需要回溯和试错的推理任务
- 因果推理：在复杂系统中识别因果关系，需要区分相关性和因果性
维度二：知识获取与更新边界
静态知识 vs 动态知识：LLM的知识是静态编码在参数中的，这导致：
- 时效性问题：模型无法获取训练后的新信息。例如，询问2025年的新闻事件，2023年训练的模型将无法回答。
- 版本差异问题：不同版本的知识（如不同版本的软件API、不同年份的法律条文）可能混淆。
- 知识冲突：训练数据中的矛盾信息导致模型在不同时刻给出不一致答案。
领域知识覆盖度：LLM的知识覆盖度在不同领域存在显著差异：
| 领域 | 覆盖度 | 说明 | 局限性 |
|---|---|---|---|
| 通用文化知识 | 高 | 历史、地理、文学等 | 可能包含刻板印象和偏见 |
| 编程知识 | 中-高 | 主流编程语言和框架 | 对罕见语言或小众框架了解有限 |
| 医疗知识 | 中 | 常见疾病和治疗方案 | 缺乏前沿研究和罕见病知识 |
| 法律知识 | 中 | 基础法律概念 | 法规差异大，无法保证准确 |
| 金融知识 | 中-高 | 基础金融概念 | 缺乏实时市场数据和深度分析 |
专业知识获取挑战：对于高度专业化的知识（如学术前沿研究、专业工业标准、企业内部知识），LLM的获取能力严重受限。这些知识往往不在公开数据中，或需要特定背景才能理解。
维度三：多轮对话与记忆边界
短期记忆限制：LLM的短期记忆受上下文窗口长度限制。在长对话中，早期对话内容可能被"遗忘"，导致模型无法引用之前的信息。虽然可以使用摘要技术，但这会丢失细节。
长期记忆缺失：原生LLM缺乏跨会话的长期记忆能力。要实现长期记忆，需要外挂记忆系统（如向量数据库、记忆网络），这增加了系统复杂性。
对话状态跟踪：在需要维护复杂对话状态的应用中（如任务型对话系统、游戏NPC），LLM难以准确跟踪和更新状态。这导致：
- 用户更改意图时模型可能未察觉
- 需要多轮完成的任务在中间步骤中断后无法恢复
- 无法理解隐含的对话上下文
多轮对话失败案例：
- 客服机器人：在处理复杂投诉时忘记用户之前提供的信息
- 游戏NPC：无法记住玩家的长期选择和行为
- 教学助手：无法跟踪学生的学习进度和弱点
维度四：工具使用与自主行动边界
工具调用的能力：LLM可以通过API调用外部工具（如搜索引擎、数据库、计算器），但这种能力存在限制：
- API理解限制：LLM需要理解每个API的功能、参数格式、返回值结构，这要求准确的文档理解能力
- 错误处理能力：当API调用失败或返回意外结果时，LLM可能无法正确诊断和恢复
- 安全风险：恶意构造的提示可能诱使LLM执行危险的API调用（如删除文件、泄露数据）
自主决策的边界：虽然LLM可以规划行动步骤，但在完全自主场景下存在风险：
- 后果评估不足：LLM可能无法准确评估行动的长期后果
- 风险控制缺失：在未知或高风险环境中，LLM可能做出危险决策
- 责任归属困难：当自主行动导致损害时，难以确定责任主体
工具使用失败案例：
- 代码执行：LLM生成的代码可能包含安全漏洞或无限循环
- 数据库查询：可能构造过于复杂的查询导致性能问题
- Web爬取：可能爬取过多资源被封禁
维度五：创造性与原创性边界
创造性任务的性能：LLM在创造性任务上的表现具有两面性：
优势：
- 生成新颖组合：能够组合不同领域的概念产生新想法
- 风格模仿：可以准确模仿特定作家、艺术家的风格
- 头脑风暴：快速生成大量想法和选项
局限：
- 模式重复：长期使用会发现生成的内容遵循相似的模式
- 真正创新困难：难以产生完全原创的、突破性的想法
- 依赖训练数据：创造性本质上是对训练数据的重新组合
原创性评估：衡量LLM原创性的挑战在于：
- 原创性的定义本身具有主观性
- 难以区分新颖组合和真正创新
- 不同领域对原创性的要求不同
维度六：安全与伦理边界
安全风险类型：
- 有害内容生成：可能生成仇恨言论、暴力内容、危险指令等
- 隐私泄露：可能在生成内容中无意泄露训练数据中的个人信息
- 虚假信息传播：可能生成看似可信但实际上错误的"幻觉"内容
- 偏见放大：可能放大训练数据中的社会偏见
- 对抗攻击：精心构造的提示可能绕过安全限制
安全防御机制：
- 提示过滤：在输入端过滤有害提示
- 输出过滤：在输出端检测和拦截有害内容
- 对抗训练：使用对抗样本训练模型提高鲁棒性
- 人机协作：将高风险决策交由人类审核
伦理困境：
- 透明度 vs 准确性：完全解释模型行为可能降低性能
- 效率 vs 安全性：过度安全检查可能降低响应速度
- 开放性 vs 滥用风险：开放模型可能被恶意使用
评估方法对比
定性评估 vs 定量评估
| 方法 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|
| 人工评估 | 准确度高，能捕捉细微差别 | 成本高，速度慢，主观性强 | 小规模高质量评估 |
| 自动化指标 | 速度快，成本低，可重复 | 可能无法反映真实质量 | 大规模评估、回归测试 |
| 真实世界测试 | 生态效度高 | 难以控制变量，可重复性低 | 产品上线前的最终验证 |
| A/B测试 | 能量化实际影响 | 需要大量用户数据 | 产品优化阶段 |
基准测试框架
主流基准测试：
- GLUE/SuperGLUE：通用语言理解基准测试，涵盖阅读理解、推理、相似度判断等任务
- MMLU：多任务语言理解基准测试，涵盖57个学科，评估广泛的知识覆盖度
- BIG-bench：由Google发起的大规模基准测试集合，包含200多个任务
- HELM：斯坦福大学开发的综合评估框架，从多个维度评估LLM
基准测试的局限性：
- 覆盖面有限：无法涵盖所有可能的应用场景
- 数据泄露：模型可能在训练时见过测试数据
- 静态性：基准测试需要定期更新以反映新的挑战
基于任务的评估 vs 基于能力的评估
基于任务的评估：
- 关注具体应用场景（如文档摘要、代码生成、翻译）
- 优点：直接反映实际应用效果
- 缺点：难以泛化，无法区分不同能力维度的表现
基于能力的评估：
- 关注底层能力（如推理、知识、创造力）
- 优点：更通用，便于跨模型比较
- 缺点：与实际应用的距离较远
混合方法：最佳实践是结合两种方法，既评估底层能力，也验证实际应用效果。
决策矩阵：LLM适用性评估
应用场景分类矩阵
根据任务的确定性、专业性、实时性要求，将应用场景分为四类：
高专业性 低专业性
┌─────────┬─────────┐
高确定性│ 适合 │ 适合 │
│ 法律分析 │ 文档摘要 │
├─────────┼─────────┤
低确定性│ 谨慎使用 │ 不适合 │
│ 医疗诊断 │ 实时交易 │
└─────────┴─────────┘适合：LLM在准确性、可靠性、效率方面都能满足要求 谨慎使用：需要人工审核、错误处理、风险控制机制 不适合：LLM无法满足要求，或风险过高，应考虑其他方案
风险评估框架
高风险特征：
- 涉及人身安全（如医疗诊断、自动驾驶）
- 需要100%准确性（如金融交易、法律判决）
- 决策影响重大且不可逆
- 缺乏有效的错误检测和恢复机制
- 监管要求严格
中风险特征：
- 决策影响可逆或可修正
- 有一定容错空间
- 有人工审核环节
- 风险可控且有应急预案
低风险特征：
- 创造性或探索性任务
- 错误成本较低
- 用户体验为主要目标
- 有充分的测试和验证
参考资料
- OpenAI Evals Framework - OpenAI的LLM评估框架
- HELM: Holistic Evaluation of Language Models - 斯坦福大学的综合LLM评估框架
- BIG-bench: Beyond the Imitation Game Benchmark - Google的大规模基准测试集合