Appearance
方案选型对比
量化方案对比
1. 后训练量化（PTQ） vs 量化感知训练（QAT）
| 维度 | PTQ（Post-Training Quantization） | QAT（Quantization-Aware Training） |
|---|---|---|
| 实现复杂度 | 低（无需重新训练） | 高（需要训练流程） |
| 所需数据 | 少量校准数据（通常 100-500 样本） | 完整训练数据集 |
| 时间成本 | 分钟级（7B 模型约 10-30 分钟） | 小时到天级（取决于训练规模） |
| 精度损失 | 中等（INT4 可能损失 5-10%） | 低（通常 < 3%） |
| 适用场景 | 快速部署、原型验证 | 生产环境、高精度需求 |
| 代表性工具 | AutoGPTQ, bitsandbytes, AutoAWQ | PyTorch QAT, TensorFlow Model Optimization Toolkit |
选型建议：
- 个人开发者 → PTQ（快速、低门槛）
- 企业生产环境 → QAT（精度优先）
- 研究实验 → PTQ（灵活迭代）
2. 量化精度对比
| 量化类型 | 比特数 | 精度损失 | 显存占用（7B 模型） | 推理速度 | 适用场景 |
|---|---|---|---|---|---|
| FP16/BF16 | 16 bits | 基准 | ~14 GB | 中 | 研究开发、高精度需求 |
| INT8 | 8 bits | 1-3% | ~7 GB | 快 | 通用部署 |
| INT4（GPTQ） | 4 bits | 5-10% | ~3.5 GB | 最快 | 边缘设备、低显存 |
| EXL2（2-8 bit） | 2-8 bits | 可配置 | 2-7 GB | 快 | 灵活部署 |
| 2-bit | 2 bits | > 15% | ~1.75 GB | 最快（但有精度风险） | 极限压缩 |
选型矩阵：
部署格式对比
1. CPU 推理格式：GGUF vs GGML
| 维度 | GGUF | GGML |
|---|---|---|
| 开发状态 | 活跃维护 | 已弃用（2024 年后） |
| 文件体积 | 更小（优化的二进制结构） | 较大 |
| 加载速度 | 快（支持增量加载） | 慢（一次性加载） |
| 扩展性 | 强（支持新的元数据字段） | 弱（结构固定） |
| 支持工具 | llama.cpp, Ollama, LM Studio | llama.cpp (legacy) |
| 推荐度 | ✅ 推荐 | ❌ 不推荐 |
为什么 GGUF 取代 GGML：
- GGUF 支持动态加载部分层，降低内存峰值
- 更好的元数据支持（模型类型、作者、许可证等）
- 更高效的二进制编码（减少文件大小 10-20%）
2. GPU 优化格式：AWQ vs GPTQ
| 维度 | AWQ（Activation-aware Weight Quantization） | GPTQ（Gradient-based Post-training Quantization） |
|---|---|---|
| 量化策略 | 基于激活值的敏感度分析 | 基于梯度的权重优化 |
| 量化速度 | 快（7B 模型约 10 分钟） | 慢（7B 模型约 30 分钟） |
| 推理精度 | 更高（INT4 接近 FP16） | 中等（INT4 可能有 5-10% 损失） |
| 显存占用 | 低（优化了激活值量化） | 中 |
| 推理速度 | 最快（优化的 CUDA kernel） | 快 |
| 硬件支持 | NVIDIA GPU 为主 | NVIDIA GPU + 部分 AMD |
| 代表性框架 | AutoAWQ, vLLM | AutoGPTQ, vLLM |
选型建议：
- NVIDIA GPU + 追求速度 → AWQ
- 通用场景 + 稳定性 → GPTQ
- 非 NVIDIA GPU → GPTQ（兼容性更好）
3. Apple Silicon 格式：MLX vs Core ML
| 维度 | MLX | Core ML |
|---|---|---|
| 开发难度 | 低（类 PyTorch API） | 高（需要工具链转换） |
| 推理性能 | 极快（MPS 优化） | 快（但需要额外编译） |
| 生态支持 | 活跃（Apple 官方维护） | 成熟（但更新较慢） |
| 适用场景 | 研究、快速原型 | iOS/macOS 集成应用 |
| 推荐度 | ✅ 推荐（本地部署） | ⚠️ 条件推荐（生产应用） |
综合决策矩阵
硬件驱动的格式选型
| 硬件环境 | 推荐格式 | 理由 | 示例工具 |
|---|---|---|---|
| NVIDIA GPU（≥24GB） | FP16 safetensors | 原始精度，无需量化 | Transformers |
| NVIDIA GPU（12-16GB） | INT8 GPTQ / AWQ | 平衡精度和速度 | AutoGPTQ, vLLM |
| NVIDIA GPU（6-8GB） | INT4 AWQ | 最小化显存占用 | AutoAWQ |
| Apple Silicon（M1/M2/M3） | MLX (.mlxmodel) | 原生优化，利用 GPU | MLX, LM Studio |
| Intel/AMD CPU（无 GPU） | GGUF | 跨平台兼容 | llama.cpp, Ollama |
| 移动设备 | GGUF (4-bit) | 低功耗、低内存 | llama.cpp |
应用场景驱动的格式选型
| 应用场景 | 推荐格式 | 优先级 | 理由 |
|---|---|---|---|
| 个人学习/实验 | GGUF (4-bit) | 高 | 低门槛，Ollama 一键部署 |
| 开发调试 | FP16 safetensors | 中 | 原始精度，便于对比 |
| 生产部署（高并发） | AWQ (INT4) | 高 | 最快推理速度 |
| 边缘设备 | GGUF (2-4 bit) | 高 | 极小内存占用 |
| iOS/macOS 应用 | MLX / Core ML | 高 | Apple 生态集成 |
| 多平台兼容 | GGUF | 高 | CPU/GPU 通用 |
格式转换工具链对比
量化工具
| 工具 | 支持格式 | 量化方法 | 易用性 | 推荐指数 |
|---|---|---|---|---|
| AutoGPTQ | GPTQ (safetensors) | PTQ（梯度优化） | 中 | ⭐⭐⭐⭐⭐ |
| AutoAWQ | AWQ (safetensors) | PTQ（激活值感知） | 高 | ⭐⭐⭐⭐⭐ |
| bitsandbytes | INT8/INT4 (in-memory) | PTQ（动态量化） | 高 | ⭐⭐⭐⭐ |
| llama.cpp | GGUF | PTQ（k-quant） | 中 | ⭐⭐⭐⭐⭐ |
| mlx-convert | MLX | PTQ（Apple 优化） | 高 | ⭐⭐⭐⭐ |
格式转换工具
| 源格式 | 目标格式 | 工具 | 命令示例 |
|---|---|---|---|
| safetensors | GGUF | llama.cpp | ./convert-hf-to-gguf.py --model llama-2-7b-hf --outfile llama-2-7b.gguf --quantize Q4_K_M |
| safetensors | MLX | mlx-convert | python -m mlx.convert --model llama-2-7b-hf --quantize --dtype int4 |
| GGUF | safetensors | llama.cpp | ./convert-gguf-to-hf.py --model llama-2-7b.gguf --out llama-2-7b-hf |
| safetensors | AWQ | AutoAWQ | python -m awq.entry --model_path llama-2-7b-hf --quantize |
| safetensors | GPTQ | AutoGPTQ | python -m auto_gptq --model llama-2-7b-hf --quantize --bits 4 |