PUA 风格 Prompt 约束词的有效性研究
技术研究 Prompt Engineering LLM
研究 PUA 风格 prompt 约束词（MUST/SHALL）和 persuasion 技术对大语言模型的实际效果，分析其背后的认知机制与实验证据
Executive Summary
本研究针对 PUAClaw 项目中描述的 PUA 风格 prompt 约束技术（包括 MUST/SHALL 等强制性词汇、情感勒索、角色扮演等）进行系统性分析，通过整合 2025-2026 年最新 peer-reviewed 研究证据，回答核心问题：这些技术是否真正有效，还是属于”cargo cult”行为？
研究发现：(1) 强制性约束词（MUST/SHALL）的效果因问题而异，aggregate 层面无一致收益——Wharton 2025 年实验直接对比”Please”vs”I order”，发现差异在不同问题间相互抵消；(2) PUA 式 persuasion 技术缺乏 peer-reviewed 验证，多数”情感操控”成功案例属于轶事证据而非控制实验；(3) 真正有效的技术（如 Chain-of-Thought）具有 mechanistic interpretability 证据支持，而”power words”主要依赖 training distribution bias。
核心结论：用户的怀疑有充分证据支持。MUST/SHALL 等”强力词汇”属于局部有效、不可泛化的 cargo cult 行为——在特定模型/任务上可能产生局部效果，但作为”通用工程原则”缺乏证据基础。建议采用证据支持的技术（CoT、few-shot、清晰任务规范），对 persuasion 技术保持批判态度。
Table of Contents
核心参考资料 (References)
- Wharton Generative AI Labs. “Prompt Politeness and Model Performance.” March 2025.
- Sclar, M., et al. “Formatting Matters: Subtle Prompt Changes Cause Large Accuracy Differences.” EMNLP 2024.
- Kirch, S., et al. “What Features in Prompts Jailbreak LLMs?” CCS 2024.
- CISPA. “JailbreakRadar: Systematic Evaluation of 17 Jailbreak Attacks.” 2025.
- Lutz, C., et al. “The Prompt Makes the Person(a): Sociodemographic Persona Prompting Evaluation.” 2025.
- Golev. “Prompt Engineering Is Mostly Cargo Cult Behaviour.” January 2026.
- PUAClaw Project. https://github.com/puaclaw/PUAClaw