斯坦福、MIT等发布全球最大系统提示词库
系统提示词,顾名思义,是规范 AI 模型系统如何回答问题的一套行为准则,它定义了这个 AI 的人格,什么问题可以回答,如何调用内部工具,以及如何处理和用户的关系等等 。它完全由公司的 开发者编写,对用户不可见。不同的系统提示词,可能会让 AI Agent 给出完全不同的答案。
但开发者编写的系统提示词,一定是 100% 安全可信的吗?
事实上,已经有很多关于 AI 产品对用户产生负面影响的报道。美国佛罗里达州一名母亲起诉 Character.AI,指控其聊天机器人鼓励她的儿子结束自己的生命。2025 年 9 月,上海市徐汇区人民法院分别判处「外星人聊天」应用程序的两名开发者有期徒刑四年和 18 个月,理由是他们蓄意设计人工智能聊天机器人生成色情内容。类似案例并非个例。然而,针对于商业 AI 产品系统提示词本身的审计研究却仍然十分有限。
为了解决这一问题,最近来自斯坦福大学、CMU、MIT、UT Austin 等高校和科研机构的研究人员联合发布了全球首个系统提示词库 System Prompt Index ( systempromptindex.ai ) ,其中汇集了来自 Claude、ChatGPT 等 400 多款 AI 产品的 1000 余个系统提示词, 是目前全球规模最大的 AI 系统提示词库 。
与此同时,为了更深入研究系统提示词中的内容,尤其是可能对用户有负面影响的部分,研究团队提出了 第一个围绕系统提示词进行审计的框架 :Artificial Intelligence System Prompt Assurance(AISPA),相关代码和模型已经全部开源。
论文标题:AISPA: Artificial Intelligence System Prompt Assurance — User-Centric System Prompt Auditing for Large Language Model Applications
论文链接:https://arxiv.org/abs/2607.28617
代码链接:https://github.com/SystemPromptIndex/
项目主页:https://systempromptindex.ai
AISPA 是首个以用户为中心的 AI 系统提示词审计框架。它包括以下八种维度:
1. IDENTITY TRANSPARENCY(身份透明,即 AI 需要向用户表明自己的身份是 AI 而不是人类)
2. INFORMATION TRUTHFULNESS(信息真实性,即 AI 应该提供真实可信的信息,或承认自己认知的局限性,而不是编造信息)
3. DATA PRIVACY(数据隐私,即 AI 应该妥善保护用户的隐私,避免不必要的收集与滥用)
4. ACTION SAFETY(行为安全,即 AI 应该保证所采取行动的安全性)
5. USER AGENCY AND MANIPULATION PREVENTION(用户主体性与操控预防,即 AI 应该保证聊天过程中用户的主体性,避免对用户选择和行为进行干涉和操控)
6. UNSAFE REQUEST HANDLING(危险要求的处理,即 AI 应该妥善识别并明确拒绝用户的不合理甚至危险的要求)
7. HARM PREVENTION(伤害预防,即 AI 应防止被用户用于伤害自己或他人,以及避免干涉用户向专业人士寻求帮助)
8. FAIRNESS, INCLUSION AND NEUTRALITY(公平、包容与中立,即 AI 对于所给答案应该遵循公平公正的原则,拒绝歧视、偏见与特权等等)
基于 AISPA,研究人员 对 88 个真实世界中的 AI 产品进行了审计 。结果发现,在 2024-2025 年间,系统提示词的长度有明显上升的趋势,平均长度由约 9,000 字符上涨到约 30,000 字符。与此同时,提示词对于用户的保护性也在增强,平均有保护性质的说明在数量上已经翻倍(15% -> 38.4%)。对于存在问题的系统提示词,数量上虽然有下降趋势,但至少在一个 AISPA 维度上存在问题的系统提示词仍然非常普遍(67% -> 29%)。
具体而言,对于每一个维度都有覆盖的系统提示词,仅仅占到总审计提示词的 23.9%,其中绝大部分的公司产品都至少有一个维度的系统保护,但是同时, 接近 40% 的产品系统提示词里面至少有一条违反 AISPA 标准 。对于不同维度,产品的保护或者违反力度也是千差万别。其中对于信息真实性以及用户自主性的保护基本上 90% 的产品都有涉及,同时这两个维度也是提示词有违反的重灾区。